當你發現 Linux 服務器上的系統性能問題，在最開始的 1 分鐘時間里，你會查看哪些系統指標呢？

　　Netflix 在 AWS 上有著大規模的 EC2 集群，以及各種各樣的性能分析和監控工具。比如我們使用 Atlas 來監控整個平臺，用 Vector 實時分析 EC2 實例的性能。這些工具已經能夠幫助我們解決大部分的問題，但是有時候我們還是要登錄進機器內部，用一些標準的 Linux 性能分析工具來定位問題。

　　在這篇文章里，Netflix 性能工程團隊會介紹一些我們使用的標準的 Linux 命令行工具，在發現問題的前 60 秒內去分析和定位問題。在這 60 秒內，你可以使用下面這 10 個命令行了解系統整體的運行情況，以及當前運行的進程對資源的使用情況。

　　在這些指標里面，我們先關注和錯誤、以及和資源飽和率相關的指標，然后再看資源使用率。相對來講，錯誤和資源飽和率比較容易理解。飽和的意思是指一個資源(CPU，內存，磁盤)上的負載超過了它能夠處理的能力，這時候我們觀察到的現象就是請求隊列開始堆積，或者請求等待的時間變長。

　　有些命令行依賴于 sysstat 包。通過這些命令行的使用，你可以熟悉一下分析系統性能問題時常用的一套方法或者流程：USE 。這個方法主要從資源使用率(Utilization)、資源飽和度(Satuation)、錯誤(Error)，這三個方面對所有的資源進行分析(CPU，內存，磁盤等等)。在這個分析的過程中，我們也要時刻注意我們已經排除過的資源問題，以便縮小我們定位的范圍，給下一步的定位提供更明確的方向。

　　下面的章節對每個命令行做了一個說明，并且使用了我們在生產環境的數據作為例子。對這些命令行更詳細的描述，請查看相應的幫助文檔。

　　1 uptime

　　這個命令能很快地檢查系統平均負載，你可以認為這個負載的值顯示的是有多少任務在等待運行。在 Linux 系統里，這包含了想要或者正在使用 CPU 的任務，以及在 io 上被阻塞的任務。這個命令能使我們對系統的全局狀態有一個大致的了解，但是我們依然需要使用其它工具獲取更多的信息。

　　這三個值是系統計算的 1 分鐘、5 分鐘、15 分鐘的指數加權的動態平均值，可以簡單地認為就是這個時間段內的平均值。根據這三個值，我們可以了解系統負載隨時間的變化。比如，假設現在系統出了問題，你去查看這三個值，發現 1 分鐘的負載值比 15 分鐘的負載值要小很多，那么你很有可能已經錯過了系統出問題的時間點。

　　在上面這個例子里面，負載的平均值顯示 1 分鐘為 30，比 15 分鐘的 19 相比增長較多。有很多原因會導致負載的增加，也許是 CPU 不夠用了;vmstat 或者 mpstat 可以進一步確認問題在哪里。

　　2 dmesg | tail

　　這個命令顯示了最新的幾條系統日志。這里我們主要找一下有沒有一些系統錯誤會導致性能的問題。上面的例子包含了 oom-killer 以及 TCP 丟包。

　　不要略過這一步!dmesg 永遠值得看一看。

　　3 vmstat 1

　　vmstat 展示了虛擬內存、CPU 的一些情況。上面這個例子里命令行的 1 表示每隔 1 秒鐘顯示一次。在這個版本的 vmstat 里，第一行表示了這一次啟動以來的各項指標，我們可以暫時忽略掉第一行。

　　需要查看的指標：

　　r：處在 runnable 狀態的任務，包括正在運行的任務和等待運行的任務。這個值比平均負載能更好地看出 CPU 是否飽和。這個值不包含等待 io 相關的任務。當 r 的值比當前 CPU 個數要大的時候，系統就處于飽和狀態了。free：以 KB 計算的空閑內存大小。si，so：換入換出的內存頁。如果這兩個值非零，表示內存不夠了。us，sy，id，wa，st：CPU 時間的各項指標(對所有 CPU 取均值)，分別表示：用戶態時間，內核態時間，空閑時間，等待 io，偷取時間(在虛擬化環境下系統在其它租戶上的開銷) 把用戶態 CPU 時間(us)和內核態 CPU 時間(sy)加起來，我們可以進一步確認 CPU 是否繁忙。等待 IO 的時間 (wa)高的話，表示磁盤是瓶頸;注意，這個也被包含在空閑時間里面(id)， CPU 這個時候也是空閑的，任務此時阻塞在磁盤 IO 上了。你可以把等待 IO 的時間(wa)看做另一種形式的 CPU 空閑，它可以告訴你 CPU 為什么是空閑的。

　　系統處理 IO 的時候，肯定是會消耗內核態時間(sy)的。如果內核態時間較多的話，比如超過 20%，我們需要進一步分析，也許內核對 IO 的處理效率不高。

　　在上面這個例子里，CPU 時間大部分都消耗在了用戶態，表明主要是應用層的代碼在使用 CPU。CPU 利用率 (us + sy)也超過了 90%，這不一定是一個問題;我們可以通過 r 和 CPU 個數確定 CPU 的飽和度。

　　4 mpstat -P ALL 1

　　這個命令把每個 CPU 的時間都打印出來，可以看看 CPU 對任務的處理是否均勻。比如，如果某一單個 CPU 使用率很高的話，說明這是一個單線程應用。

　　5 pidstat 1

　　pidstat 和 top 很像，不同的是它可以每隔一個間隔打印一次，而不是像 top 那樣每次都清屏。這個命令可以方便地查看進程可能存在的行為模式，你也可以直接 copy past，可以方便地記錄隨著時間的變化，各個進程運行狀況的變化。

　　上面的例子說明有 2 個 Java 進程消耗了大量 CPU。這里的 %CPU 表明的是對所有 CPU 的值，比如 1591% 標識這個 Java 進程幾乎消耗了 16 個 CPU。

　　6 iostat -xz 1

　　iostat 是理解塊設備(磁盤)的當前負載和性能的重要工具。幾個指標的含義：

　　r/s，w/s，rkB/s，wkB/s：系統發往設備的每秒的讀次數、每秒寫次數、每秒讀的數據量、每秒寫的數據量。這幾個指標反映的是系統的工作負載。系統的性能問題很有可能就是負載太大。await：系統發往 IO 設備的請求的平均響應時間。這包括請求排隊的時間，以及請求處理的時間。超過經驗值的平均響應時間表明設備處于飽和狀態，或者設備有問題。

　　avgqu-sz：設備請求隊列的平均長度。隊列長度大于 1 表示設備處于飽和狀態。%util：設備利用率。設備繁忙的程度，表示每一秒之內，設備處理 IO 的時間占比。大于 60% 的利用率通常會導致性能問題(可以通過 await 看到)，但是每種設備也會有有所不同。接近 100% 的利用率表明磁盤處于飽和狀態。

　　如果這個塊設備是一個邏輯塊設備，這個邏輯快設備后面有很多物理的磁盤的話，100% 利用率只能表明有些 IO 的處理時間達到了 100%;后端的物理磁盤可能遠遠沒有達到飽和狀態，可以處理更多的負載。

　　還有一點需要注意的是，較差的磁盤 IO 性能并不一定意味著應用程序會有問題。應用程序可以有許多方法執行異步 IO，而不會阻塞在 IO 上面;應用程序也可以使用諸如預讀取，寫緩沖等技術降低 IO 延遲對自身的影響。

　　7 free -m

　　右邊的兩列顯式：

　　buffers：用于塊設備 I/O 的緩沖區緩存。cached：用于文件系統的頁面緩存。我們只是想要檢查這些不接近零的大小，其可能會導致更高磁盤 I/O(使用 iostat 確認)，和更糟糕的性能。上面的例子看起來還不錯，每一列均有很多 M 個大小。

　　比起第一行，-/+ buffers/cache 提供的內存使用量會更加準確些。Linux 會把暫時用不上的內存用作緩存，一旦應用需要的時候就立刻重新分配給它。所以部分被用作緩存的內存其實也算是空閑的內存。為了解釋這一點， 甚至有人專門建了個網站：http://www.linuxatemyram.com/。

　　如果使用 ZFS 的話，可能會有點困惑。ZFS 有自己的文件系統緩存，在 free -m 里面看不到;系統看起來空閑內存不多了，但是有可能 ZFS 有很多的緩存可用。

　　8 sar -n DEV 1

　　這個工具可以查看網絡接口的吞吐量：rxkB/s 和 txkB/s 可以測量負載，也可以看是否達到網絡流量限制了。在上面的例子里，eth0 的吞吐量達到了大約 22 Mbytes/s，差不多 176 Mbits/sec ，比 1 Gbit/sec 還要少很多。

　　這個例子里也有 %ifutil 標識設備利用率，我們也用 Brenan 的 nicstat tool 測量。和 nicstat 一樣，這個設備利用率很難測量正確，上面的例子里好像這個值還有點問題。

　　9 sar -n TCP,ETCP 1

　　這是對 TCP 重要指標的一些概括，包括：

　　active/s：每秒鐘本地主動開啟的 TCP 連接，也就是本地程序使用 connect() 系統調用

　　passive/s：每秒鐘從源端發起的 TCP 連接，也就是本地程序使用 accept() 所接受的連接

　　retrans/s：每秒鐘的 TCP 重傳次數

　　atctive 和 passive 的數目通常可以用來衡量服務器的負載：接受連接的個數(passive)，下游連接的個數(active)。可以簡單認為 active 為出主機的連接，passive 為入主機的連接;但這個不是很嚴格的說法，比如 loalhost 和 localhost 之間的連接。重傳表示網絡或者服務器的問題。也許是網絡不穩定了，也許是服務器負載過重開始丟包了。上面這個例子表示每秒只有 1 個新連接建立。

　　10 top

　　top 命令涵蓋了我們前面講述的許多指標。我們可以用它來看和我們之前查看的結果有沒有很大的不同，如果有的話，那表示系統的負載在變化。

　　top 的缺點就是你很難找到這些指標隨著時間的一些行為模式，在這種情況下，vmstat 或者 pidstat 這種可以提供滾動輸出的命令是更好的方式。如果你不以足夠快的速度暫停輸出(Ctrl-S 暫停，Ctrl-Q 繼續)，一些間歇性問題的線索也可能由于被清屏而丟失。