字體: 小 中 大  

MySQL 分析工具...mysqlreport

adj 發表於: 2008-1-21 17:35 來源: ADJ網路控股集團

最新回復

adj at 2008-3-10 10:49:22

Report Header: Line 1

報表的第一行包含了三樣不同的資訊：MySQL Server 的版本、自上次啟動後已經過多少時間、目前 Server 的日期與時間。有些人會定時讓系統自動產生報表(eg. cron)然後用程式去分析進行分析，此時表頭將可用來協助您辨識出不同時間點的報表。對於那些租用或使用虛擬主機的管理者，表頭可以協助您了解自己所需面對的是什麼樣的 Server。MySQL Server 版本可以指出該 Server 有提供或沒有提供那些功能，而它的 Uptime 則表示該報表具有多大的代表性。Uptime 是重要的指標，可讓您了解此份報表所包含的資訊是否可能有偏誤，一般來說 Uptime 最少要有一小時會比較適當，甚至光是一小時其實也還不夠。例如您的 Server 可能已執行了六個小時，但此六小時皆是在使用率最低的午夜，此時產生出的報表就很不具有代表性。最理想的情況下，你會希望 MySQL Server 至少已經執行了一整天，這樣子一來你就可以確定報表中的資訊已包含了 Server 負載的高峰與低峰期，而不是只包含其中之一。在範例報表中 Server 只執行了 34 分鐘，因此該報表的代表性是不足的，但因為這只是用來做範例，也就沒什麼關係。

Key Report: Lines 3 - 7

第一個主要報告區塊就是 Key Report，因為 Key(Indexes, 索引)是所有資訊中最重要的一項。雖然此報表無法告知您 Server 是否有善用 Index，但它可以告訴您 Server 對於 Shared Key Buffer 的使用狀態。請注意，這裡所指的 Key Buffer 是指 MyISAM Storage Engine 所使用的 Shared Key Buffer，InnoDB 所使用的 Key Buffer 並不包含在內。

MySQL Server 支援許多種不同類型的資料表(比較正式的說法是 Storage Engine)，你可以將它們想像為各種不同的資料結構，而不同的 Storage Engine 各有其優缺點。其中 MySQL Server 預設是使用 MyISAM Storage Engine。

MySQL Server 的 Buffer 大略可分為二種：
1. Global Buffer：由所有 Client 所共用的 Buffer

key_buffer
innodb_buffer_pool
innodb_log_buffer
innodb_additional_mem_pool
net_buffer ...等等

2. Thread Buffer：個別的 Connection 所需佔用的 Buffer

例如：
sort_buffer
myisam_sort_buffer
read_buffer
join_buffer
read_rnd_buffer ...等等

計算 Server 至少需使用的總記憶體數量的方式為：
min_memory_needed = global_buffer + (thread_buffers * max_connection)

關於 MySQL 的 Cache 機制有一點需要特別注意，各位應該都知道 MyISAM Storage Engine 將每個 table 分成三個檔案儲存在硬碟之中，例如若您有一個資料表的名稱為 example，那麼您就會在硬碟上發現 example.FRM, example.MYD, example.MYI 等三個檔案。這三個檔案所儲存的資料如下：

FRM： 儲存這個資料表的結構
MYD： Row Data，也就是你存在 example 資料表裡的資料
MYI： 此資料表的索引

接下來是重點：
當 MySQL 要 Cache 某個資料表時，請問 MySQL 會 Cache 哪些資料？

答案是：
MySQL 只會 Cache 索引，也就是 *.MYI 檔案，而 Row Data(*.MYD) 則是交由作業系統來負責 Cache。

接下來我們再回到 Key Buffer，有個很重要的問題我們一直沒有回答，就是『到底 Key Buffer 要設定多少才夠呢？』。如前所述，MySQL 只會 Cache 索引(*.MYI)，因此您只要將資料庫中所有的 MYI 檔案加總起來，你就會知道大概要設為多少。

Buffer used: Line 4

身為 MySQL 的管理者您通常會問的第一個問題是：『Server 到底用掉了多少 key buffer？』。如果您發現 MySQL 只使用了一小部份的 Key Buffer，這並不是什麼需要注意的問題，因為 MySQL 只會在需要的時候才實際分配與使用 System RAM。也就是說，當你設定 MySQL 可使用 512MB 的 RAM 時，並不代表 MySQL 啟動的時候將佔用 512MB 的 RAM(只有在 MySQL 認為需要這麼做的時候才會)。報表中的第四行(Buffer used)指出 MySQL "曾經" 耗用過的最大記憶體數量，因此目前 "正在使用" 的記憶體數量有可能少於（甚至大於）這個數字。MySQL 稱此數值為 "High Water Mark"，但在報表的下一行我們將會看到它並不總是如此。無論如何，從　Buffer used 我們通常可以看出 key_buffer_size 這個系統變數值是否設定的夠大，如果你的 MySQL 已經使用了 80~90% 以上的 Key Buffer，你就應該要調高 key_buffer_size。注意，Buffer used 永遠不會有使用率超過 95% 的情況，因為 MySQL 的官方文件中指出 Share Key Buffer 中有部份將會挪用給內部資料結構使用，因此當 Buffer used 指出 Share Key Buffer 的使用率高達 95% 時，其實在實務上等於是已使用了 100% 的 Share Key Buffer。在這個例子中 Server 只使用了 380KB(0.07%) 的 Share Key Buffer，看到這裡也許您會判斷 Server 的 Share Key Buffer 是十分充足的，但請勿太早下定論，我們必須要接著考量報表中的下一行才能做出客觀的判斷......。

Current: Line 5

mysqlreport 使用 Key_blocks_unused 這個系統變數來決定目前 MySQL "正在使用" 的 Share Key Buffer 大小，只有在 MySQL Server 4.1.2 以上的版本才會有這個功能。如果報表中的上一行(Buffer used)真的有如 MySQL 官方文件中所說的是 "High Water Mark"，那麼 Current 所載明的數值應該永遠會小於或等於它。但在接下來的例子中我們將會看到，事情並不總是如此。目前這台 Server 已經使用了大約 60MB(12%) 的 Share Key Buffer，這是一個好現象因為它代表了你的 Share Key Buffer 仍然十分充足。Current 與 Buffer used 合在一起看即可提供一個很有用的指標，告訴您目前的 key_buffer_size 是否充足。

設定 key_buffer_size 的方式也很簡單，只要直接修改 MySQL 的設定檔然後重新啟動 Server 即可。例如若要將 Key Buffer 設定為 2000MB，則只要在 /etc/my.cnf 中加上：
[mysqld]
key_buffer_size=2000M

Write ratio: Line 6

索引(Indexes, Keys)主要是在記憶體內(RAM-Based)進行操作的，索引之所以如此有用有部份原因就歸功於它們主要是在 RAM 裡面運作，因此擁有極高的存取效能，不像儲存在硬碟中的資料存取速度非常慢。然而，不可否認的是 MySQL 終究還是必須從硬碟中將索引讀入 RAM 或是將儲存在 RAM 中的索引寫回硬碟之中。Write ratio 標示著 MySQL 將索引寫入硬碟與 MySQL 將索引寫入 RAM 的比值(Write Ratio = MySQL 將索引寫入硬碟的次數 / MySQL 將索引寫入 RAM 的次數)。具有接近於 1 的 Write Ratio 並不是一件很罕見的事，就像 MySQL 官方手冊中所說的，如果你的 MySQL 最主要的活動是 Update、Insert 等等，那麼 Write Ratio 將會很接近於 1。Write Ratio 若大於 1 表示 MySQL 將索引寫入硬碟的次數大於將索引寫入 RAM 的次數，很少有 MySQL Server 的 Write Ratio 會大於 1，絕大部份都應該會小於 1，即便是負載非常重的 Server。

Read ratio: Line 7

Read Ratio 比 Write Ratio 來得重要一些，它標示了 MySQL 從硬碟讀取索引與從 RAM 讀取索引的比值(Read Ratio = MySQL 從硬碟讀取索引的次數 / MySQL 從 RAM 讀取索引的次數)。Read Ratio 的值應該要是 0.00 或 0.01，若大於這個值則表示 Server 有問題需要進一步的調查，通常此問題的成因是 Share Key Buffer 設得太小造成 MySQL 需要不斷地從硬碟中讀取所需要的索引資訊，而這個動作是十分沒有效率的並且完全抵消了使用索引可以帶來的好處。在 Server 剛啟動的頭一個小時 Read Ratio 很常會出現大於 0.01 的數值，但 Server 執行過一陣子後它應該(也必須)降低至 0.01 或是 0.00。

Questions Report: Lines 9 - 26

第二個主要的報表區塊，Questions，是第二重要的資訊，因為它可以告訴你 MySQL 到底都在忙些什麼事情。Questions 包含了 SQL queries 以及 MySQL protocol communications。大部份的人都只在意 Server 每秒可以處理多少查詢(Queries Per Second, QPS)，但若以整個 Server 的觀點來考量，QPS 其實是非常不精確的數值，它無法有效的告訴您 Server 的整體運作狀況。而 Questions 則提供了較完整的資訊，讓您一窺 Server 的全貌。

Total: Line 10

第一個欄位單純的記載 MySQL 總共回應過多少查詢，第二個欄位則記錄回應的頻率(QPS)，當大部份的人說『我的 Server 平均每秒處理 XXX 個查詢』時，他們指的其實就是第二個欄位所記錄的回應頻率。此時你應該要反問他們『在那 XXX 個查詢之中，MySQL 到底做了哪些事情？』，接下來 mysqlreport 將可以協助您回答此問題......。

Distribution of Total Queries (DTQ): Lines 11 - 15

所有的 Questions 可以大致區分為五個不同的類別：
1.Data Manipulation Statements (DMS)
2.query cache hits (QC Hits)
3.COM_QUIT
4.all other Com_ commands
5.Unknown

這五個類別將會展示在 Lines 11 至 15，但它們的順序是會改變的。mysqlreport 預設是以查詢的總數(第一個欄位)來排序，次數越多排得越上面，讓您可以快速的分辨出 MySQL 大部份時間都在忙些什麼東西。理想的情況下，你會希望 MySQL 把大部份的時間都花在 DMS 與 QC Hits 這兩個類別，因為這兩個類別才是真正在 "完成正事" 的類別。COM_QUIT、Com_、與 Unknown 也有其存在的必要，但它們應該只佔了其中的一小部份。在繼續深入介紹之前，也許你會好奇第三個欄位是做什麼用的，它代表了該分類(例如 DMS)佔全部 Queries 的百分比；若是在子分類(例如 Select)中，則表示該子分類佔所屬分類(例如 DMS)的百分比。在此範例中 DMS 佔了所有 Queries 的 82.84%，這是一個很好的現象。

Data manipulation statements(DMS) 包含了：ELECT, INSERT, REPLACE, UPDATE, 與 DELETE(技術上來說，其實不只這幾個類別但 mysqlreport 只會用到這幾類)。基本上，你可以將 DMS 想成是 MySQL 真正有在做些 "有用的事" 的情況，因此你會希望 DMS 是 MySQL 最忙著處理的事情。

QC Hits 是 MySQL 不需要實際執行 Query 而只要直接從 Query Cache 中即可找到所需資料的次數。擁有高比例的 QC Hits 是讓人夢寐以求的事，因為從 Query Cache 直接存取所需要的資料是十分快速且有效率的。然而大部份的 MySQL Server 因為各種原因，而無法具有非常有效率的 Query Cache。在本範例中 QC Hits 佔了所有 Questions 的 16.91%，這是非常好的情況。然而，千萬不要被這個數值給誤導了，在報表中的 38 至 45 行(Query Cache Report)將會告訴您完全不同的狀況。這是一個很好的範例，展示了 mysqlreport 可以做為深入、相互參照與比對的分析工具。當 QC Hits 看來似乎十分完美時，這個 Server 的 Qeury Cache Report 卻可以明確的告訴您其實事情沒有表面上看起來的那樣完美，我們在稍後會在回到這個問題。


COM_QUIT 算是比較不重要的類別，若您不是真的很有興趣其實您大可忽略這個類別的內容。

COM_ 這個類別代表著所有 MySQL 所執行過的指令，通常與 MySQL protocol 相關。在正常的情況下，你會希望這個類別所佔的比例越低越好，因為當這個數值很高的時候就表示 MySQL 正忙碌於無關緊要的事情上。若這個數值很高通常代表 MySQL 正遭遇到某些很奇怪的問題，當我們深入討論 COM_ 的子類別的時候，我們會在回來探討這個問題。

Unknown 是推論出來的類別，在理想的狀況下，之前所述的四個分類加總起來應該要等於 Questions 總數，但它們通常不會剛好等於。這是因為有些 Questions MySQL 在處理時會增加 Total Questions 的計數器，但卻沒有相對應的系統變數用來記錄所執行過的 Questions。在不同的 Server 上這個數值的變異很大，在有些 Server 上這個數值非常的高，在有些 Server 上則非常的低，但在大部份的情況下它應該要維持在很低的水準才是。如果這個數值非常的高，可能代表 MySQL Server 有什麼地方出了問題。

未完..... 請接著往下看 ^_^

adj at 2008-3-10 10:49:49

Slow: Line 16

第 16 行非常的重要：它記錄了 MySQL 總共執行了多少次 Slow Query。Slow Query 就是指執行所需時間超過某個時間區間的 Query，例如執行超過 10 秒的 Query。用來判定是否為 Slow Query 的時間區間是可以透過 long_query_time 這個系統變數來設定的，MySQL 預設 long_query_time 為 10 秒，但通常我們會將它設定為 5 秒。在最理想的情況下，我們會希望看到這個數值等於零，但通常這數值不會是零。一般來說 Slow Query 佔 Total Questions 的比例應該要低於 0.05，Slow Query 的次數(第一個欄位)本身不是很重要，真正需要注意的是 Slow Query 佔 Total Questions 的比例，若這比例偏高就代表 Server 有些問題需要解決。第四個欄位中的『%DMS: 』表示 Slow Query 在所有 DMS 中所佔的比例。

DMS: Lines 17 - 22

DMS 的子分類項目可以告訴我們，這台 MySQL Server 是屬於哪一個類型的 MySQL Server，例如它是著重在 SELECT 操作或是 INSERT 操作，大部份的 MySQL Server 都是著重在 SELECT 操作。知道某台 Server 是屬於哪一個類型的 MySQL Server 有助於我們思考報表中的其他資訊，例如一台著重在 SELECT 操作的 MySQL Server 的 Write Ratio 應該會非常的接近 1，並有著較高的 Lock 時間。同時它也隱含了一個意義，就是也許你可以考慮使用 InnoDB Storage Engine，因為 MySQL 預設採用的 MyISAM Storage Engine 所提供的 Lock 層級只有 Table Lock(只能針對整個資料表鎖定)，而 InnoDB 則提供 Row Lock 層級的鎖定機制(可只針對特定的 ROW 進行鎖定，減少等待時間)。若是著重在 SELECT 操作的 Server，它的 Read Ratio 應該會接近於零，並有著非常低的 Table Lock 時間。

在範例中的 Server 是屬於著重在 SELECT 操作的 Server：65.72% 的 Questions 是 SELECT(第三個欄位)、79.33% 的 DMS Questions 是 SELECT(第四個欄位)。很明顯的，這是台著重在 SELECT 操作的 Server，知道了此項事實之後，我們才有辦法對其進行最佳化。

Com_: Lines 23 - 26

這個子分類只有在它的值偏高的時候才需要注意，因為過高的值表示 MySQL 正在忙著處理 "程式方面的東西"，而不是回應使用者的查詢。對大部份的 Server 來說這裡應該都不會出現偏高的數值，但您最好還是定期的檢查一下。

SELECT and Sort Report: Lines 28 - 36

大致上來說，你只要注意第 29 行與第 31 行：Scan 與 Full Join。Scan 指的是有多少 SELECT statements 造成 MySQL 需要進行 Full Table Scan。Full Join 的意思與 Scan 差不多，但它是適用在多個 Tables 相互 Join 在一起的情況。這二種情況的執行效能都非常的差，因此原則上你會希望這兩個數值越低越好。但這也不是絕對的，仍然要考慮實際的情況，例如雖然 Server 有很高比例的 Scan，但若這些 Scan 都是針對一些只有幾十筆資料的 table，那麼相對而言它依然是十分有效率的；但反之，若這些 Scan 是針對具有上百萬筆資料的 table，那麼就會嚴重影響系統效能。

Query Cache Report: Lines 38 - 45

Query Cache Report 只有在 MySQL 有支援 Query Cache，以及 Query Cache 功能有開啟的情況下才會有這段資訊出現。

Memory usage: Line 39

此項目指出 Query Cache 的使用狀況，若系統已達到 Query Cache 的上限則會連帶影響到 Prunes Value，因為當配給的 Memory 不足時，MySQL 必須不斷地消除 RAM 中較不常使用的資料以挪出空間擺放新的資料。

Block Fragmnt: Line 40

這個數值越高表示 Query Cache 的 Fragment 狀況越嚴重，通常它會界於 10%~20% 之間。在此範例中 Block Fragmnt 為 13.05%，這是可接受的情況，當然你也可以調整 query_cache_min_res_unit 的值來降低 Block Fragmnt。

Hits, Inserts, Prunes: Lines 41 - 43

Hits 是這三個數值中最重要的一項，因為它指出有多少 SELECT statements 是可直接從 Query Cache 裡面取得所需的資訊，此數值越高就越好。Inserts 和 Prunes 最好是從第 44 行的比值來觀察比較容易理解。雖然 Prunes 的值偏高可能代表著 Query Cache 設得不夠大，但並不一定是如此。在本例中只有 55% 的 Query Cache 被使用，有著相對而言算低的 fragmentation 值，但 Prunes 值偏高，Prunes 的值(16/s)是 QC Hits 的兩倍。你可以想像這台 Server 的 Query Cache 是一顆蘋果樹，它的樹枝被剪去的速度比你採收蘋果的速度還快。

Insrtrune and Hit:Insert Ratios: Lines 44 - 45

第 44 行中的 Insert 與 Prune 的比值可顯示 Query Cache 的揮發性。在一個高度穩定的 Query Cache 中，Insrt 的值應該要高於 Prune 的值；反之，在一個揮發性較高(較不穩定)的 Query Cache 中，這個比值將會是 1:1 或是偏重在 Prune 那方，這表示 Query Cache 中的資料有可能在使用到之前就已經被清除了。我們會希望擁有一個穩定的 Query Cache，因為穩定的 Query Cache 表示那些被 Cache 在 Query Cache 中的資料會常被用到。高揮發性(較不穩定)的 Query Cache 代表兩件事情：第一，Query Cache 設得太小，需要加大。第二，MySQL 正試圖要 cache 所有的東西，甚至是那些其實並不需要 cache 的資料。若是第一種狀況，只要單純的加大 Query Cache 即可。若是第二種情況，可能是 MySQL 試圖要去 cache 所有可以 cache 的資料，你可以使用 SQL_NO_CACHE 來明確的告訴 MySQL 什麼資料是你不想要 cache 的。

Hit 與 Insert 的比值代表著 Query Cache 的有效性，理想的情況是我們新增了一些 Qeury 到 Query Cache 中，然後希望得到許多 Hits。因此若是這個 Query Cache 是有效率的，那麼該比值應該要偏重在左方。若比值是偏重在 Insert 那方，那麼這個 Query Cache 的揮發性就太高了。考慮以下這個比值，若 Hit:Insert 為 1:1，那就表示 Query Cache 中的資料只使用了一次就被清除掉了，換句話說，我們放進去的資料比我們從裡面拿出來的資料還多，這樣一來就失去了使用 Query Cache 的意義。回想我們前面所提過的，雖然在本範例中 QC Hit 在全部的 Questions 中佔了很高的比例，但實際上我們可以發現 QC 的有效性其實是很低的(Hit:Insert 的比值偏重在 Insert 那方)。若造成這個現象的原因是 MySQL 正試圖 cache 所有的東西，那麼將 Cache 模式改為 DEMAND 或許可以解決此問題。

Table Locks Report: Lines 47 - 49

這個部份包含了兩項資訊：第一項是 Waited，代表 MySQL 需要等待以取得 table lock 的次數。第二項是 Immediate，表示 MySQL 不需要等待即可立刻取得 table lock 的次數。對資料庫來說『等待』幾乎可以肯定是一件很不好的事情，因此 Waited 的值應該要越小越好。最具有代表性的是第三個欄位(Waited 佔所有 table lock 的百分比)，這個數值應該要小於 10%，大於這個值就表示 table/query 的索引設計不良或是有過多的 Slow Query。

Tables Report: Lines 51 - 53

Tables Report 同樣包含了二項資訊：第一是 Open，顯示目前正開啟的 table 數量、總共可開啟的最大數量，以及 Table Cache 的使用狀況。第二是 Opend，表示截至目前為止 MySQL 總共開啟過的 Table 數量，以及除上 Uptime 後的比值。這裡有兩件事值得注意：首先是 Table Cache 的使用狀況，100% 的 Table Cache 使用率並不是一件壞事但你可以試著調大 Table Cache 以增進效能。第二是 MySQL 開啟 Table 的平均速率，若這個值很高則表示您的 table_cache 設得太小了，需要調大一些。一般來說，MySQL 開啟 Table 的平均速率最好是小於 1/s。但大於這個數值也不一定就是壞事，有些調校良好且運作的十分有效率的 MySQL Server 其值為 7/s 並使用了 100% 的 Table Cache。

Connections Report: Lines 55 - 57

Connections Report 所代表的意義與 Tables Report 相似，請各位以此類推。比較需要注意的是：若你發現 Connections 的使用率接近 100%，也許你會想調大 max_connections 的值以允許 MySQL 的 Client 建立更多連線。然而，這通常是一種錯誤。我們常常可以發現很多網路上的資料會教我們要調大 max_connections，但卻從來沒有給一個明確的理由。事實上，max_connections 的預設值(100)，就算是對於負載十分沉重但有良好調校過的 Server 都已十分足夠。MySQL 對於單一連線的資料處理通常只需要零點幾秒的時間即可完成，就算是最大只能使用 100 個連線也夠讓你用上很長一段時間。若是您的 Server 有著非常高的最大連線數(max connections)或是單一連線需要很長時間才可完成，那麼問題八成不是 max_connections 的值不夠大而是在別的地方，例如 slow queries、索引設計不良、甚至是過於緩慢的 DNS 解析。在您將 max_connections 的值調到 100 以上之前，您應該要先確定真的是因為 Server 過於忙碌而需要調高此數值，而不是其他地方出了問題。每秒平均連線數有可能會很高，事實上，若這個值很高而且 Server 的運作十分順暢，那麼這通常會是一個好現象，無需擔心。大部份 Server 的每秒平均連線數應該都會低於 5/s。

Created Temp Report: Lines 59 - 62

MySQL 可以建立暫時性的資料表，它可建立在硬碟中、檔案裡、或是 RAM 之中，而 Created Temp Report 則提供了相關的數據供您參考。這些數據大多是相對而言，沒有一定的標準，但將暫時性的資料表建立在硬碟中是十分沒有效率的，因此 Disk table 的值最好是三者中最小的一個。當暫時性的資料表被建立在硬碟中，表示此資料表沒有辦法被放進 RAM 裡面（因為 tmp_table_size 的值設得不夠大）。

Threads, Aborted, Bytes Reports: Lines 64 - 76

這幾個部份大多沒什麼好解釋的，只有一個項目值得特別說明：第 66 行的最後一個欄位(%Hit)。每一個連接到 MySQL 的連線都是由不同的 Thread 來處理，當 MySQL 啟動時會預先建立一些 Threads 並保留在 Thread Cache 中，如此一來 MySQL 就不用一直忙著建立與刪除 Threads。但當每秒最大連線數大於 MySQL 的 Thread Cache 時，MySQL 就會進入 Thread Thrash 的狀態：它不斷地建立新的 Threads 以滿足不斷增加的連線的需求。當 Thread Thrash 發生時，%Hit 的數值就會降低。在本範例中 %Hit 的值為 0.05%，這是非常不好的，因為它表示幾乎每一個新進來的連線都會造成 MySQL 建立新的 Thread。我們可以看到在此範例中造成此現象的原凶就在第 66 行的第一個欄位，我們可以發現 Thread Cache 的值為 0，因此 thread_cache_size 的值需要調大。

話說回來，究竟 %Hit 接近於零真的有什麼關係嗎？Jeremy Zawondy 曾在部落格上說到：Thread caching 並不是我們最需要關心的問題，但當你解決了所有其他更嚴重的問題之後，它就會是最嚴重的問題。(hread caching really wasn't the worst of our problems. But it became the worst after we had fixed all the bigger ones.)

wisdomleo at 2011-6-27 08:54:31

詳細  多謝分享 ^ ^!!!!!!!