概述

對于MySQL的監(jiān)控平臺，相信大家實(shí)現(xiàn)起來有很多了：基于天兔的監(jiān)控，還有基于zabbix相關(guān)的二次開發(fā)。相信很多同行都應(yīng)該已經(jīng)開始玩起來了。我這邊的選型是Prometheus + Granafa的實(shí)現(xiàn)方式。簡而言之就是我現(xiàn)在的生產(chǎn)環(huán)境使用的是prometheus，還有就是granafa滿足的我的日常工作需要。在入門的簡介和安裝，大家可以參考這里：

https://blog.51cto.com/cloumn/detail/77

1、首先看下我們的監(jiān)控效果、mysql主從

構(gòu)建高大上的MySQL監(jiān)控平臺

2、mysql狀態(tài)：

構(gòu)建高大上的MySQL監(jiān)控平臺

3、緩沖池狀態(tài)：

構(gòu)建高大上的MySQL監(jiān)控平臺

構(gòu)建高大上的MySQL監(jiān)控平臺

exporter 相關(guān)部署

1、安裝exporter

    [root@controller2 opt]# https://github.com/prometheus/mysqld_exporter/releases/download/v0.10.0/mysqld_exporter-0.10.0.linux-amd64.tar.gz
    [root@controller2 opt]# tar -xf mysqld_exporter-0.10.0.linux-amd64.tar.gz 

2、添加mysql 賬戶：

    GRANT SELECT, PROCESS, SUPER, REPLICATION CLIENT, RELOAD ON *.* TO 'exporter'@'%' IDENTIFIED BY 'localhost';
    flush privileges;

3、編輯配置文件：

    [root@controller2 mysqld_exporter-0.10.0.linux-amd64]# cat /opt/mysqld_exporter-0.10.0.linux-amd64/.my.cnf 
    [client]
    user=exporter
    password=123456

4、設(shè)置配置文件：

    [root@controller2 mysqld_exporter-0.10.0.linux-amd64]# cat /etc/systemd/system/mysql_exporter.service 
    [Unit]
    Description=mysql Monitoring System
    Documentation=mysql Monitoring System

    [Service]
    ExecStart=/opt/mysqld_exporter-0.10.0.linux-amd64/mysqld_exporter 
             -collect.info_schema.processlist 
             -collect.info_schema.innodb_tablespaces 
             -collect.info_schema.innodb_metrics  
             -collect.perf_schema.tableiowaits 
             -collect.perf_schema.indexiowaits 
             -collect.perf_schema.tablelocks 
             -collect.engine_innodb_status 
             -collect.perf_schema.file_events 
             -collect.info_schema.processlist 
             -collect.binlog_size 
             -collect.info_schema.clientstats 
             -collect.perf_schema.eventswaits 
             -config.my-cnf=/opt/mysqld_exporter-0.10.0.linux-amd64/.my.cnf

    [Install]
    WantedBy=multi-user.target

5、添加配置到prometheus server

      - job_name: 'mysql'
        static_configs:
         - targets: ['192.168.1.11:9104','192.168.1.12:9104']

6、測試看有沒有返回數(shù)值：

http://192.168.1.12:9104/metrics

正常我們通過mysql_up可以查詢倒mysql監(jiān)控是否已經(jīng)生效，是否起起來

    #HELP mysql_up Whether the MySQL server is up.
    #TYPE mysql_up gauge
    mysql_up 1

監(jiān)控相關(guān)指標(biāo)

在做任何一個東西監(jiān)控的時候，我們要時刻明白我們要監(jiān)控的是什么，指標(biāo)是啥才能更好的去監(jiān)控我們的服務(wù)，在mysql里面我們通常可以通過一下指標(biāo)去衡量mysql的運(yùn)行情況：mysql主從運(yùn)行情況、查詢吞吐量、慢查詢情況、連接數(shù)情況、緩沖池使用情況以及查詢執(zhí)行性能等。

主從復(fù)制運(yùn)行指標(biāo)：

1、主從復(fù)制線程監(jiān)控：

大部分情況下，很多企業(yè)使用的都是主從復(fù)制的環(huán)境，監(jiān)控兩個線程是非常重要的，在mysql里面我們通常是通過命令：

    MariaDB [(none)]> show slave statusG;
    *************************** 1. row ***************************
                   Slave_IO_State: Waiting for master to send event
                      Master_Host: 172.16.1.1
                      Master_User: repl
                      Master_Port: 3306
                    Connect_Retry: 60
                  Master_Log_File: mysql-bin.000045
              Read_Master_Log_Pos: 72904854
                   Relay_Log_File: mariadb-relay-bin.000127
                    Relay_Log_Pos: 72905142
            Relay_Master_Log_File: mysql-bin.000045
                 Slave_IO_Running: Yes
                Slave_SQL_Running: Yes

Slave_IO_Running、Slave_SQL_Running兩個線程正常那么說明我們的復(fù)制集群是健康狀態(tài)的。

MySQLD Exporter中返回的樣本數(shù)據(jù)中通過
mysql_slave_status_slave_sql_running來獲取主從集群的健康狀況。

    # HELP mysql_slave_status_slave_sql_running Generic metric from SHOW SLAVE STATUS.
    # TYPE mysql_slave_status_slave_sql_running untyped
    mysql_slave_status_slave_sql_running{channel_name="",connection_name="",master_host="172.16.1.1",master_uuid=""} 1

2、主從復(fù)制落后時間：

在使用show slave status
里面還有一個關(guān)鍵的參數(shù)Seconds_Behind_Master。Seconds_Behind_Master表示slave上SQL thread與IO thread之間的延遲，我們都知道在MySQL的復(fù)制環(huán)境中，slave先從master上將binlog拉取到本地（通過IO thread），然后通過SQL
thread將binlog重放，而Seconds_Behind_Master表示本地relaylog中未被執(zhí)行完的那部分的差值。所以如果slave拉取到本地的relaylog（實(shí)際上就是binlog，只是在slave上習(xí)慣稱呼relaylog而已）都執(zhí)行完，此時通過show slave status看到的會是0

Seconds_Behind_Master: 0

MySQLD Exporter中返回的樣本數(shù)據(jù)中通過
mysql_slave_status_seconds_behind_master 來獲取相關(guān)狀態(tài)。

    # HELP mysql_slave_status_seconds_behind_master Generic metric from SHOW SLAVE STATUS.
    # TYPE mysql_slave_status_seconds_behind_master untyped
    mysql_slave_status_seconds_behind_master{channel_name="",connection_name="",master_host="172.16.1.1",master_uuid=""} 0

查詢吞吐量：

說到吞吐量，那么我們?nèi)绾螐哪欠矫鎭砗饬磕兀?br />通常來說我們可以根據(jù)mysql 的插入、查詢、刪除、更新等操作來

為了獲取吞吐量，MySQL 有一個名為 Questions 的內(nèi)部計(jì)數(shù)器（根據(jù) MySQL
用語，這是一個服務(wù)器狀態(tài)變量），客戶端每發(fā)送一個查詢語句，其值就會加一。由 Questions 指標(biāo)帶來的以客戶端為中心的視角常常比相關(guān)的Queries
計(jì)數(shù)器更容易解釋。作為存儲程序的一部分，后者也會計(jì)算已執(zhí)行語句的數(shù)量，以及諸如PREPARE 和 DEALLOCATE PREPARE
指令運(yùn)行的次數(shù)，作為服務(wù)器端預(yù)處理語句的一部分。可以通過命令來查詢：

    MariaDB [(none)]> SHOW GLOBAL STATUS LIKE "Questions";
    +---------------+-------+
    | Variable_name | Value |
    +---------------+-------+
    | Questions     | 15071 |
    +---------------+-------+

MySQLD Exporter中返回的樣本數(shù)據(jù)中通過
mysql_global_status_questions反映當(dāng)前Questions計(jì)數(shù)器的大小：

    # HELP mysql_global_status_questions Generic metric from SHOW GLOBAL STATUS.
    # TYPE mysql_global_status_questions untyped
    mysql_global_status_questions 13253

當(dāng)然由于prometheus
具有非常豐富的查詢語言，我們可以通過這個累加的計(jì)數(shù)器來查詢某一短時間內(nèi)的查詢增長率情況，可以做相關(guān)的閾值告警處理、例如一下查詢2分鐘時間內(nèi)的查詢情況：

rate(mysql_global_status_questions[2m])

當(dāng)然上面是總量，我們可以分別從監(jiān)控讀、寫指令的分解情況，從而更好地理解數(shù)據(jù)庫的工作負(fù)載、找到可能的瓶頸。通常，通常，讀取查詢會由 Com_select
指標(biāo)抓取，而寫入查詢則可能增加三個狀態(tài)變量中某一個的值，這取決于具體的指令：

Writes = Com_insert + Com_update + Com_delete

下面我們通過命令獲取插入的情況：

    MariaDB [(none)]> SHOW GLOBAL STATUS LIKE "Com_insert";
    +---------------+-------+
    | Variable_name | Value |
    +---------------+-------+
    | Com_insert    | 10578 |
    +---------------+-------+

從MySQLD
Exporter的/metrics返回的監(jiān)控樣本中，可以通過
global_status_commands_total獲取當(dāng)前實(shí)例各類指令執(zhí)行的次數(shù)：

    # HELP mysql_global_status_commands_total Total number of executed MySQL commands.
    # TYPE mysql_global_status_commands_total counter
    mysql_global_status_commands_total{command="create_trigger"} 0
    mysql_global_status_commands_total{command="create_udf"} 0
    mysql_global_status_commands_total{command="create_user"} 1
    mysql_global_status_commands_total{command="create_view"} 0
    mysql_global_status_commands_total{command="dealloc_sql"} 0
    mysql_global_status_commands_total{command="delete"} 3369
    mysql_global_status_commands_total{command="delete_multi"} 0

慢查詢性能

查詢性能方面，慢查詢也是查詢告警的一個重要的指標(biāo)。MySQL還提供了一個Slow_queries的計(jì)數(shù)器，當(dāng)查詢的執(zhí)行時間超過long_query_time的值后，計(jì)數(shù)器就會+1，其默認(rèn)值為10秒，可以通過以下指令在MySQL中查詢當(dāng)前l(fā)ong_query_time的設(shè)置：

    MariaDB [(none)]> SHOW VARIABLES LIKE 'long_query_time';
    +-----------------+-----------+
    | Variable_name   | Value     |
    +-----------------+-----------+
    | long_query_time | 10.000000 |
    +-----------------+-----------+
    1 row in set (0.00 sec)

當(dāng)然我們也可以修改時間

    MariaDB [(none)]> SET GLOBAL long_query_time = 5;
    Query OK, 0 rows affected (0.00 sec)

然后我們而已通過sql語言查詢MySQL實(shí)例中Slow_queries的數(shù)量：

    MariaDB [(none)]> SHOW GLOBAL STATUS LIKE "Slow_queries";
    +---------------+-------+
    | Variable_name | Value |
    +---------------+-------+
    | Slow_queries  | 0     |
    +---------------+-------+
    1 row in set (0.00 sec)

MySQLD
Exporter返回的樣本數(shù)據(jù)中，通過
mysql_global_status_slow_queries指標(biāo)展示當(dāng)前的Slow_queries的值：

    # HELP mysql_global_status_slow_queries Generic metric from SHOW GLOBAL STATUS.
    # TYPE mysql_global_status_slow_queries untyped
    mysql_global_status_slow_queries 0

同樣的，更具根據(jù)Prometheus 慢查詢語句我們也可以查詢倒他某段時間內(nèi)的增長率：

rate(mysql_global_status_slow_queries[5m])

連接數(shù)監(jiān)控

監(jiān)控客戶端連接情況相當(dāng)重要，因?yàn)橐坏┛捎眠B接耗盡，新的客戶端連接就會遭到拒絕。MySQL 默認(rèn)的連接數(shù)限制為 151。

    MariaDB [(none)]> SHOW VARIABLES LIKE 'max_connections';
    +-----------------+-------+
    | Variable_name   | Value |
    +-----------------+-------+
    | max_connections | 151   |
    +-----------------+-------+

當(dāng)然我們可以修改配置文件的形式來增加這個數(shù)值。與之對應(yīng)的就是當(dāng)前連接數(shù)量，當(dāng)我們當(dāng)前連接出來超過系統(tǒng)設(shè)置的最大值之后常會出現(xiàn)我們看到的Too many
connections(連接數(shù)過多)，下面我查找一下當(dāng)前連接數(shù)：

    MariaDB [(none)]> SHOW GLOBAL STATUS LIKE "Threads_connected";
    +-------------------+-------+
    | Variable_name     | Value |
    +-------------------+-------+
    | Threads_connected | 41     |
    +-------------------+-------

當(dāng)然mysql 還提供Threads_running 這個指標(biāo)，幫助你分隔在任意時間正在積極處理查詢的線程與那些雖然可用但是閑置的連接。

    MariaDB [(none)]> SHOW GLOBAL STATUS LIKE "Threads_running";
    +-----------------+-------+
    | Variable_name   | Value |
    +-----------------+-------+
    | Threads_running | 10     |
    +-----------------+-------+

如果服務(wù)器真的達(dá)到 max_connections
限制，它就會開始拒絕新的連接。在這種情況下，
Connection_errors_max_connections
指標(biāo)就會開始增加，同時，追蹤所有失敗連接嘗試的Aborted_connects 指標(biāo)也會開始增加。

MySQLD Exporter返回的樣本數(shù)據(jù)中:

    # HELP mysql_global_variables_max_connections Generic gauge metric from SHOW GLOBAL VARIABLES.
    # TYPE mysql_global_variables_max_connections gauge
    mysql_global_variables_max_connections 151         

表示最大連接數(shù)

    # HELP mysql_global_status_threads_connected Generic metric from SHOW GLOBAL STATUS.
    # TYPE mysql_global_status_threads_connected untyped
    mysql_global_status_threads_connected 41

表示當(dāng)前的連接數(shù)

    # HELP mysql_global_status_threads_running Generic metric from SHOW GLOBAL STATUS.
    # TYPE mysql_global_status_threads_running untyped
    mysql_global_status_threads_running 1

表示當(dāng)前活躍的連接數(shù)

    # HELP mysql_global_status_aborted_connects Generic metric from SHOW GLOBAL STATUS.
    # TYPE mysql_global_status_aborted_connects untyped
    mysql_global_status_aborted_connects 31

累計(jì)所有的連接數(shù)

    # HELP mysql_global_status_connection_errors_total Total number of MySQL connection errors.
    # TYPE mysql_global_status_connection_errors_total counter
    mysql_global_status_connection_errors_total{error="internal"} 0
    #服務(wù)器內(nèi)部引起的錯誤、如內(nèi)存硬盤等
    mysql_global_status_connection_errors_total{error="max_connections"} 0
    #超出連接處引起的錯誤

當(dāng)然根據(jù)prom表達(dá)式，我們可以查詢當(dāng)前剩余可用的連接數(shù)：

mysql_global_variables_max_connections - mysql_global_status_threads_connected

查詢mysq拒絕連接數(shù)

mysql_global_status_aborted_connects

緩沖池情況：

MySQL 默認(rèn)的存儲引擎 InnoDB
使用了一片稱為緩沖池的內(nèi)存區(qū)域，用于緩存數(shù)據(jù)表與索引的數(shù)據(jù)。緩沖池指標(biāo)屬于資源指標(biāo)，而非工作指標(biāo)，前者更多地用于調(diào)查（而非檢測）性能問題。如果數(shù)據(jù)庫性能開始下滑，而磁盤
I/O 在不斷攀升，擴(kuò)大緩沖池往往能帶來性能回升。
默認(rèn)設(shè)置下，緩沖池的大小通常相對較小，為 128MiB。不過，MySQL 建議可將其擴(kuò)大至專用數(shù)據(jù)庫服務(wù)器物理內(nèi)存的 80% 大小。我們可以查看一下：

    MariaDB [(none)]> show global variables like 'innodb_buffer_pool_size';
    +-------------------------+-----------+
    | Variable_name           | Value     |
    +-------------------------+-----------+
    | innodb_buffer_pool_size | 134217728 |
    +-------------------------+-----------+

MySQLD Exporter返回的樣本數(shù)據(jù)中，使用
mysql_global_variables_innodb_buffer_pool_size來表示。

    # HELP mysql_global_variables_innodb_buffer_pool_size Generic gauge metric from SHOW GLOBAL VARIABLES.
    # TYPE mysql_global_variables_innodb_buffer_pool_size gauge
    mysql_global_variables_innodb_buffer_pool_size 1.34217728e+08

    Innodb_buffer_pool_read_requests記錄了正常從緩沖池讀取數(shù)據(jù)的請求數(shù)量。可以通過以下指令查看

    MariaDB [(none)]> SHOW GLOBAL STATUS LIKE "Innodb_buffer_pool_read_requests";
    +----------------------------------+-------------+
    | Variable_name                    | Value       |
    +----------------------------------+-------------+
    | Innodb_buffer_pool_read_requests | 38465 |
    +----------------------------------+-------------+

MySQLD
Exporter返回的樣本數(shù)據(jù)中，使用
mysql_global_status_innodb_buffer_pool_read_requests來表示。

    # HELP mysql_global_status_innodb_buffer_pool_read_requests Generic metric from SHOW GLOBAL STATUS.
    # TYPE mysql_global_status_innodb_buffer_pool_read_requests untyped
    mysql_global_status_innodb_buffer_pool_read_requests 2.7711547168e+10

當(dāng)緩沖池?zé)o法滿足時，MySQL只能從磁盤中讀取數(shù)據(jù)。Innodb_buffer_pool_reads即記錄了從磁盤讀取數(shù)據(jù)的請求數(shù)量。通常來說從內(nèi)存中讀取數(shù)據(jù)的速度要比從磁盤中讀取快很多，因此，如果Innodb_buffer_pool_reads的值開始增加，可能意味著數(shù)據(jù)庫的性能有問題。
可以通過以下只能查看Innodb_buffer_pool_reads的數(shù)量

    MariaDB [(none)]> SHOW GLOBAL STATUS LIKE "Innodb_buffer_pool_reads";
    +--------------------------+-------+
    | Variable_name            | Value |
    +--------------------------+-------+
    | Innodb_buffer_pool_reads | 138  |
    +--------------------------+-------+
    1 row in set (0.00 sec)

MySQLD
Exporter返回的樣本數(shù)據(jù)中，使用
mysql_global_status_innodb_buffer_pool_read_requests來表示。

    # HELP mysql_global_status_innodb_buffer_pool_reads Generic metric from SHOW GLOBAL STATUS.
    # TYPE mysql_global_status_innodb_buffer_pool_reads untyped
    mysql_global_status_innodb_buffer_pool_reads 138

通過以上監(jiān)控指標(biāo)，以及實(shí)際監(jiān)控的場景，我們可以利用PromQL快速建立多個監(jiān)控項(xiàng)。可以查看兩分鐘內(nèi)讀取磁盤的增長率的增長率：

rate(mysql_global_status_innodb_buffer_pool_reads[2m])

官方模板ID

上面是我們簡單列舉的一些指標(biāo)，下面我們使用granafa給 MySQLD_Exporter添加監(jiān)控圖表：

• 主從主群監(jiān)控(模板7371)：
• 相關(guān)mysql 狀態(tài)監(jiān)控7362：
• 緩沖池狀態(tài)7365：
• 簡單的告警規(guī)則

除了相關(guān)模板之外，沒有告警規(guī)則那么我們的監(jiān)控就是不完美的，下面列一下我們的監(jiān)控告警規(guī)則

    groups:
    - name: MySQL-rules
      rules:
      - alert: MySQL Status 
        expr: up == 0
        for: 5s 
        labels:
          severity: warning
        annotations:
          summary: "{{$labels.instance}}: MySQL has stop !!!"
          description: "檢測MySQL數(shù)據(jù)庫運(yùn)行狀態(tài)"

      - alert: MySQL Slave IO Thread Status
        expr: mysql_slave_status_slave_io_running == 0
        for: 5s 
        labels:
          severity: warning
        annotations: 
          summary: "{{$labels.instance}}: MySQL Slave IO Thread has stop !!!"
          description: "檢測MySQL主從IO線程運(yùn)行狀態(tài)"

      - alert: MySQL Slave SQL Thread Status 
        expr: mysql_slave_status_slave_sql_running == 0
        for: 5s 
        labels:
          severity: warning
        annotations: 
          summary: "{{$labels.instance}}: MySQL Slave SQL Thread has stop !!!"
          description: "檢測MySQL主從SQL線程運(yùn)行狀態(tài)"

      - alert: MySQL Slave Delay Status 
        expr: mysql_slave_status_sql_delay == 30
        for: 5s 
        labels:
          severity: warning
        annotations: 
          summary: "{{$labels.instance}}: MySQL Slave Delay has more than 30s !!!"
          description: "檢測MySQL主從延時狀態(tài)"

      - alert: Mysql_Too_Many_Connections
        expr: rate(mysql_global_status_threads_connected[5m]) > 200
        for: 2m
        labels:
          severity: warning
        annotations:
          summary: "{{$labels.instance}}: 連接數(shù)過多"
          description: "{{$labels.instance}}: 連接數(shù)過多，請?zhí)幚?,(current value is: {{ $value }})"  

      - alert: Mysql_Too_Many_slow_queries
        expr: rate(mysql_global_status_slow_queries[5m]) > 3
        for: 2m
        labels:
          severity: warning
        annotations:
          summary: "{{$labels.instance}}: 慢查詢有點(diǎn)多，請檢查處理"
          description: "{{$labels.instance}}: Mysql slow_queries is more than 3 per second ,(current value is: {{ $value }})"

2、添加規(guī)則到prometheus：

    rule_files:
      - "rules/*.yml" 

3、打開web ui我們可以看到規(guī)則生效了：

構(gòu)建高大上的MySQL監(jiān)控平臺

總結(jié)

到處監(jiān)控mysql的相關(guān)狀態(tài)已經(jīng)完成，大家可以根據(jù)mysql更多的監(jiān)控指標(biāo)去完善自己的監(jiān)控。