postgres主從流復制
postgres在9.0之后引入了主從的流復制機制,所謂流復制,就是從庫通過tcp流從主庫中同步相應的數據。postgres的主從看過一個視頻,大概效率為3w多事務qps。
postgres的主從主稱之為primary,從稱為stand_by。主從配置需要注意的一個是主從的postgres的版本,環境,等最好都需要一致,否則可能產生奇奇怪怪的問題。
postgres的主配置
主是10.12.12.10這臺機器
首先需要配置一個賬號進行主從同步。
修改pg_hba.conf,增加replica用戶,進行同步。
host replication replica 10.12.12.12/32 md5
這樣,就設置了replica這個用戶可以從10.12.12.12 對應的網段進行流復制請求。
給postgres設置密碼,登錄和備份權限。
postgres# CREATE ROLE replica login replication encrypted password 'replica'
修改postgresql.conf,注意設置下下面幾個地方:
wal_level = hot_standby # 這個是設置主為wal的主機 max_wal_senders = 32 # 這個設置了可以最多有幾個流復制連接,差不多有幾個從,就設置幾個 wal_keep_segments = 256 # 設置流復制保留的最多的xlog數目 wal_sender_timeout = 60s # 設置流復制主機發送數據的超時時間 max_connections = 100 # 這個設置要注意下,從庫的max_connections必須要大于主庫的
重啟主
pg_ctl restart
postgres的從配置
從是10.12.12.12這臺機器
創建的目錄為 /data/pgsql/data2
pg_basebackup -F p --progress -D /data/pgsql/data2 -h 10.12.12.10 -p 5432 -U replica --password
這里使用了pg_basebackup這個命令,/data/pgsql/data2這個目錄是空的
成功之后,就可以看到這個目錄中現有的文件都是一樣的了。
進入到/data/pgsql/data2目錄,復制recovery.conf,這個文件可以從pg的安裝目錄的share文件夾中獲取,比如
cp /usr/local/postgres94/share/recovery.conf.sample /data/pgsql/data2/recovery.conf
修改recovery.conf,只要修改幾個地方就行了
standby_mode = on # 這個說明這臺機器為從庫 primary_conninfo = 'host=10.12.12.10 port=5432 user=replica password=replica' # 這個說明這臺機器對應主庫的信息 recovery_target_timeline = 'latest' # 這個說明這個流復制同步到最新的數據
postgresql.conf中也有幾個地方要進行修改
max_connections = 1000 # 一般查多于寫的應用從庫的最大連接數要比較大 hot_standby = on # 說明這臺機器不僅僅是用于數據歸檔,也用于數據查詢 max_standby_streaming_delay = 30s # 數據流備份的最大延遲時間 wal_receiver_status_interval = 1s # 多久向主報告一次從的狀態,當然從每次數據復制都會向主報告狀態,這里只是設置最長的間隔時間 hot_standby_feedback = on # 如果有錯誤的數據復制,是否向主進行反饋
現在需要對/data/pgsql/data2賦權
chmod 0700 data2
好了,現在啟動從庫
確認主庫和從庫都配置好了
查看進程,主庫所在的機器中會看到sender進程
8467 postgres 20 0 255m 2396 1492 S 0.0 0.1 0:00.66 postgres: wal sender process replica
從庫所在的機器中會看到receiver進程
8466 postgres 20 0 298m 1968 1096 S 0.0 0.1 0:06.88 postgres: wal receiver process streaming 3/CF118C18
查看復制狀態
主庫中執行:
postgres=# select * from pg_stat_replication; -[ RECORD 1 ]----+------------------------------ pid | 8467 # sender的進程 usesysid | 44673 # 復制的用戶id usename | replica # 復制的用戶用戶名 Application_name | walreceiver client_addr | 10.12.12.12 # 復制的客戶端地址 client_hostname | client_port | 55804 # 復制的客戶端端口 backend_start | 2015-05-12 07:31:16.972157+08 # 這個主從搭建的時間 backend_xmin | state | streaming # 同步狀態 startup: 連接中、catchup: 同步中、streaming: 同步 sent_location | 3/CF123560 # Master傳送WAL的位置 write_location | 3/CF123560 # Slave接收WAL的位置 flush_location | 3/CF123560 # Slave同步到磁盤的WAL位置 replay_location | 3/CF123560 # Slave同步到數據庫的WAL位置 sync_priority | 0 #同步Replication的優先度 0: 異步、1~?: 同步(數字越小優先度越高) sync_state | async # 有三個值,async: 異步、sync: 同步、potential: 雖然現在是異步模式,但是有可能升級到同步模式
同步復制
看到上面的sync_state的狀態有同步和異步的區別。
我們之前的概念都是異步備份,就是一個事務完成了之后,直接返回程序,然后紀錄日志,由復制進程重放日志進行數據復制。同步備份的概念,就是一個事務只有當完成了數據復制之后,才返回到程序中。當然同步的性能一定會比異步的性能差一個量級。