二区三区四区五区视频,狼友亚洲欧美在线网站,无码人妻束缚av又粗又大

來源：吳炳錫

yq.aliyun.com/articles/278034

MySQL數據庫如何實現每秒570000的寫入，通過本文了解下。

一、需求

一個朋友接到一個需求，從大數據平臺收到一個數據寫入在20億+，需要快速地加載到MySQL中，供第二天業務展示使用。

二、實現再分析

對于單表20億，在MySQL運維，說真的這塊目前涉及得比較少，也基本沒什么經驗，但對于InnoDB單表Insert 如果內存大于數據情況下，可以維持在10萬-15萬行寫入。但很多時間我們接受的項目還是數據超過內存的。這里使用XeLabs TokuDB做一個測試。

三、XeLabs TokuDB 介紹

項目地址：

https://github.com/XeLabs/tokudb

相對官方TokuDB的優化：

內置了jemalloc 內存分配
引入更多的內置的TokuDB性能指標
支持Xtrabackup備份
引入ZSTD壓縮算法
支持TokuDB的binlog_group_commit特性

四、測試表

TokuDB核心配置：

loose_tokudb_cache_size=4G
loose_tokudb_directio=ON
loose_tokudb_fsync_log_period=1000
tokudb_commit_sync=0

表結構

CREATETABLE`user_summary`(
`user_id`bigint(20)unsignedNOTNULLCOMMENT'用戶id/手機號',
`weight`varchar(5)DEFAULTNULLCOMMENT'和碼體重(KG)',
`level`varchar(20)DEFAULTNULLCOMMENT'重量級',
`beat_rate`varchar(12)DEFAULTNULLCOMMENT'擊敗率',
`level_num`int(10)DEFAULTNULLCOMMENT'同噸位人數',
UNIQUEKEY`u_user_id`(`user_id`)
)ENGINE=TokuDBDEFAULTCHARSET=utf8

利用load data寫入數據

root@localhost[zst]>LOADDATAINFILE'/u01/work/134-136.txt'
INTOTABLEuser_summary(user_id,weight,level,beat_rate,level_num);
QueryOK,200000000rowsaffected(5min48.30sec)
Records:200000000Deleted:0Skipped:0Warnings:0

計算一下每秒寫入速度：

root@localhost[zst]>select200000000/(5*60+48.30);
+------------------------+
|200000000/(5*60+48.30)|
+------------------------+
|574217.6285|
+------------------------+
1rowinset(0.00sec)

文件大小：

-rw-r--r--1rootroot8.5G11月2520:05134-136.txt
-rw-r-----1mysqlmysql8.6K11月2520:44user_summary.frm
-rw-r-----1mysqlmysql3.5G11月2520:51user_summary_main_229_1_1d_B_0.tokudb

實際文件8.5G，寫入TokuDB大小3.5G，只是接近于一半多點的壓縮量。對于20億數據寫入，實際測試在58分鐘多點就可以完成。可以滿足實際需求，另外對于磁盤IO比較好的機器（SSD類盤，云上的云盤），如果內存和數據差不多情況，這量級數據量測試在Innodb里需要添加自增列，可以在3個小多一點完成。從最佳實戰上來看，Innodb和TokuDB都寫入同樣的數據，InnoDB需要花大概是TokuDB3-4倍時間。文件大小區別，同樣20億數據：

-rw-r-----1mysqlmysql35G11月2523:29user2_main_26a_1_1d_B_0.tokudb
-rw-r-----1mysqlmysql176G11月2603:32user5.ibd

文件大小在5倍大小的區別。

測試結論：

利用TokuDB在某云環境中8核8G內存，500G高速云盤環境，多次測試可以輕松實現57萬每秒的寫入量。

另外測試幾種場景也供大家參考：如果在TokuDB中使用帶自增的主鍵，主鍵無值讓MySQL內部產生寫入速度，下降比較明顯，同樣寫入2億數據，帶有自建主鍵：

root@localhost[zst]>CREATETABLE`user3`(
->`user_id`bigint(20)unsignedNOTNULLCOMMENT'用戶id/手機號',
->`weight`varchar(5)DEFAULTNULLCOMMENT'和碼體重(KG)',
->`level`varchar(20)DEFAULTNULLCOMMENT'重量級',
->`beat_rate`varchar(12)DEFAULTNULLCOMMENT'擊敗率',
->`level_num`int(10)DEFAULTNULLCOMMENT'同噸位人數',
->`id`bigint(20)NOTNULLAUTO_INCREMENT,
->PRIMARYKEY(`id`),
->UNIQUEKEY`u_user_id`(`user_id`)
->)ENGINE=TokuDB;
QueryOK,0rowsaffected(0.03sec)

root@localhost[zst]>LOADDATAINFILE'/u01/work/134-136.txt'INTOTABLEuser3(user_id,weight,level,beat_rate,level_num);
QueryOK,200000000rowsaffected(22min43.62sec)
Records:200000000Deleted:0Skipped:0Warnings:0

同樣的數據寫入在主鍵自增無值產生時，不能使用TokuDB的 Bulk loader data特性，相當于轉換為了單條的Insert實現，所以效果上慢太多。

關于TokuDB Bulk Loader前提要求，這個表是空表，對于自增列，如自增列有值的情況下，也可以使用。建議實際使用中，如果自增列有值的情況下，可以考慮去除自增屬性，改成唯一索引，這樣減少自增的一些處理邏輯，讓TokuDB能跑地更快一點。另外在Bulk Loader處理中為了追求更快速的寫入，壓縮方面并不是很好。

關于TokuDB Bulk Loader :

https://github.com/percona/PerconaFT/wiki/TokuFT-Bulk-Loader