之前測試MySQL批量插入，發(fā)現(xiàn)慢的離譜，找了下原因，竟然是少了個參數(shù)，rewriteBatchedStatements=true。昨天《PostgreSQL vs MySQL - 30倍性能差異》這個原因也找到了，汗顏。
rewriteBatchedStatements介紹
rewriteBatchedStatements=true 是MySQL JDBC驅(qū)動程序中的一個連接屬性，用于啟用批量重寫功能。它可以在執(zhí)行批量插入操作時提高性能。
默認情況下，在JDBC中使用批量插入時，每個插入語句都會作為單獨的請求發(fā)送到數(shù)據(jù)庫服務(wù)器。但是，將 rewriteBatchedStatements 設(shè)置為 true 時，驅(qū)動程序會對批量插入語句進行重寫和優(yōu)化，將多個插入語句合并成一個批量語句，然后一次性發(fā)送給數(shù)據(jù)庫服務(wù)器。
通過啟用批量重寫功能，可以減少與數(shù)據(jù)庫服務(wù)器之間的通信開銷和網(wǎng)絡(luò)往返時間。此外，將多個插入語句合并為一個批量語句還可以減少數(shù)據(jù)庫服務(wù)器上的查詢計劃優(yōu)化和日志記錄操作，從而提高整體性能。
需要注意的是，啟用 rewriteBatchedStatements=true 并不總是能夠帶來顯著的性能改進。它的效果取決于多個因素，包括數(shù)據(jù)量、網(wǎng)絡(luò)延遲、數(shù)據(jù)庫和系統(tǒng)配置等。在某些情況下，尤其是需要大量數(shù)據(jù)插入的場景，啟用該選項可以明顯提升性能。然而，在某些情況下，可能不會看到明顯的性能改進或甚至性能下降。
連接參數(shù)修改
在連接之后加上rewriteBatchedStatements=true，如下：
String url = "jdbc:mysql://localhost/mydatabase?rewriteBatchedStatements=true";
測試結(jié)果
先插入少量數(shù)據(jù)：10萬條。下述結(jié)果，耗時毫秒級被我省略了，所以針對10萬的數(shù)據(jù)量插入，看不出大的差異。
|
每批數(shù)量 |
耗時 （第一輪） |
耗時 |
耗時 |
耗時 （第n輪） |
平均耗時 |
每秒寫入速度 |
|
100 |
6s |
6s |
6s |
…… |
6s |
≈16666/s |
|
500 |
4s |
4s |
4s |
…… |
4s |
≈25000/s |
|
1000 |
4s |
4s |
4s |
…… |
4s |
≈25000/s |
|
3000 |
4s |
4s |
4s |
…… |
4s |
≈25000/s |
|
5000 |
4s |
4s |
4s |
…… |
4s |
≈25000/s |
|
10000 |
4s |
4s |
4s |
…… |
4s |
≈25000/s |
這個測試結(jié)果和昨天測試的PostgreSQL相當（符合預(yù)期）。
接下來測試一下1000w數(shù)據(jù)的耗時，并對比一下PostgreSQL的性能（代碼均復(fù)用上篇）。
測試結(jié)果
|
每批數(shù)量 |
MySQL |
PostgreSQL |
每秒寫入速度 |
每秒寫入速度 |
|
100 |
8m 43s |
3m 36s |
≈19120 |
≈46296 |
|
500 |
5m 26s |
3m 37s |
≈30674 |
≈46082 |
|
1000 |
4m 59s |
3m 36s |
≈33444 |
≈46296 |
|
3000 |
4m 42s |
3m 35s |
≈35460 |
≈46511 |
|
5000 |
4m 41s |
3m 36s |
≈35587 |
≈46296 |
|
10000 |
4m 35s |
3m 38s |
≈36363 |
≈45871 |
|
20000 |
4m 36s |
3m 42s |
≈36231 |
≈45045 |
結(jié)論
- MySQL 批量插入時批量不同性能差異較大，PostgreSQL相對穩(wěn)定。
- 相同配置下PostgreSQL插入性能略具上風。
- MySQL批量插入一定不能忘了加 rewriteBatchedStatements=true ，不然就像之前測試，就是搞笑的
本數(shù)據(jù)只是個人測試，僅供參考，不同環(huán)境、場景、配置等因素下，結(jié)論可能都不一致，大家可根據(jù)實際情況進行測試。
