導(dǎo)論

筆者的畢業(yè)設(shè)計是一個與大數(shù)據(jù)相關(guān)的項目，其中遇到了一個將百萬級別數(shù)據(jù)存儲到MySQL 的問題，本來是打算使用Spark SQL 的DataFrame 自帶的API來直接將數(shù)據(jù)存儲到MySQL 中，可是當(dāng)我看到MySQL 監(jiān)控平臺的數(shù)據(jù)，我瞬間被打了臉，沒那么簡單，在監(jiān)控平臺上面顯示著平均每5 秒插入140條左右的數(shù)據(jù)，筆者瞬間被嚇到了，心想，這可不行，按這個速度，那要運行到何年何月，然后筆者自行g(shù)oogle 了一下，決定使用JDBC 批處理。

JAVA 高性能批處理

MySQL 之rewriteBatchedStatements

這是MySQL 批處理的一個重要參數(shù)，默認(rèn)為false

當(dāng)rewriteBatchedStatements 為false 時

執(zhí)行插入的SQL 語句是