導論
筆者的畢業設計是一個與大數據相關的項目,其中遇到了一個將百萬級別數據存儲到MySQL 的問題,本來是打算使用Spark SQL 的DataFrame 自帶的API來直接將數據存儲到MySQL 中,可是當我看到MySQL 監控平臺的數據,我瞬間被打了臉,沒那么簡單,在監控平臺上面顯示著平均每5 秒插入140條左右的數據,筆者瞬間被嚇到了,心想,這可不行,按這個速度,那要運行到何年何月,然后筆者自行google 了一下,決定使用JDBC 批處理。
JAVA 高性能批處理
MySQL 之rewriteBatchedStatements
這是MySQL 批處理的一個重要參數,默認為false
當rewriteBatchedStatements 為false 時
執行插入的SQL 語句是
insert into ***_table values (***)