前言
隨著系統(tǒng)的運行，數(shù)據量變得越來越大，單純的將數(shù)據存儲在MySQL中，已然不能滿足查詢要求了，此時我們引入redis作為查詢的緩存層，將業(yè)務中的熱數(shù)據保存到Redis，擴展傳統(tǒng)關系型數(shù)據庫的服務能力，用戶通過應用直接從Redis中快速獲取常用數(shù)據，或者在交互式應用中使用Redis保存活躍用戶的會話，都可以極大地降低后端關系型數(shù)據庫的負載，提升用戶體驗。
傳統(tǒng)命令的缺點
使用傳統(tǒng)的redis client命令在大數(shù)據量的導入場景下存在如下缺陷：
由于redis是單線程模型，雖然避免了多線程下線程切換所耗費的時間，單一順序的執(zhí)行命令也很快，但是在大批量數(shù)據導入的場景下，發(fā)送命令所花費的時間和接收服務器響應結果耗費的時間就會被放大。
假如需要導入100萬條數(shù)據，那光是命令執(zhí)行時間，就需要花費100萬*（t1 + t2）。
除了逐條命令發(fā)送，當然redis設計肯定也會考慮這個問題，所以出現(xiàn)了pipelining管道模式。
但是pipelining在命令行中是沒有的，使得我們又需要編寫新的處理代碼，來接收批量的響應。但是只有很少很少的客戶端代碼支持，比如php-redis的擴展就不支持異步。
pipelining管道模式，其實就是減少了TCP連接的交互時間，當一批命令執(zhí)行完畢后，一次性發(fā)送結果。
其實現(xiàn)原理是采用FIFO(先進先出)的隊列來保證數(shù)據的順序性。
只有一小部分客戶端支持非阻塞I/O，并不是所有的客戶端都能夠以一種有效的方式解析應答，以最大化吞吐量。
由于這些原因，將龐大數(shù)據導入到Redis的首選方法是生成一個包含Redis協(xié)議數(shù)據格式，批量的發(fā)送過去。
數(shù)據導入Redis熱身
采用nc命令導入數(shù)據
nc是netcat的簡寫，nc的作用有：
1、實現(xiàn)任意TCP/UDP端口的偵聽，增加-l參數(shù)后，nc可以作為server以TCP或UDP方式偵聽指定端口
2、端口的掃描，nc可以作為client發(fā)起TCP或UDP連接
3、機器之間傳輸文件
4、機器之間網絡測速
采用pipe模式導入數(shù)據
然而，使用nc監(jiān)聽并不是一個非常可靠的方式來執(zhí)行大規(guī)模的數(shù)據導入，因為netcat并不真正知道何時傳輸了所有數(shù)據，也無法檢查錯誤。在2.6或更高版本的Redis中，Redis -cli腳本支持一種稱為pipe管道模式的新模式，這種模式是為了執(zhí)行大規(guī)模插入而設計的。使用管道模式的命令運行如下:
由上圖，可以看到pipe命令的返回結果，txt文件中有多少行命令，返回的replies數(shù)就是多少， errors表示其中執(zhí)行錯誤的命令條數(shù)。
redis協(xié)議學習
協(xié)議的格式為：
*<參數(shù)數(shù)量> rn
$<參數(shù) 1的字節(jié)數(shù)量> rn
<參數(shù) 1的數(shù)據> rn
...
$<參數(shù) N 的字節(jié)數(shù)量> rn
<參數(shù) N 的數(shù)據> rn
比如：插入一條hash類型的數(shù)據。
HSET id book1 book_deion1
根據Redis協(xié)議，總共有4個部分，所以開頭為*4，其余內容解釋如下：
注意一下：HSET命令本身也作為協(xié)議的其中一個參數(shù)來發(fā)送。
構造出來的協(xié)議數(shù)據結構：
* 4rn$ 4rnHSETrn$ 2rnidrn$ 5rnbook1rn$ 17rnbook_deion1rn
格式化一下：
* 4rn
$ 4rn
HSETrn
$ 2rn
idvvvvrn
$ 5rn
book1rn
$ 17rn
book_deion1rn
RESP協(xié)議 bulk
Redis客戶機使用一種稱為RESP (Redis序列化協(xié)議)的協(xié)議與Redis服務器通信。
redis-cli pipe模式需要和nc命令一樣快，并且解決了nc命令不知道何時命令結束的問題。
在發(fā)送數(shù)據的同時，它同樣會去讀取響應，嘗試去解析。
一旦輸入流中沒有讀取到更多的數(shù)據之后，它就會發(fā)送一個特殊的20比特的echo命令，標識最后一個命令已經發(fā)送完畢 如果在響應結果中匹配到這個相同數(shù)據后，說明本次批量發(fā)送是成功的。
使用這個技巧，我們不需要解析發(fā)送給服務器的協(xié)議來了解我們發(fā)送了多少命令，只需要解析應答即可。
在解析應答時，redis會對解析的應答進行一個計數(shù)，在最后能夠告訴用戶大量插入會話向服務器傳輸?shù)拿畹臄?shù)量。也就是上面我們使用pipe模式實際操作的響應結果。
將輸入數(shù)據源換成mysql
上面的例子中，我們以一個txt文本為輸入數(shù)據源，使用了pipe模式導入數(shù)據。
基于上述協(xié)議的學習和理解，我們只需要將mysql中的數(shù)據按照既定的協(xié)議通過pipe模式導入Redis即可。
實際案例--從Mysql導入百萬級數(shù)據到Redis
首先造數(shù)據
由于環(huán)境限制，所以這里沒有用真實數(shù)據來實現(xiàn)導入，那么我們就先使用一個存儲過程來造一百萬條數(shù)據吧。使用存儲過程如下：
DELIMITER $$
USE `cb_mon`$$
DROP PROCEDURE IF EXISTS `test_insert`$$
CREATE DEFINER=`root`@`%` PROCEDURE `test_insert`
BEGIN
DECLARE i INT DEFAULT 1;
WHILE i<= 1000000
DO
INSERT INTO t_book(id,number,NAME,descrition)
VALUES(i, CONCAT( "00000",i) , CONCAT( 'book',i)
, CONCAT( 'book_deion',i) ) ;
SET i=i+ 1;
END WHILE ;
COMMIT;
END$$
DELIMITER ;
調用存儲過程
CALL test_insert;
查看表數(shù)據：
按協(xié)議構造查詢語句
按照上述redis協(xié)議，我們使用如下sql來構造協(xié)議數(shù)據：
SELECT
CONCAT(
"*4rn",
"$",
LENGTH(redis_cmd) ,
"rn",
redis_cmd,
"rn",
"$",
LENGTH(redis_key),
"rn",
redis_key,
"rn",
"$",
LENGTH(hkey),
"rn",
hkey,
"rn",
"$",
LENGTH(hval),
"rn",
hval,
"r"
)
FROM
(SELECT
"HSET"AS redis_cmd,
id AS redis_key,
NAME AS hkey,
descrition AS hval
FROM
cb_mon.t_book
) AS t limit 1000000
并將內容保存至redis.sql 文件中。
編寫腳本使用pipe模式導入redis
編寫shell腳本。由于我在主機上是通過Docker安裝的redis和mysql，以下腳本供參考：
#!/bin/bash
starttime=`date + '%Y-%m-%d %H:%M:%S'`
docker exec -i 899fe01d4dbc mysql -- default-character-set=utf8
--skip-column-names --raw < ./redis.sql
| docker exec -i 4c90ef506acd redis-cli --pipe
endtime=`date + '%Y-%m-%d %H:%M:%S'`
start_seconds=$(date --date= "$starttime"+%s);
end_seconds=$(date --date= "$endtime"+%s);
echo "腳本執(zhí)行耗時："$((end_seconds-start_seconds)) "s"
執(zhí)行截圖：
可以看到百萬級的數(shù)據導入redis，只花費了7秒，效率非常高。
注意事項
如果mysql表特別大，可以考慮分批導入，或者將表拆分，否則在導入過程中可能會發(fā)生：
lost connection to mysql server during query
由于max_allowed_packed和超時時間限制，查詢數(shù)據的過程中，可能會造成連接斷開，所以在數(shù)據表的數(shù)據量特別大的時候，需要分頁或者將表拆分導入。
總結
本篇文章主要探討了，Mysql百萬級數(shù)據量級下，如何高效的遷移到Redis中去，逐步實現(xiàn)目標的過程中，總結了如下幾點：
1、redis單線程執(zhí)行命令，避免了線程切換所消耗的時間，但是在超大數(shù)據量級下，其發(fā)送、響應接收的時延不可忽視。
2、網絡nc命令的應用場景，及在數(shù)據導入時存在的缺點。
3、redis RESP協(xié)議的理解和應用。
4、百萬量級Mysql數(shù)據的Redis快速導入案例。
