題目：設計一個身份證查詢系統，將身份證號md5 之后存儲，輸入md5值查詢對應的身份證號。
要求：成本低，查詢速度快
設計思路：
- 將所有可能的身份證號做一個簡單的統計計算數據量
- 根據數據量選擇存儲方式
- 查詢
身份證生成規則：
身份號碼是特征組合碼，由前十七位數字本體碼和最后一位數字校驗碼組成。排列順序從左至右依次為六位數字地址碼，八位數字出生日期碼，三位數字順序碼和一位數字校驗碼。
地址碼： 表示編碼對象常住戶口所在縣(市、旗、區)的行政區劃代碼。對于新生兒，該地址碼為戶口登記地行政區劃代碼。需要沒說明的是，隨著行政區劃的調整，同一個地方進行戶口登記的可能存在地址碼不一致的情況。行政區劃代碼按GB/T2260的規定執行。
出生日期碼：表示編碼對象出生的年、月、日，年、月、日代碼之間不用分隔符，格式為YYYYMMDD，如19880328。按GB/T 7408的規定執行。原15位身份證號碼中出生日期碼還有對百歲老人特定的標識，其中999、998、997、996分配給百歲老人。
順序碼： 表示在同一地址碼所標識的區域范圍內，對同年、同月、同日出生的人編定的順序號，順序碼的奇數分配給男性，偶數分配給女性。
校驗碼： 根據本體碼，通過采用ISO 7064:1983,MOD 11-2校驗碼系統計算出校驗碼。算法可參考下文。前面有提到數字校驗碼，我們知道校驗碼也有X的，實質上為羅馬字符X，相當于10.
校驗碼算法
將本體碼各位數字乘以對應加權因子并求和，除以11得到余數，根據余數通過校驗碼對照表查得校驗碼。
加權因子表：
+-----------------------------------------------------------+ |位置序號|1 |2 |3 |4 |5 |6 |7 |8 |9 |10|11|12|13|14|15|16|17| +-----------------------------------------------------------+ |加權因子|7 |9 |10|5 |8 |4 |2 |1 |6 |3 |7 |9 |10|5 |8 |4 |2 | +-----------------------------------------------------------+
校驗碼表:
+----------------------------------------------------+ | 余數 | 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | +----------------------------------------------------+ | 校驗碼| 1 | 0 | X | 9 | 8 | 7 | 6 | 5 | 4 | 3 | 2 | +----------------------------------------------------+
算法舉例：
本體碼為11010519491231002
- 第一步：各位數與對應加權因子乘積求和1* 7+1 * 9+0 * 10+1 * 5+ *** =167
- 第二步：對求和進行除11得余數167%11=2
- 第三步：根據余數2對照校驗碼得X
因此完整身份證號為：11010519491231002X
預估數據量：
- 身份證號18位，前六位為地區碼，中間八位為日期，日期后三位為順序碼，最后一位為校驗位，占32個字節
- md5值為32位，占32個字節
- 計算最近100年數據，大約數據量為：3465x100x365x999=126346027500
- 數據以字符串存儲，每條數據32+18=50B
- 則數據量為 126346027500 x 50=6317301375000B=6169239624k=6024648M=5883G=5.74T`
存儲方式有文件存儲、關系型數據庫存儲和es存儲等。從結果可以看到有接近6T的數據，如果存入數據庫或es成本較高，這里選擇以文件的方式存儲。
那有沒有方式壓縮存儲空間呢？
- 身份證號最后一位為校驗位，可以不存儲，省略掉這一位會節約1/50點空間
- 不以字符串的方式存儲，將身份證號以uint64存儲，md5值也轉化成兩個uint64存儲。uint64占8閣字節空間，這樣一條數據的空間由50降為了 24。最終數據量為2.74T，節約一半多的空間。
那現在有一個問題，每個文件多大合適呢？
如果文件太大，每次將文件讀取到內存中耗時較長，如果文件太小，則會生成太多的文件可能超出系統的文件數限制。
這里可以參考數據庫索引的存儲方式，設定每個數據文件的大小（2.8T數據可以設置每個數據文件1G左右。
數據生成后如何查詢？
- 遍歷，依次讀取文件，查找數據，效率太低
- 這里參考數據庫索引的查詢方式，首先將數據按md5值排序后存儲多個文件，記錄每個文件中md5值的范圍，輸入md5值確定文件，再讀取文件使用二分查找。
- 這時查找數據只需要讀取一個文件，但是每個文件都有幾百兆的數據，查詢效率還是太低，再參考一下數據庫索引，這里將文件內部再分頁，記錄每頁的范圍，和文件所自身記錄的起始值一起生成索引，索引結構如圖所示：
索引數據結構為：
# 為了簡化存儲，這里file1、file2、file3、file4 為該文件第一條數據的md5值，也是對應的文件名
# 頁的大小固定，所以二級索引只需要按順序記錄每頁的第一個md5值即可
indexes = {
"file1": ["md51", "md52", "md53", "..."],
"file2": ["md51", "md52", "md53", "..."],
"file3": ["md51", "md52", "md53", "..."],
"file4": ["md51", "md52", "md53", "..."],
}
第一層索引為文件索引，首先通過md5值判斷md5值所在文件，比如輸入的 start1 > md5 > start1，可以判斷結果可能在file1 中；
第二層為文件內索引，通過md5值判斷所在的頁，讀取根據offset讀取該頁的全部數據，再通過二分查找找到對應的身份證號。
代碼實現源碼地址：https://github.com/gusibi/oneplus/tree/master/idgenerator
使用方式：
1. go run main.go
2. curl http://127.0.0.1:8080/search?md5={id md5}
參考鏈接：
- 源碼地址 https://github.com/gusibi/oneplus/tree/master/idgenerator
