由于工作需要,最近做了很多 BI 取數(shù)的工作,需要用到一些比較高級(jí)的 SQL 技巧,總結(jié)了一下工作中用到的一些比較騷的進(jìn)階技巧,特此記錄一下,以方便自己查閱。
圖片來(lái)自 Pexels
主要目錄如下:
- SQL 的書(shū)寫(xiě)規(guī)范
- SQL 的一些進(jìn)階使用技巧
- SQL 的優(yōu)化方法
SQL 的書(shū)寫(xiě)規(guī)范
在介紹一些技巧之前,有必要強(qiáng)調(diào)一下規(guī)范,這一點(diǎn)我發(fā)現(xiàn)工作中經(jīng)常被人忽略,其實(shí)遵循好的規(guī)范可讀性會(huì)好很多,應(yīng)該遵循哪些規(guī)范呢?
①表名要有意義,且標(biāo)準(zhǔn) SQL 中規(guī)定表名的第一個(gè)字符應(yīng)該是字母。
②注釋?zhuān)袉涡凶⑨尯投嘈凶⑨專(zhuān)缦拢?/strong>
-- 單行注釋
-- 從SomeTable中查詢(xún)col_1
SELECT col_1
FROM SomeTable;
/*
多行注釋
從 SomeTable 中查詢(xún) col_1
*/
SELECT col_1
FROM SomeTable;
多行注釋很多人不知道,這種寫(xiě)法不僅可以用來(lái)添加真正的注釋?zhuān)部梢杂脕?lái)注釋代碼,非常方便。
③縮進(jìn)
就像寫(xiě) JAVA,Python 等編程語(yǔ)言一樣 ,SQL 也應(yīng)該有縮進(jìn),良好的縮進(jìn)對(duì)提升代碼的可讀性幫助很大。
以下分別是好的縮進(jìn)與壞的縮進(jìn)示例:
-- 好的縮進(jìn)
SELECT col_1,
col_2,
col_3,
COUNT(*)
FROM tbl_A
WHERE col_1 = 'a'
AND col_2 = ( SELECT MAX(col_2)
FROM tbl_B
WHERE col_3 = 100 )
GROUP BY col_1,
col_2,
col_3
-- 壞的示例
SELECT col1_1, col_2, col_3, COUNT(*)
FROM tbl_A
WHERE col1_1 = 'a'
AND col1_2 = (
SELECT MAX(col_2)
FROM tbl_B
WHERE col_3 = 100
) GROUP BY col_1, col_2, col_3
④空格
代碼中應(yīng)該適當(dāng)留有一些空格,如果一點(diǎn)不留,代碼都湊到一起, 邏輯單元不明確,閱讀的人也會(huì)產(chǎn)生額外的壓力。
以下分別是是好的與壞的示例:
-- 好的示例
SELECT col_1
FROM tbl_A A, tbl_B B
WHERE ( A.col_1 >= 100 OR A.col_2 IN ( 'a', 'b' ) )
AND A.col_3 = B.col_3;
-- 壞的示例
SELECT col_1
FROM tbl_A A,tbl_B B
WHERE (A.col_1>=100 OR A.col_2 IN ('a','b'))
AND A.col_3=B.col_3;
④大小寫(xiě)
關(guān)鍵字使用大小寫(xiě),表名列名使用小寫(xiě),如下:
SELECT col_1, col_2, col_3,
COUNT(*)
FROM tbl_A
WHERE col_1 = 'a'
AND col_2 = ( SELECT MAX(col_2)
FROM tbl_B
WHERE col_3 = 100 )
GROUP BY col_1, col_2, col_3
花了這么多時(shí)間強(qiáng)調(diào)規(guī)范,有必要嗎,有!好的規(guī)范讓代碼的可讀性更好,更有利于團(tuán)隊(duì)合作,之后的 SQL 示例都會(huì)遵循這些規(guī)范。
SQL 的一些進(jìn)階使用技巧
①巧用 CASE WHEN 進(jìn)行統(tǒng)計(jì)
來(lái)看看如何巧用 CASE WHEN 進(jìn)行定制化統(tǒng)計(jì),假設(shè)我們有如下的需求,希望根據(jù)左邊各個(gè)市的人口統(tǒng)計(jì)每個(gè)省的人口:
使用 CASE WHEN 如下:
SELECT CASE pref_name
WHEN '長(zhǎng)沙' THEN '湖南'
WHEN '衡陽(yáng)' THEN '湖南'
WHEN '海口' THEN '海南'
WHEN '三亞' THEN '海南'
ELSE '其他' END AS district,
SUM(population)
FROM PopTbl
GROUP BY district;
②巧用 CASE WHEN 進(jìn)行更新
現(xiàn)在某公司員人工資信息表如下:
現(xiàn)在公司出臺(tái)了一個(gè)奇葩的規(guī)定:
- 對(duì)當(dāng)前工資為 1 萬(wàn)以上的員工,降薪 10%。
- 對(duì)當(dāng)前工資低于 1 萬(wàn)的員工,加薪 20%。
一些人不假思索可能寫(xiě)出了以下的 SQL:
--條件1
UPDATE Salaries
SET salary = salary * 0.9 WHERE salary >= 10000;
--條件2
UPDATE Salaries
SET salary = salary * 1.2
WHERE salary < 10000;
這么做其實(shí)是有問(wèn)題的, 什么問(wèn)題,對(duì)小明來(lái)說(shuō),他的工資是 10500,執(zhí)行第一個(gè) SQL 后,工資變?yōu)?10500*0.9=9450, 緊接著又執(zhí)行條件 2, 工資變?yōu)榱?9450*1.2=11340,反而漲薪了!
如果用 CASE WHEN 可以解決此類(lèi)問(wèn)題,如下:
UPDATE Salaries
SET salary = CASE WHEN salary >= 10000 THEN salary * 0.9
WHEN salary < 10000 THEN salary * 1.2
ELSE salary END;
③巧用 HAVING 子句
一般 HAVING 是與 GROUP BY 結(jié)合使用的,但其實(shí)它是可以獨(dú)立使用的, 假設(shè)有如下表,第一列 seq 叫連續(xù)編號(hào),但其實(shí)有些編號(hào)是缺失的,怎么知道編號(hào)是否缺失呢?
用 HAVING 表示如下:
SELECT '存在缺失的編號(hào)' AS gap
FROM SeqTbl
HAVING COUNT(*) <> MAX(seq);
④自連接
針對(duì)相同的表進(jìn)行的連接被稱(chēng)為“自連接”(self join),這個(gè)技巧常常被人們忽視,其實(shí)是有挺多妙用的。
刪除重復(fù)行:上圖中有三個(gè)橘子,需要把這些重復(fù)的行給刪掉,用如下自連接可以解決:
DELETE FROM Products P1
WHERE id < ( SELECT MAX(P2.id)
FROM Products P2
WHERE P1.name = P2.name
AND P1.price = P2.price );
排序:在 DB 中,我們經(jīng)常需要按分?jǐn)?shù),人數(shù),銷(xiāo)售額等進(jìn)行排名,有 Oracle, DB2 中可以使用 RANK 函數(shù)進(jìn)行排名,不過(guò)在 MySQL 中 RANK 函數(shù)未實(shí)現(xiàn)。
這種情況我們可以使用自連接來(lái)實(shí)現(xiàn),如對(duì)以下 Products 表按價(jià)格高低進(jìn)行排名:
使用自連接可以這么寫(xiě):
-- 排序從 1 開(kāi)始。如果已出現(xiàn)相同位次,則跳過(guò)之后的位次
SELECT P1.name,
P1.price,
(SELECT COUNT(P2.price)
FROM Products P2
WHERE P2.price > P1.price) + 1 AS rank_1
FROM Products P1
ORDER BY rank_1;
結(jié)果如下:
name price rank
----- ------ ------
橘子 100 1
西瓜 80 2
蘋(píng)果 50 3
葡萄 50 3
香蕉 50 3
檸檬 30 6
⑤巧用 COALESCE 函數(shù)
此函數(shù)作用返回參數(shù)中的第一個(gè)非空表達(dá)式,假設(shè)有如下商品,我們重新格式化一樣,如果 city 為 null,代表商品不在此城市發(fā)行。
但我們?cè)谡故窘Y(jié)果的時(shí)候不想展示 null,而想展示 'N/A', 可以這么做:
SELECT
COALESCE(city, 'N/A')
FROM
customers;
SQL 性能優(yōu)化技巧
①參數(shù)是子查詢(xún)時(shí),使用 EXISTS 代替 IN
如果 IN 的參數(shù)是(1,2,3)這樣的值列表時(shí),沒(méi)啥問(wèn)題,但如果參數(shù)是子查詢(xún)時(shí),就需要注意了。
比如,現(xiàn)在有如下兩個(gè)表:
現(xiàn)在我們要查出同時(shí)存在于兩個(gè)表的員工,即田中和鈴木,則以下用 IN 和 EXISTS 返回的結(jié)果是一樣,但是用 EXISTS 的 SQL 會(huì)更快:
-- 慢
SELECT *
FROM Class_A
WHERE id IN (SELECT id
FROM CLASS_B);
-- 快
SELECT *
FROM Class_A A
WHERE EXISTS
(SELECT *
FROM Class_B B
WHERE A.id = B.id);
為啥使用 EXISTS 的 SQL 運(yùn)行更快呢,有兩個(gè)原因:
- 可以`用到索引,如果連接列 (id) 上建立了索引,那么查詢(xún) Class_B 時(shí)不用查實(shí)際的表,只需查索引就可以了。
- 如果使用 EXISTS,那么只要查到一行數(shù)據(jù)滿(mǎn)足條件就會(huì)終止查詢(xún), 不用像使用 IN 時(shí)一樣掃描全表。在這一點(diǎn)上 NOT EXISTS 也一樣。
另外如果 IN 后面如果跟著的是子查詢(xún),由于 SQL 會(huì)先執(zhí)行 IN 后面的子查詢(xún),會(huì)將子查詢(xún)的結(jié)果保存在一張臨時(shí)的工作表里(內(nèi)聯(lián)視圖),然后掃描整個(gè)視圖。
顯然掃描整個(gè)視圖這個(gè)工作很多時(shí)候是非常耗時(shí)的,而用 EXISTS 不會(huì)生成臨時(shí)表。
當(dāng)然了,如果 IN 的參數(shù)是子查詢(xún)時(shí),也可以用連接來(lái)代替,如下:
-- 使用連接代替 IN SELECT A.id, A.name
FROM Class_A A INNER JOIN Class_B B ON A.id = B.id;
用到了 「id」列上的索引,而且由于沒(méi)有子查詢(xún),也不會(huì)生成臨時(shí)表。
②避免排序
SQL 是聲明式語(yǔ)言,即對(duì)用戶(hù)來(lái)說(shuō),只關(guān)心它能做什么,不用關(guān)心它怎么做,這樣可能會(huì)產(chǎn)生潛在的性能問(wèn)題:排序。
會(huì)產(chǎn)生排序的代表性運(yùn)算有下面這些:
- GROUP BY 子句
- ORDER BY 子句
- 聚合函數(shù)(SUM、COUNT、AVG、MAX、MIN)
- DISTINCT
- 集合運(yùn)算符(UNION、INTERSECT、EXCEPT)
- 窗口函數(shù)(RANK、ROW_NUMBER 等)
如果在內(nèi)存中排序還好,但如果內(nèi)存不夠?qū)е滦枰谟脖P(pán)上排序上的話(huà),性能就會(huì)急劇下降,所以我們需要減少不必要的排序。
怎樣做可以減少排序呢?有如下幾點(diǎn):
使用集合運(yùn)算符的 ALL 可選項(xiàng):SQL 中有 UNION,INTERSECT,EXCEPT 三個(gè)集合運(yùn)算符。
默認(rèn)情況下,這些運(yùn)算符會(huì)為了避免重復(fù)數(shù)據(jù)而進(jìn)行排序,對(duì)比一下使用 UNION 運(yùn)算符加和不加 ALL 的情況:
注意:加 ALL 是優(yōu)化性能非常有效的手段,不過(guò)前提是不在乎結(jié)果是否有重復(fù)數(shù)據(jù)。
使用 EXISTS 代表 DISTINCT:為了排除重復(fù)數(shù)據(jù),DISTINCT 也會(huì)對(duì)結(jié)果進(jìn)行排序,如果需要對(duì)兩張表的連接結(jié)果進(jìn)行去重,可以考慮用 EXISTS 代替 DISTINCT,這樣可以避免排序。
如何找出有銷(xiāo)售記錄的商品,使用如下 DISTINCT 可以:
SELECT DISTINCT I.item_no
FROM Items I INNER JOIN SalesHistory SH
ON I. item_no = SH. item_no;
不過(guò)更好的方式是使用 EXISTS:
SELECT item_no FROM Items I
WHERE EXISTS
(SELECT *
FROM SalesHistory SH
WHERE I.item_no = SH.item_no);
既用到了索引,又避免了排序?qū)π阅艿膿p耗。
②在極值函數(shù)中使用索引(MAX/MIN)
使用 MAX/ MIN 都會(huì)對(duì)進(jìn)行排序,如果參數(shù)字段上沒(méi)加索引會(huì)導(dǎo)致全表掃描,如果建有索引,則只需要掃描索引即可,對(duì)比如下:
-- 這樣寫(xiě)需要掃描全表
SELECT MAX(item)
FROM Items;
-- 這樣寫(xiě)能用到索引
SELECT MAX(item_no)
FROM Items;
注意:極值函數(shù)參數(shù)推薦為索引列中并不是不需要排序,而是優(yōu)化了排序前的查找速度(畢竟索引本身就是有序排列的)。
③能寫(xiě)在 WHERE 子句里的條件不要寫(xiě)在 HAVING 子句里
下列 SQL 語(yǔ)句返回的結(jié)果是一樣的:
-- 聚合后使用 HAVING 子句過(guò)濾
SELECT sale_date, SUM(quantity)
FROM SalesHistory GROUP BY sale_date
HAVING sale_date = '2007-10-01';
-- 聚合前使用 WHERE 子句過(guò)濾
SELECT sale_date, SUM(quantity)
FROM SalesHistory
WHERE sale_date = '2007-10-01'
GROUP BY sale_date;
使用第二條語(yǔ)句效率更高,原因主要有兩點(diǎn):
- 使用 GROUP BY 子句進(jìn)行聚合時(shí)會(huì)進(jìn)行排序,如果事先通過(guò) WHERE 子句能篩選出一部分行,能減輕排序的負(fù)擔(dān)。
- 在 WHERE 子句中可以使用索引,而 HAVING 子句是針對(duì)聚合后生成的視頻進(jìn)行篩選的,但很多時(shí)候聚合后生成的視圖并沒(méi)有保留原表的索引結(jié)構(gòu)。
④在 GROUP BY 子句和 ORDER BY 子句中使用索引
GROUP BY 子句和 ORDER BY 子句一般都會(huì)進(jìn)行排序,以對(duì)行進(jìn)行排列和替換,不過(guò)如果指定帶有索引的列作為這兩者的參數(shù)列,由于用到了索引,可以實(shí)現(xiàn)高速查詢(xún),由于索引是有序的,排序本身都會(huì)被省略掉
⑤使用索引時(shí),條件表達(dá)式的左側(cè)應(yīng)該是原始字段
假設(shè)我們?cè)?col 列上建立了索引,則下面這些 SQL 語(yǔ)句無(wú)法用到索引:
SELECT *
FROM SomeTable
WHERE col * 1.1 > 100;
SELECT *
FROM SomeTable
WHERE SUBSTR(col, 1, 1) = 'a';
以上第一個(gè) SQL 在索引列上進(jìn)行了運(yùn)算, 第二個(gè) SQL 對(duì)索引列使用了函數(shù),均無(wú)法用到索引,正確方式是把列單獨(dú)放在左側(cè),如下:
SELECT *
FROM SomeTable
WHERE col_1 > 100 / 1.1;
當(dāng)然如果需要對(duì)此列使用函數(shù),則無(wú)法避免在左側(cè)運(yùn)算,可以考慮使用函數(shù)索引,不過(guò)一般不推薦隨意這么做。
⑥盡量避免使用否定形式
如下的幾種否定形式不能用到索引:
- <>
- !=
- NOT IN
所以以下 了SQL 語(yǔ)句會(huì)導(dǎo)致全表掃描:
SELECT *
FROM SomeTable
WHERE col_1 <> 100;
可以改成以下形式:
SELECT *
FROM SomeTable
WHERE col_1 > 100 or col_1 < 100;
⑦進(jìn)行默認(rèn)的類(lèi)型轉(zhuǎn)換
假設(shè) col 是 char 類(lèi)型,則推薦使用以下第二,三條 SQL 的寫(xiě)法,不推薦第一條 SQL 的寫(xiě)法:
× SELECT * FROM SomeTable WHERE col_1 = 10;
○ SELECT * FROM SomeTable WHERE col_1 = '10';
○ SELECT * FROM SomeTable WHERE col_1 = CAST(10, AS CHAR(2));
雖然第一條 SQL 會(huì)默認(rèn)把 10 轉(zhuǎn)成 '10',但這種默認(rèn)類(lèi)型轉(zhuǎn)換不僅會(huì)增加額外的性能開(kāi)銷(xiāo),還會(huì)導(dǎo)致索引不可用,所以建議使用的時(shí)候進(jìn)行類(lèi)型轉(zhuǎn)換。
⑧減少中間表
在 SQL 中,子查詢(xún)的結(jié)果會(huì)產(chǎn)生一張新表,不過(guò)如果不加限制大量使用中間表的話(huà),會(huì)帶來(lái)兩個(gè)問(wèn)題:一是展示數(shù)據(jù)需要消耗內(nèi)存資源,二是原始表中的索引不容易用到,所以盡量減少中間表也可以提升性能。
⑨靈活使用 HAVING 子句
這一點(diǎn)與上面第八條相呼應(yīng),對(duì)聚合結(jié)果指定篩選條件時(shí),使用 HAVING 是基本的原則,可能一些工程師會(huì)傾向于使用下面這樣的寫(xiě)法:
SELECT *
FROM (SELECT sale_date, MAX(quantity) AS max_qty
FROM SalesHistory
GROUP BY sale_date) TMP
WHERE max_qty >= 10;
雖然上面這樣的寫(xiě)法能達(dá)到目的,但會(huì)生成 TMP 這張臨時(shí)表,所以應(yīng)該使用下面這樣的寫(xiě)法:
SELECT sale_date, MAX(quantity)
FROM SalesHistory
GROUP BY sale_date
HAVING MAX(quantity) >= 10;
HAVING 子句和聚合操作是同時(shí)執(zhí)行的,所以比起生成中間表后再執(zhí)行 HAVING 子句,效率會(huì)更高,代碼也更簡(jiǎn)潔。
⑩需要對(duì)多個(gè)字段使用 IN 謂詞時(shí),將它們匯總到一處
一個(gè)表的多個(gè)字段可能都使用了 IN 謂詞,如下:
SELECT id, state, city
FROM Addresses1 A1
WHERE state IN (SELECT state
FROM Addresses2 A2
WHERE A1.id = A2.id)
AND city IN (SELECT city
FROM Addresses2 A2
WHERE A1.id = A2.id);
這段代碼用到了兩個(gè)子查詢(xún),也就產(chǎn)生了兩個(gè)中間表,可以像下面這樣寫(xiě):
SELECT *
FROM Addresses1 A1
WHERE id || state || city
IN (SELECT id || state|| city
FROM Addresses2 A2);
這樣子查詢(xún)不用考慮關(guān)聯(lián)性,沒(méi)有中間表產(chǎn)生,而且只執(zhí)行一次即可。
?使用延遲查詢(xún)優(yōu)化 limit [offset],[rows]
經(jīng)常出現(xiàn)類(lèi)似以下的 SQL 語(yǔ)句:
SELECT * FROM film LIMIT 100000, 10
Offset 特別大!這是我司出現(xiàn)很多慢 SQL 的主要原因之一,尤其是在跑任務(wù)需要分頁(yè)執(zhí)行時(shí),經(jīng)常跑著跑著 Offset 就跑到幾十萬(wàn)了,導(dǎo)致任務(wù)越跑越慢。
LIMIT 能很好地解決分頁(yè)問(wèn)題,但如果 Offset 過(guò)大的話(huà),會(huì)造成嚴(yán)重的性能問(wèn)題。
原因主要是因?yàn)?MySQL 每次會(huì)把一整行都掃描出來(lái),掃描 Offset 遍,找到 Offset 之后會(huì)拋棄 Offset 之前的數(shù)據(jù),再?gòu)?Offset 開(kāi)始讀取 10 條數(shù)據(jù),顯然,這樣的讀取方式問(wèn)題。
可以通過(guò)延遲查詢(xún)的方式來(lái)優(yōu)化,假設(shè)有以下 SQL,有組合索引(sex,rating):
SELECT <cols> FROM profiles where sex='M' order by rating limit 100000, 10;
則上述寫(xiě)法可以改成如下寫(xiě)法:
SELECT <cols>
FROM profiles
inner join
(SELECT id form FROM profiles where x.sex='M' order by rating limit 100000, 10)
as x using(id);
這里利用了覆蓋索引的特性,先從覆蓋索引中獲取 100010 個(gè) id,再丟充掉前 100000 條 id,保留最后 10 個(gè) id 即可,丟掉 100000 條 id 不是什么大的開(kāi)銷(xiāo),所以這樣可以顯著提升性能。
?利用 LIMIT 1 取得唯一行
數(shù)據(jù)庫(kù)引擎只要發(fā)現(xiàn)滿(mǎn)足條件的一行數(shù)據(jù)則立即停止掃描,,這種情況適用于只需查找一條滿(mǎn)足條件的數(shù)據(jù)的情況。
?注意組合索引,要符合最左匹配原則才能生效
假設(shè)存在這樣順序的一個(gè)聯(lián)合索引“col_1, col_2, col_3”。這時(shí),指定條件的順序就很重要。
○ SELECT * FROM SomeTable WHERE col_1 = 10 AND col_2 = 100 AND col_3 = 500;
○ SELECT * FROM SomeTable WHERE col_1 = 10 AND col_2 = 100 ;
× SELECT * FROM SomeTable WHERE col_2 = 100 AND col_3 = 500 ;
前面兩條會(huì)命中索引,第三條由于沒(méi)有先匹配 col_1,導(dǎo)致無(wú)法命中索引, 另外如果無(wú)法保證查詢(xún)條件里列的順序與索引一致,可以考慮將聯(lián)合索引 拆分為多個(gè)索引。
?使用 LIKE 謂詞時(shí),只有前方一致的匹配才能用到索引(最左匹配原則)
× SELECT * FROM SomeTable WHERE col_1 LIKE '%a';
× SELECT * FROM SomeTable WHERE col_1 LIKE '%a%';
○ SELECT * FROM SomeTable WHERE col_1 LIKE 'a%';
上例中,只有第三條會(huì)命中索引,前面兩條進(jìn)行后方一致或中間一致的匹配無(wú)法命中索引。
?簡(jiǎn)單字符串表達(dá)式
模型字符串可以使用 _ 時(shí),盡可能避免使用 %,假設(shè)某一列上為 char(5)。
不推薦:
SELECT
first_name,
last_name,
homeroom_nbr
FROM Students
WHERE homeroom_nbr LIKE 'A-1%';
推薦:
SELECT first_name, last_name
homeroom_nbr
FROM Students
WHERE homeroom_nbr LIKE 'A-1__'; --模式字符串中包含了兩個(gè)下劃線
?盡量使用自增 id 作為主鍵
比如現(xiàn)在有一個(gè)用戶(hù)表,有人說(shuō)身份證是唯一的,也可以用作主鍵,理論上確實(shí)可以,不過(guò)用身份證作主鍵的話(huà),一是占用空間相對(duì)于自增主鍵大了很多,二是很容易引起頻繁的頁(yè)分裂,造成性能問(wèn)題。
主鍵選擇的幾個(gè)原則:自增,盡量小,不要對(duì)主鍵進(jìn)行修改。
?如何優(yōu)化 count(*)
使用以下 SQL 會(huì)導(dǎo)致慢查詢(xún):
SELECT COUNT(*) FROM SomeTable
SELECT COUNT(1) FROM SomeTable
原因是會(huì)造成全表掃描,有人說(shuō) COUNT(*) 不是會(huì)利用主鍵索引去查找嗎,怎么還會(huì)慢,這就要談到 MySQL 中的聚簇索引和非聚簇索引了。
聚簇索引葉子節(jié)點(diǎn)上存有主鍵值+整行數(shù)據(jù),非聚簇索葉子節(jié)點(diǎn)上則存有輔助索引的列值+主鍵值,如下:
所以就算對(duì) COUNT(*) 使用主鍵查找,由于每次取出主鍵索引的葉子節(jié)點(diǎn)時(shí),取的是一整行的數(shù)據(jù),效率必然不高。
但是非聚簇索引葉子節(jié)點(diǎn)只存儲(chǔ)了「列值+主鍵值」,這也啟發(fā)我們可以用非聚簇索引來(lái)優(yōu)化,假設(shè)表有一列叫 status,為其加上索引后,可以用以下語(yǔ)句優(yōu)化:
SELECT COUNT(status) FROM SomeTable
有人曾經(jīng)測(cè)過(guò)(見(jiàn)文末參考鏈接),假設(shè)有 100 萬(wàn)行數(shù)據(jù),使用聚簇索引來(lái)查找行數(shù)的,比使用 COUNT(*) 查找速度快 10 幾倍。不過(guò)需要注意的是通過(guò)這種方式無(wú)法計(jì)算出 status 值為 null 的那些行。
如果主鍵是連續(xù)的,可以利用 MAX(id) 來(lái)查找,MAX 也利用到了索引,只需要定位到最大 id 即可,性能極好,如下,秒現(xiàn)結(jié)果:
SELECT MAX(id) FROM SomeTable
說(shuō)句題句話(huà),有人說(shuō)用 MyISAM 引擎調(diào)用 COUNT(*) 非常快,那是因?yàn)樗崆鞍研袛?shù)存在磁盤(pán)中了,直接拿,當(dāng)然很快,不過(guò)如果有 WHERE 的限制。
?避免使用 SELECT *,盡量利用覆蓋索引來(lái)優(yōu)化性能
SELECT * 會(huì)提取出一整行的數(shù)據(jù),如果查詢(xún)條件中用的是組合索引進(jìn)行查找,還會(huì)導(dǎo)致回表(先根據(jù)組合索引找到葉子節(jié)點(diǎn),再根據(jù)葉子節(jié)點(diǎn)上的主鍵回表查詢(xún)一整行),降低性能。
而如果我們所要的數(shù)據(jù)就在組合索引里,只需讀取組合索引列,這樣網(wǎng)絡(luò)帶寬將大大減少,假設(shè)有組合索引列 (col_1, col_2)。
推薦用:
SELECT col_1, col_2
FROM SomeTable
WHERE col_1 = xxx AND col_2 = xxx
不推薦用:
SELECT *
FROM SomeTable
WHERE col_1 = xxx AND col_2 = xxx
?如有必要,使用 force index() 強(qiáng)制走某個(gè)索引
業(yè)務(wù)團(tuán)隊(duì)曾經(jīng)出現(xiàn)類(lèi)似以下的慢 SQL 查詢(xún):
SELECT *
FROM SomeTable
WHERE `status` = 0
AND `gmt_create` > 1490025600
AND `gmt_create` < 1490630400
AND `id` > 0
AND `post_id` IN ('67778', '67811', '67833', '67834', '67839', '67852', '67861', '67868', '67870', '67878', '67909', '67948', '67951', '67963', '67977', '67983', '67985', '67991', '68032', '68038'/*... omitted 480 items ...*/)
order by id asc limit 200;
post_id 也加了索引,理論上走 post_id 索引會(huì)很快查詢(xún)出來(lái),但實(shí)現(xiàn)了通過(guò) EXPLAIN 發(fā)現(xiàn)走的卻是 id 的索引(這里隱含了一個(gè)常見(jiàn)考點(diǎn),在多個(gè)索引的情況下, MySQL 會(huì)如何選擇索引)。
而 id > 0 這個(gè)查詢(xún)條件沒(méi)啥用,直接導(dǎo)致了全表掃描, 所以在有多個(gè)索引的情況下一定要慎用。
可以使用 force index 來(lái)強(qiáng)制走某個(gè)索引,以這個(gè)例子為例,可以強(qiáng)制走 post_id 索引,效果立桿見(jiàn)影。
這種由于表中有多個(gè)索引導(dǎo)致 MySQL 誤選索引造成慢查詢(xún)的情況在業(yè)務(wù)中也是非常常見(jiàn)。
一方面是表索引太多,另一方面也是由于 SQL 語(yǔ)句本身太過(guò)復(fù)雜導(dǎo)致, 針對(duì)本例這種復(fù)雜的 SQL 查詢(xún),其實(shí)用 ElasticSearch 搜索引擎來(lái)查找更合適,有機(jī)會(huì)到時(shí)出一篇文章說(shuō)說(shuō)。
?使用 EXPLAIN 來(lái)查看 SQL 執(zhí)行計(jì)劃
上個(gè)點(diǎn)說(shuō)了,可以使用 EXPLAIN 來(lái)分析 SQL 的執(zhí)行情況,如怎么發(fā)現(xiàn)上文中的最左匹配原則不生效呢,執(zhí)行 「EXPLAIN+SQL 語(yǔ)句」可以發(fā)現(xiàn) key 為 None,說(shuō)明確實(shí)沒(méi)有命中索引:
我司在提供 SQL 查詢(xún)的同時(shí),也貼心地加了一個(gè) EXPLAIN 功能及 SQL 的優(yōu)化建議,建議各大公司效仿,如圖示:
- 批量插入,速度更快
當(dāng)需要插入數(shù)據(jù)時(shí),批量插入比逐條插入性能更高。
推薦用:
-- 批量插入
INSERT INTO TABLE (id, user_id, title) VALUES (1, 2, 'a'),(2,3,'b');
不推薦用:
INSERT INTO TABLE (id, user_id, title) VALUES (1, 2, 'a');
INSERT INTO TABLE (id, user_id, title) VALUES (2,3,'b');
批量插入 SQL 執(zhí)行效率高的主要原因是合并后日志量 MySQL 的 binlog 和 innodb 的事務(wù)讓日志減少了,降低日志刷盤(pán)的數(shù)據(jù)量和頻率,從而提高了效率。
- 慢日志 SQL 定位
前面我們多次說(shuō)了 SQL 的慢查詢(xún),那么該怎么定位這些慢查詢(xún) SQL 呢,主要用到了以下幾個(gè)參數(shù):
這幾個(gè)參數(shù)一定要配好,再根據(jù)每條慢查詢(xún)對(duì)癥下藥,像我司每天都會(huì)把這些慢查詢(xún)提取出來(lái)通過(guò)郵件給形式發(fā)送給各個(gè)業(yè)務(wù)團(tuán)隊(duì),以幫忙定位解決。
小結(jié):業(yè)務(wù)生產(chǎn)中可能還有很多 CASE 導(dǎo)致了慢查詢(xún),其實(shí)細(xì)細(xì)品一下,都會(huì)發(fā)現(xiàn)這些都和 MySQL 索引的底層數(shù)據(jù) B+ 樹(shù)有莫大的關(guān)系。
總結(jié)
本文一開(kāi)始花了挺大的篇幅來(lái)講解 SQL 的規(guī)范,請(qǐng)大家務(wù)必重視這部分內(nèi)部,良好的規(guī)范有利于團(tuán)隊(duì)協(xié)作,對(duì)于代碼的閱讀也比較友好。
之后介紹了一些 SQL 的比較高級(jí)的用法,巧用這些技巧確實(shí)能達(dá)到事半功倍的效果。