日日操夜夜添-日日操影院-日日草夜夜操-日日干干-精品一区二区三区波多野结衣-精品一区二区三区高清免费不卡

公告:魔扣目錄網(wǎng)為廣大站長(zhǎng)提供免費(fèi)收錄網(wǎng)站服務(wù),提交前請(qǐng)做好本站友鏈:【 網(wǎng)站目錄:http://www.ylptlb.cn 】, 免友鏈快審服務(wù)(50元/站),

點(diǎn)擊這里在線咨詢(xún)客服
新站提交
  • 網(wǎng)站:51998
  • 待審:31
  • 小程序:12
  • 文章:1030137
  • 會(huì)員:747

由于工作需要,最近做了很多 BI 取數(shù)的工作,需要用到一些比較高級(jí)的 SQL 技巧,總結(jié)了一下工作中用到的一些比較騷的進(jìn)階技巧,特此記錄一下,以方便自己查閱。

這么騷的SQL進(jìn)階技巧,不怕被揍么?

圖片來(lái)自 Pexels

主要目錄如下:

  • SQL 的書(shū)寫(xiě)規(guī)范
  • SQL 的一些進(jìn)階使用技巧
  • SQL 的優(yōu)化方法

SQL 的書(shū)寫(xiě)規(guī)范

在介紹一些技巧之前,有必要強(qiáng)調(diào)一下規(guī)范,這一點(diǎn)我發(fā)現(xiàn)工作中經(jīng)常被人忽略,其實(shí)遵循好的規(guī)范可讀性會(huì)好很多,應(yīng)該遵循哪些規(guī)范呢?

①表名要有意義,且標(biāo)準(zhǔn) SQL 中規(guī)定表名的第一個(gè)字符應(yīng)該是字母。

②注釋?zhuān)袉涡凶⑨尯投嘈凶⑨專(zhuān)缦拢?/strong>

-- 單行注釋 
-- 從SomeTable中查詢(xún)col_1  
SELECT col_1 
  FROM SomeTable; 
 
/* 
多行注釋 
從 SomeTable 中查詢(xún) col_1  
*/ 
SELECT col_1 
  FROM SomeTable; 

多行注釋很多人不知道,這種寫(xiě)法不僅可以用來(lái)添加真正的注釋?zhuān)部梢杂脕?lái)注釋代碼,非常方便。

③縮進(jìn)

就像寫(xiě) JAVA,Python 等編程語(yǔ)言一樣 ,SQL 也應(yīng)該有縮進(jìn),良好的縮進(jìn)對(duì)提升代碼的可讀性幫助很大。

以下分別是好的縮進(jìn)與壞的縮進(jìn)示例:

-- 好的縮進(jìn) 
SELECT col_1,  
    col_2,  
    col_3, 
    COUNT(*)  
  FROM tbl_A 
 WHERE col_1 = 'a' 
   AND col_2 = ( SELECT MAX(col_2) 
                   FROM tbl_B 
                  WHERE col_3 = 100 ) 
 GROUP BY col_1, 
          col_2, 
          col_3 
 
 
-- 壞的示例 
SELECT col1_1, col_2, col_3, COUNT(*) 
FROM   tbl_A 
WHERE  col1_1 = 'a' 
AND    col1_2 = ( 
SELECT MAX(col_2) 
FROM   tbl_B 
WHERE  col_3 = 100 
) GROUP BY col_1, col_2, col_3 

④空格

代碼中應(yīng)該適當(dāng)留有一些空格,如果一點(diǎn)不留,代碼都湊到一起, 邏輯單元不明確,閱讀的人也會(huì)產(chǎn)生額外的壓力。

以下分別是是好的與壞的示例:

-- 好的示例 
SELECT col_1 
  FROM tbl_A A, tbl_B B 
 WHERE ( A.col_1 >= 100 OR A.col_2 IN ( 'a', 'b' ) ) 
   AND A.col_3 = B.col_3; 
 
-- 壞的示例 
SELECT col_1 
  FROM tbl_A A,tbl_B B 
 WHERE (A.col_1>=100 OR A.col_2 IN ('a','b')) 
   AND A.col_3=B.col_3; 

④大小寫(xiě)

關(guān)鍵字使用大小寫(xiě),表名列名使用小寫(xiě),如下:

SELECT col_1, col_2, col_3, 
    COUNT(*) 
  FROM tbl_A 
 WHERE col_1 = 'a' 
   AND col_2 = ( SELECT MAX(col_2) 
                   FROM tbl_B 
                  WHERE col_3 = 100 ) 
 GROUP BY col_1, col_2, col_3 

花了這么多時(shí)間強(qiáng)調(diào)規(guī)范,有必要嗎,有!好的規(guī)范讓代碼的可讀性更好,更有利于團(tuán)隊(duì)合作,之后的 SQL 示例都會(huì)遵循這些規(guī)范。

SQL 的一些進(jìn)階使用技巧

①巧用 CASE WHEN 進(jìn)行統(tǒng)計(jì)

來(lái)看看如何巧用 CASE WHEN 進(jìn)行定制化統(tǒng)計(jì),假設(shè)我們有如下的需求,希望根據(jù)左邊各個(gè)市的人口統(tǒng)計(jì)每個(gè)省的人口:

這么騷的SQL進(jìn)階技巧,不怕被揍么?

 

使用 CASE WHEN 如下:

SELECT CASE pref_name 
      WHEN '長(zhǎng)沙' THEN '湖南'  
      WHEN '衡陽(yáng)' THEN '湖南' 
      WHEN '海口' THEN '海南'  
      WHEN '三亞' THEN '海南' 
    ELSE '其他' END AS district, 
    SUM(population)  
FROM PopTbl 
GROUP BY district; 

②巧用 CASE WHEN 進(jìn)行更新

現(xiàn)在某公司員人工資信息表如下:

這么騷的SQL進(jìn)階技巧,不怕被揍么?

 

現(xiàn)在公司出臺(tái)了一個(gè)奇葩的規(guī)定:

  • 對(duì)當(dāng)前工資為 1 萬(wàn)以上的員工,降薪 10%。
  • 對(duì)當(dāng)前工資低于 1 萬(wàn)的員工,加薪 20%。

一些人不假思索可能寫(xiě)出了以下的 SQL:

--條件1 
UPDATE Salaries 
SET salary = salary * 0.9 WHERE salary >= 10000; 
--條件2 
UPDATE Salaries 
SET salary = salary * 1.2 
WHERE salary < 10000; 

這么做其實(shí)是有問(wèn)題的, 什么問(wèn)題,對(duì)小明來(lái)說(shuō),他的工資是 10500,執(zhí)行第一個(gè) SQL 后,工資變?yōu)?10500*0.9=9450, 緊接著又執(zhí)行條件 2, 工資變?yōu)榱?9450*1.2=11340,反而漲薪了!

如果用 CASE WHEN 可以解決此類(lèi)問(wèn)題,如下:

UPDATE Salaries 
SET salary = CASE WHEN salary >= 10000 THEN salary * 0.9 
WHEN salary < 10000 THEN salary * 1.2 
ELSE salary END; 

③巧用 HAVING 子句

一般 HAVING 是與 GROUP BY 結(jié)合使用的,但其實(shí)它是可以獨(dú)立使用的, 假設(shè)有如下表,第一列 seq 叫連續(xù)編號(hào),但其實(shí)有些編號(hào)是缺失的,怎么知道編號(hào)是否缺失呢?

這么騷的SQL進(jìn)階技巧,不怕被揍么?

 

用 HAVING 表示如下:

SELECT '存在缺失的編號(hào)' AS gap 
  FROM SeqTbl 
HAVING COUNT(*) <> MAX(seq); 

④自連接

針對(duì)相同的表進(jìn)行的連接被稱(chēng)為“自連接”(self join),這個(gè)技巧常常被人們忽視,其實(shí)是有挺多妙用的。

這么騷的SQL進(jìn)階技巧,不怕被揍么?

 

刪除重復(fù)行:上圖中有三個(gè)橘子,需要把這些重復(fù)的行給刪掉,用如下自連接可以解決:

DELETE FROM Products P1 
 WHERE id < ( SELECT MAX(P2.id)  
                   FROM Products P2  
                  WHERE P1.name = P2.name  
                    AND P1.price = P2.price );  

排序:在 DB 中,我們經(jīng)常需要按分?jǐn)?shù),人數(shù),銷(xiāo)售額等進(jìn)行排名,有 Oracle, DB2 中可以使用 RANK 函數(shù)進(jìn)行排名,不過(guò)在 MySQL 中 RANK 函數(shù)未實(shí)現(xiàn)。

這種情況我們可以使用自連接來(lái)實(shí)現(xiàn),如對(duì)以下 Products 表按價(jià)格高低進(jìn)行排名:

這么騷的SQL進(jìn)階技巧,不怕被揍么?

 

使用自連接可以這么寫(xiě):

-- 排序從 1 開(kāi)始。如果已出現(xiàn)相同位次,則跳過(guò)之后的位次  
SELECT P1.name, 
       P1.price, 
       (SELECT COUNT(P2.price) 
          FROM Products P2 
         WHERE P2.price > P1.price) + 1 AS rank_1 
  FROM Products P1  
  ORDER BY rank_1; 

結(jié)果如下:

name price rank  
----- ------ ------  
橘子    100     1  
西瓜     80     2  
蘋(píng)果     50     3  
葡萄     50     3  
香蕉     50     3  
檸檬     30     6 

⑤巧用 COALESCE 函數(shù)

此函數(shù)作用返回參數(shù)中的第一個(gè)非空表達(dá)式,假設(shè)有如下商品,我們重新格式化一樣,如果 city 為 null,代表商品不在此城市發(fā)行。

但我們?cè)谡故窘Y(jié)果的時(shí)候不想展示 null,而想展示 'N/A', 可以這么做:

SELECT  
    COALESCE(city, 'N/A') 
  FROM 
    customers; 
這么騷的SQL進(jìn)階技巧,不怕被揍么?

 

SQL 性能優(yōu)化技巧

①參數(shù)是子查詢(xún)時(shí),使用 EXISTS 代替 IN

如果 IN 的參數(shù)是(1,2,3)這樣的值列表時(shí),沒(méi)啥問(wèn)題,但如果參數(shù)是子查詢(xún)時(shí),就需要注意了。

比如,現(xiàn)在有如下兩個(gè)表:

這么騷的SQL進(jìn)階技巧,不怕被揍么?

 

現(xiàn)在我們要查出同時(shí)存在于兩個(gè)表的員工,即田中和鈴木,則以下用 IN 和 EXISTS 返回的結(jié)果是一樣,但是用 EXISTS 的 SQL 會(huì)更快:

-- 慢 
SELECT *  
  FROM Class_A 
WHERE id IN (SELECT id  
               FROM  CLASS_B); 
 
-- 快 
SELECT * 
  FROM Class_A A  
 WHERE EXISTS 
(SELECT *  
   FROM Class_B  B 
  WHERE A.id = B.id); 

為啥使用 EXISTS 的 SQL 運(yùn)行更快呢,有兩個(gè)原因:

  • 可以`用到索引,如果連接列 (id) 上建立了索引,那么查詢(xún) Class_B 時(shí)不用查實(shí)際的表,只需查索引就可以了。
  • 如果使用 EXISTS,那么只要查到一行數(shù)據(jù)滿(mǎn)足條件就會(huì)終止查詢(xún), 不用像使用 IN 時(shí)一樣掃描全表。在這一點(diǎn)上 NOT EXISTS 也一樣。

另外如果 IN 后面如果跟著的是子查詢(xún),由于 SQL 會(huì)先執(zhí)行 IN 后面的子查詢(xún),會(huì)將子查詢(xún)的結(jié)果保存在一張臨時(shí)的工作表里(內(nèi)聯(lián)視圖),然后掃描整個(gè)視圖。

顯然掃描整個(gè)視圖這個(gè)工作很多時(shí)候是非常耗時(shí)的,而用 EXISTS 不會(huì)生成臨時(shí)表。

當(dāng)然了,如果 IN 的參數(shù)是子查詢(xún)時(shí),也可以用連接來(lái)代替,如下:

-- 使用連接代替 IN SELECT A.id, A.name 
FROM Class_A A INNER JOIN Class_B B ON A.id = B.id; 

用到了 「id」列上的索引,而且由于沒(méi)有子查詢(xún),也不會(huì)生成臨時(shí)表。

②避免排序

SQL 是聲明式語(yǔ)言,即對(duì)用戶(hù)來(lái)說(shuō),只關(guān)心它能做什么,不用關(guān)心它怎么做,這樣可能會(huì)產(chǎn)生潛在的性能問(wèn)題:排序。

會(huì)產(chǎn)生排序的代表性運(yùn)算有下面這些:

  • GROUP BY 子句
  • ORDER BY 子句
  • 聚合函數(shù)(SUM、COUNT、AVG、MAX、MIN)
  • DISTINCT
  • 集合運(yùn)算符(UNION、INTERSECT、EXCEPT)
  • 窗口函數(shù)(RANK、ROW_NUMBER 等)

如果在內(nèi)存中排序還好,但如果內(nèi)存不夠?qū)е滦枰谟脖P(pán)上排序上的話(huà),性能就會(huì)急劇下降,所以我們需要減少不必要的排序。

怎樣做可以減少排序呢?有如下幾點(diǎn):

使用集合運(yùn)算符的 ALL 可選項(xiàng):SQL 中有 UNION,INTERSECT,EXCEPT 三個(gè)集合運(yùn)算符。

默認(rèn)情況下,這些運(yùn)算符會(huì)為了避免重復(fù)數(shù)據(jù)而進(jìn)行排序,對(duì)比一下使用 UNION 運(yùn)算符加和不加 ALL 的情況:

這么騷的SQL進(jìn)階技巧,不怕被揍么?

 

注意:加 ALL 是優(yōu)化性能非常有效的手段,不過(guò)前提是不在乎結(jié)果是否有重復(fù)數(shù)據(jù)。

使用 EXISTS 代表 DISTINCT:為了排除重復(fù)數(shù)據(jù),DISTINCT 也會(huì)對(duì)結(jié)果進(jìn)行排序,如果需要對(duì)兩張表的連接結(jié)果進(jìn)行去重,可以考慮用 EXISTS 代替 DISTINCT,這樣可以避免排序。

這么騷的SQL進(jìn)階技巧,不怕被揍么?

 

如何找出有銷(xiāo)售記錄的商品,使用如下 DISTINCT 可以:

SELECT DISTINCT I.item_no 
FROM Items I INNER JOIN SalesHistory SH 
ON I. item_no = SH. item_no; 

不過(guò)更好的方式是使用 EXISTS:

SELECT item_no FROM Items I 
WHERE EXISTS  
        (SELECT * 
           FROM SalesHistory SH 
          WHERE I.item_no = SH.item_no); 

既用到了索引,又避免了排序?qū)π阅艿膿p耗。

②在極值函數(shù)中使用索引(MAX/MIN)

使用 MAX/ MIN 都會(huì)對(duì)進(jìn)行排序,如果參數(shù)字段上沒(méi)加索引會(huì)導(dǎo)致全表掃描,如果建有索引,則只需要掃描索引即可,對(duì)比如下:

-- 這樣寫(xiě)需要掃描全表  
SELECT MAX(item) 
  FROM Items; 
 
-- 這樣寫(xiě)能用到索引  
SELECT MAX(item_no) 
  FROM Items; 

注意:極值函數(shù)參數(shù)推薦為索引列中并不是不需要排序,而是優(yōu)化了排序前的查找速度(畢竟索引本身就是有序排列的)。

③能寫(xiě)在 WHERE 子句里的條件不要寫(xiě)在 HAVING 子句里

下列 SQL 語(yǔ)句返回的結(jié)果是一樣的:

-- 聚合后使用 HAVING 子句過(guò)濾 
SELECT sale_date, SUM(quantity) 
  FROM SalesHistory GROUP BY sale_date 
HAVING sale_date = '2007-10-01'; 
 
-- 聚合前使用 WHERE 子句過(guò)濾 
SELECT sale_date, SUM(quantity) 
  FROM SalesHistory 
 WHERE sale_date = '2007-10-01'  
 GROUP BY sale_date; 

使用第二條語(yǔ)句效率更高,原因主要有兩點(diǎn):

  • 使用 GROUP BY 子句進(jìn)行聚合時(shí)會(huì)進(jìn)行排序,如果事先通過(guò) WHERE 子句能篩選出一部分行,能減輕排序的負(fù)擔(dān)。
  • 在 WHERE 子句中可以使用索引,而 HAVING 子句是針對(duì)聚合后生成的視頻進(jìn)行篩選的,但很多時(shí)候聚合后生成的視圖并沒(méi)有保留原表的索引結(jié)構(gòu)。

④在 GROUP BY 子句和 ORDER BY 子句中使用索引

GROUP BY 子句和 ORDER BY 子句一般都會(huì)進(jìn)行排序,以對(duì)行進(jìn)行排列和替換,不過(guò)如果指定帶有索引的列作為這兩者的參數(shù)列,由于用到了索引,可以實(shí)現(xiàn)高速查詢(xún),由于索引是有序的,排序本身都會(huì)被省略掉

⑤使用索引時(shí),條件表達(dá)式的左側(cè)應(yīng)該是原始字段

假設(shè)我們?cè)?col 列上建立了索引,則下面這些 SQL 語(yǔ)句無(wú)法用到索引:

SELECT * 
  FROM SomeTable 
 WHERE col * 1.1 > 100; 
 
SELECT * 
  FROM SomeTable 
 WHERE SUBSTR(col, 1, 1) = 'a'; 

以上第一個(gè) SQL 在索引列上進(jìn)行了運(yùn)算, 第二個(gè) SQL 對(duì)索引列使用了函數(shù),均無(wú)法用到索引,正確方式是把列單獨(dú)放在左側(cè),如下:

SELECT * 
  FROM SomeTable 
 WHERE col_1 > 100 / 1.1; 

當(dāng)然如果需要對(duì)此列使用函數(shù),則無(wú)法避免在左側(cè)運(yùn)算,可以考慮使用函數(shù)索引,不過(guò)一般不推薦隨意這么做。

⑥盡量避免使用否定形式

如下的幾種否定形式不能用到索引:

  • <>
  • !=
  • NOT IN

所以以下 了SQL 語(yǔ)句會(huì)導(dǎo)致全表掃描:

SELECT * 
  FROM SomeTable 
 WHERE col_1 <> 100; 

可以改成以下形式:

SELECT * 
  FROM SomeTable 
 WHERE col_1 > 100 or col_1 < 100; 

⑦進(jìn)行默認(rèn)的類(lèi)型轉(zhuǎn)換

假設(shè) col 是 char 類(lèi)型,則推薦使用以下第二,三條 SQL 的寫(xiě)法,不推薦第一條 SQL 的寫(xiě)法:

× SELECT * FROM SomeTable WHERE col_1 = 10; 
○ SELECT * FROM SomeTable WHERE col_1 = '10'; 
○ SELECT * FROM SomeTable WHERE col_1 = CAST(10, AS CHAR(2)); 

雖然第一條 SQL 會(huì)默認(rèn)把 10 轉(zhuǎn)成 '10',但這種默認(rèn)類(lèi)型轉(zhuǎn)換不僅會(huì)增加額外的性能開(kāi)銷(xiāo),還會(huì)導(dǎo)致索引不可用,所以建議使用的時(shí)候進(jìn)行類(lèi)型轉(zhuǎn)換。

⑧減少中間表

在 SQL 中,子查詢(xún)的結(jié)果會(huì)產(chǎn)生一張新表,不過(guò)如果不加限制大量使用中間表的話(huà),會(huì)帶來(lái)兩個(gè)問(wèn)題:一是展示數(shù)據(jù)需要消耗內(nèi)存資源,二是原始表中的索引不容易用到,所以盡量減少中間表也可以提升性能。

⑨靈活使用 HAVING 子句

這一點(diǎn)與上面第八條相呼應(yīng),對(duì)聚合結(jié)果指定篩選條件時(shí),使用 HAVING 是基本的原則,可能一些工程師會(huì)傾向于使用下面這樣的寫(xiě)法:

SELECT * 
  FROM (SELECT sale_date, MAX(quantity) AS max_qty 
          FROM SalesHistory  
         GROUP BY sale_date) TMP 
         WHERE max_qty >= 10; 

雖然上面這樣的寫(xiě)法能達(dá)到目的,但會(huì)生成 TMP 這張臨時(shí)表,所以應(yīng)該使用下面這樣的寫(xiě)法:

SELECT sale_date, MAX(quantity)  
  FROM SalesHistory 
 GROUP BY sale_date 
HAVING MAX(quantity) >= 10; 

HAVING 子句和聚合操作是同時(shí)執(zhí)行的,所以比起生成中間表后再執(zhí)行 HAVING 子句,效率會(huì)更高,代碼也更簡(jiǎn)潔。

⑩需要對(duì)多個(gè)字段使用 IN 謂詞時(shí),將它們匯總到一處

一個(gè)表的多個(gè)字段可能都使用了 IN 謂詞,如下:

SELECT id, state, city  
  FROM Addresses1 A1 
 WHERE state IN (SELECT state 
                   FROM Addresses2 A2 
                  WHERE A1.id = A2.id)  
    AND city IN (SELECT city 
                   FROM Addresses2 A2  
                  WHERE A1.id = A2.id); 

這段代碼用到了兩個(gè)子查詢(xún),也就產(chǎn)生了兩個(gè)中間表,可以像下面這樣寫(xiě):

SELECT * 
  FROM Addresses1 A1 
 WHERE id || state || city 
 IN (SELECT id || state|| city 
       FROM Addresses2 A2); 

這樣子查詢(xún)不用考慮關(guān)聯(lián)性,沒(méi)有中間表產(chǎn)生,而且只執(zhí)行一次即可。

?使用延遲查詢(xún)優(yōu)化 limit [offset],[rows]

經(jīng)常出現(xiàn)類(lèi)似以下的 SQL 語(yǔ)句:

SELECT * FROM film LIMIT 100000, 10 

Offset 特別大!這是我司出現(xiàn)很多慢 SQL 的主要原因之一,尤其是在跑任務(wù)需要分頁(yè)執(zhí)行時(shí),經(jīng)常跑著跑著 Offset 就跑到幾十萬(wàn)了,導(dǎo)致任務(wù)越跑越慢。

LIMIT 能很好地解決分頁(yè)問(wèn)題,但如果 Offset 過(guò)大的話(huà),會(huì)造成嚴(yán)重的性能問(wèn)題。

原因主要是因?yàn)?MySQL 每次會(huì)把一整行都掃描出來(lái),掃描 Offset 遍,找到 Offset 之后會(huì)拋棄 Offset 之前的數(shù)據(jù),再?gòu)?Offset 開(kāi)始讀取 10 條數(shù)據(jù),顯然,這樣的讀取方式問(wèn)題。

可以通過(guò)延遲查詢(xún)的方式來(lái)優(yōu)化,假設(shè)有以下 SQL,有組合索引(sex,rating):

SELECT <cols> FROM profiles where sex='M' order by rating limit 100000, 10; 

則上述寫(xiě)法可以改成如下寫(xiě)法:

SELECT <cols>  
  FROM profiles  
inner join 
(SELECT id form FROM profiles where x.sex='M' order by rating limit 100000, 10) 
as x using(id); 

這里利用了覆蓋索引的特性,先從覆蓋索引中獲取 100010 個(gè) id,再丟充掉前 100000 條 id,保留最后 10 個(gè) id 即可,丟掉 100000 條 id 不是什么大的開(kāi)銷(xiāo),所以這樣可以顯著提升性能。

?利用 LIMIT 1 取得唯一行

數(shù)據(jù)庫(kù)引擎只要發(fā)現(xiàn)滿(mǎn)足條件的一行數(shù)據(jù)則立即停止掃描,,這種情況適用于只需查找一條滿(mǎn)足條件的數(shù)據(jù)的情況。

?注意組合索引,要符合最左匹配原則才能生效

假設(shè)存在這樣順序的一個(gè)聯(lián)合索引“col_1, col_2, col_3”。這時(shí),指定條件的順序就很重要。

○ SELECT * FROM SomeTable WHERE col_1 = 10 AND col_2 = 100 AND col_3 = 500; 
○ SELECT * FROM SomeTable WHERE col_1 = 10 AND col_2 = 100 ; 
× SELECT * FROM SomeTable WHERE col_2 = 100 AND col_3 = 500 ; 

前面兩條會(huì)命中索引,第三條由于沒(méi)有先匹配 col_1,導(dǎo)致無(wú)法命中索引, 另外如果無(wú)法保證查詢(xún)條件里列的順序與索引一致,可以考慮將聯(lián)合索引 拆分為多個(gè)索引。

?使用 LIKE 謂詞時(shí),只有前方一致的匹配才能用到索引(最左匹配原則)

× SELECT * FROM SomeTable WHERE col_1 LIKE '%a'; 
× SELECT * FROM SomeTable WHERE col_1 LIKE '%a%'; 
○ SELECT * FROM SomeTable WHERE col_1 LIKE 'a%'; 

上例中,只有第三條會(huì)命中索引,前面兩條進(jìn)行后方一致或中間一致的匹配無(wú)法命中索引。

?簡(jiǎn)單字符串表達(dá)式

模型字符串可以使用 _ 時(shí),盡可能避免使用 %,假設(shè)某一列上為 char(5)。

不推薦:

SELECT  
    first_name,  
    last_name, 
    homeroom_nbr 
  FROM Students 
 WHERE homeroom_nbr LIKE 'A-1%'; 

推薦:

SELECT first_name, last_name 
homeroom_nbr 
  FROM Students 
 WHERE homeroom_nbr LIKE 'A-1__'; --模式字符串中包含了兩個(gè)下劃線 

?盡量使用自增 id 作為主鍵

比如現(xiàn)在有一個(gè)用戶(hù)表,有人說(shuō)身份證是唯一的,也可以用作主鍵,理論上確實(shí)可以,不過(guò)用身份證作主鍵的話(huà),一是占用空間相對(duì)于自增主鍵大了很多,二是很容易引起頻繁的頁(yè)分裂,造成性能問(wèn)題。

主鍵選擇的幾個(gè)原則:自增,盡量小,不要對(duì)主鍵進(jìn)行修改。

?如何優(yōu)化 count(*)

使用以下 SQL 會(huì)導(dǎo)致慢查詢(xún):

SELECT COUNT(*) FROM SomeTable 
SELECT COUNT(1) FROM SomeTable 

原因是會(huì)造成全表掃描,有人說(shuō) COUNT(*) 不是會(huì)利用主鍵索引去查找嗎,怎么還會(huì)慢,這就要談到 MySQL 中的聚簇索引和非聚簇索引了。

聚簇索引葉子節(jié)點(diǎn)上存有主鍵值+整行數(shù)據(jù),非聚簇索葉子節(jié)點(diǎn)上則存有輔助索引的列值+主鍵值,如下:

這么騷的SQL進(jìn)階技巧,不怕被揍么?

 

所以就算對(duì) COUNT(*) 使用主鍵查找,由于每次取出主鍵索引的葉子節(jié)點(diǎn)時(shí),取的是一整行的數(shù)據(jù),效率必然不高。

但是非聚簇索引葉子節(jié)點(diǎn)只存儲(chǔ)了「列值+主鍵值」,這也啟發(fā)我們可以用非聚簇索引來(lái)優(yōu)化,假設(shè)表有一列叫 status,為其加上索引后,可以用以下語(yǔ)句優(yōu)化:

SELECT COUNT(status) FROM SomeTable 

有人曾經(jīng)測(cè)過(guò)(見(jiàn)文末參考鏈接),假設(shè)有 100 萬(wàn)行數(shù)據(jù),使用聚簇索引來(lái)查找行數(shù)的,比使用 COUNT(*) 查找速度快 10 幾倍。不過(guò)需要注意的是通過(guò)這種方式無(wú)法計(jì)算出 status 值為 null 的那些行。

如果主鍵是連續(xù)的,可以利用 MAX(id) 來(lái)查找,MAX 也利用到了索引,只需要定位到最大 id 即可,性能極好,如下,秒現(xiàn)結(jié)果:

SELECT MAX(id) FROM SomeTable 

說(shuō)句題句話(huà),有人說(shuō)用 MyISAM 引擎調(diào)用 COUNT(*) 非常快,那是因?yàn)樗崆鞍研袛?shù)存在磁盤(pán)中了,直接拿,當(dāng)然很快,不過(guò)如果有 WHERE 的限制。

?避免使用 SELECT *,盡量利用覆蓋索引來(lái)優(yōu)化性能

SELECT * 會(huì)提取出一整行的數(shù)據(jù),如果查詢(xún)條件中用的是組合索引進(jìn)行查找,還會(huì)導(dǎo)致回表(先根據(jù)組合索引找到葉子節(jié)點(diǎn),再根據(jù)葉子節(jié)點(diǎn)上的主鍵回表查詢(xún)一整行),降低性能。

而如果我們所要的數(shù)據(jù)就在組合索引里,只需讀取組合索引列,這樣網(wǎng)絡(luò)帶寬將大大減少,假設(shè)有組合索引列 (col_1, col_2)。

推薦用:

SELECT col_1, col_2  
  FROM SomeTable  
 WHERE col_1 = xxx AND col_2 = xxx 

不推薦用:

SELECT * 
  FROM SomeTable  
 WHERE col_1 = xxx AND  col_2 = xxx 

?如有必要,使用 force index() 強(qiáng)制走某個(gè)索引

業(yè)務(wù)團(tuán)隊(duì)曾經(jīng)出現(xiàn)類(lèi)似以下的慢 SQL 查詢(xún):

SELECT * 
  FROM  SomeTable 
 WHERE `status` = 0 
   AND `gmt_create` > 1490025600 
   AND `gmt_create` < 1490630400 
   AND `id` > 0 
   AND `post_id` IN ('67778', '67811', '67833', '67834', '67839', '67852', '67861', '67868', '67870', '67878', '67909', '67948', '67951', '67963', '67977', '67983', '67985', '67991', '68032', '68038'/*... omitted 480 items ...*/) 
order by id asc limit 200; 

post_id 也加了索引,理論上走 post_id 索引會(huì)很快查詢(xún)出來(lái),但實(shí)現(xiàn)了通過(guò) EXPLAIN 發(fā)現(xiàn)走的卻是 id 的索引(這里隱含了一個(gè)常見(jiàn)考點(diǎn),在多個(gè)索引的情況下, MySQL 會(huì)如何選擇索引)。

而 id > 0 這個(gè)查詢(xún)條件沒(méi)啥用,直接導(dǎo)致了全表掃描, 所以在有多個(gè)索引的情況下一定要慎用。

可以使用 force index 來(lái)強(qiáng)制走某個(gè)索引,以這個(gè)例子為例,可以強(qiáng)制走 post_id 索引,效果立桿見(jiàn)影。

這種由于表中有多個(gè)索引導(dǎo)致 MySQL 誤選索引造成慢查詢(xún)的情況在業(yè)務(wù)中也是非常常見(jiàn)。

一方面是表索引太多,另一方面也是由于 SQL 語(yǔ)句本身太過(guò)復(fù)雜導(dǎo)致, 針對(duì)本例這種復(fù)雜的 SQL 查詢(xún),其實(shí)用 ElasticSearch 搜索引擎來(lái)查找更合適,有機(jī)會(huì)到時(shí)出一篇文章說(shuō)說(shuō)。

?使用 EXPLAIN 來(lái)查看 SQL 執(zhí)行計(jì)劃

上個(gè)點(diǎn)說(shuō)了,可以使用 EXPLAIN 來(lái)分析 SQL 的執(zhí)行情況,如怎么發(fā)現(xiàn)上文中的最左匹配原則不生效呢,執(zhí)行 「EXPLAIN+SQL 語(yǔ)句」可以發(fā)現(xiàn) key 為 None,說(shuō)明確實(shí)沒(méi)有命中索引:

這么騷的SQL進(jìn)階技巧,不怕被揍么?

 

我司在提供 SQL 查詢(xún)的同時(shí),也貼心地加了一個(gè) EXPLAIN 功能及 SQL 的優(yōu)化建議,建議各大公司效仿,如圖示:

這么騷的SQL進(jìn)階技巧,不怕被揍么?

 

  • 批量插入,速度更快

當(dāng)需要插入數(shù)據(jù)時(shí),批量插入比逐條插入性能更高。

推薦用:

-- 批量插入 
INSERT INTO TABLE (id, user_id, title) VALUES (1, 2, 'a'),(2,3,'b'); 

不推薦用:

INSERT INTO TABLE (id, user_id, title) VALUES (1, 2, 'a'); 
INSERT INTO TABLE (id, user_id, title) VALUES (2,3,'b'); 

批量插入 SQL 執(zhí)行效率高的主要原因是合并后日志量 MySQL 的 binlog 和 innodb 的事務(wù)讓日志減少了,降低日志刷盤(pán)的數(shù)據(jù)量和頻率,從而提高了效率。

  • 慢日志 SQL 定位

前面我們多次說(shuō)了 SQL 的慢查詢(xún),那么該怎么定位這些慢查詢(xún) SQL 呢,主要用到了以下幾個(gè)參數(shù):

這么騷的SQL進(jìn)階技巧,不怕被揍么?

 

這幾個(gè)參數(shù)一定要配好,再根據(jù)每條慢查詢(xún)對(duì)癥下藥,像我司每天都會(huì)把這些慢查詢(xún)提取出來(lái)通過(guò)郵件給形式發(fā)送給各個(gè)業(yè)務(wù)團(tuán)隊(duì),以幫忙定位解決。

小結(jié):業(yè)務(wù)生產(chǎn)中可能還有很多 CASE 導(dǎo)致了慢查詢(xún),其實(shí)細(xì)細(xì)品一下,都會(huì)發(fā)現(xiàn)這些都和 MySQL 索引的底層數(shù)據(jù) B+ 樹(shù)有莫大的關(guān)系。

總結(jié)

本文一開(kāi)始花了挺大的篇幅來(lái)講解 SQL 的規(guī)范,請(qǐng)大家務(wù)必重視這部分內(nèi)部,良好的規(guī)范有利于團(tuán)隊(duì)協(xié)作,對(duì)于代碼的閱讀也比較友好。

之后介紹了一些 SQL 的比較高級(jí)的用法,巧用這些技巧確實(shí)能達(dá)到事半功倍的效果。

分享到:
標(biāo)簽:SQL
用戶(hù)無(wú)頭像

網(wǎng)友整理

注冊(cè)時(shí)間:

網(wǎng)站:5 個(gè)   小程序:0 個(gè)  文章:12 篇

  • 51998

    網(wǎng)站

  • 12

    小程序

  • 1030137

    文章

  • 747

    會(huì)員

趕快注冊(cè)賬號(hào),推廣您的網(wǎng)站吧!
最新入駐小程序

數(shù)獨(dú)大挑戰(zhàn)2018-06-03

數(shù)獨(dú)一種數(shù)學(xué)游戲,玩家需要根據(jù)9

答題星2018-06-03

您可以通過(guò)答題星輕松地創(chuàng)建試卷

全階人生考試2018-06-03

各種考試題,題庫(kù),初中,高中,大學(xué)四六

運(yùn)動(dòng)步數(shù)有氧達(dá)人2018-06-03

記錄運(yùn)動(dòng)步數(shù),積累氧氣值。還可偷

每日養(yǎng)生app2018-06-03

每日養(yǎng)生,天天健康

體育訓(xùn)練成績(jī)?cè)u(píng)定2018-06-03

通用課目體育訓(xùn)練成績(jī)?cè)u(píng)定