每一個程序猿,在剛拿到一個測試數據庫的時候,第一件事,我想無出其右,select * from table,反正我是這樣,先看一下數據庫大小,直接執行一下,剩下的再說,除了莫名其妙的裝X之外,還有一個很大的原因就是很多 SQL 查詢都是以 SELECT 開始的。不過,最近我跟別人解釋什么是窗口函數,我在網上搜索”是否可以對窗口函數返回的結果進行過濾“這個問題,得出的結論是”窗口函數必須在 WHERE 和 GROUP BY 之后,所以不能”。
于是我又想到了另一個問題:SQL 查詢的執行順序是怎樣的?
好像這個問題應該很好回答,畢竟自己已經寫了上萬個 SQL 查詢了,有一些還很復雜。但事實是,我仍然很難確切地說出它的順序是怎樣的。
SQL 查詢的執行順序
于是我研究了一下,發現順序大概是這樣的。SELECT 并不是最先執行的,而是在第五個。
這張圖回答了以下這些問題
這張圖與 SQL 查詢的語義有關,讓你知道一個查詢會返回什么,并回答了以下這些問題:
- 可以在 GRROUP BY 之后使用 WHERE 嗎?(不行,WHERE 是在 GROUP BY 之前!)
- 可以對窗口函數返回的結果進行過濾嗎?(不行,窗口函數是 SELECT 語句里,而 SELECT 是在 WHERE 和 GROUP BY 之后)
- 可以基于 GROUP BY 里的東西進行 ORDER BY 嗎?(可以,ORDER BY 基本上是在最后執行的,所以可以基于任何東西進行 ORDER BY)
- LIMIT 是在什么時候執行?(在最后!)
但數據庫引擎并不一定嚴格按照這個順序執行 SQL 查詢,因為為了更快地執行查詢,它們會做出一些優化,這些問題會在以后的文章中解釋。
所以:
- 如果你想要知道一個查詢語句是否合法,或者想要知道一個查詢語句會返回什么,上面的那張圖
- 在涉及查詢性能或者與索引有關的東西時,那張圖就不適用了。
混合因素:列別名
有很多 SQL 實現允許你使用這樣的語法:
SELECT CONCAT(first_name, ' ', last_name) AS full_name, count(*)
FROM table
GROUP BY full_name
從這個語句來看,好像 GROUP BY 是在 SELECT 之后執行的,因為它引用了 SELECT 中的一個別名。但實際上不一定要這樣,數據庫引擎可以把查詢重寫成這樣:
SELECT CONCAT(first_name, ' ', last_name) AS full_name, count(*)
FROM table
GROUP BY CONCAT(first_name, ' ', last_name)
這樣 GROUP BY 仍然先執行。
數據庫引擎還會做一系列檢查,確保 SELECT 和 GROUP BY 中的東西是有效的,所以會在生成執行計劃之前對查詢做一次整體檢查。
數據庫可能不按照這個順序執行查詢(優化)
在實際當中,數據庫不一定會按照 JOIN、WHERE、GROUP BY 的順序來執行查詢,因為它們會進行一系列優化,把執行順序打亂,從而讓查詢執行得更快,只要不改變查詢結果。
這個查詢說明了為什么需要以不同的順序執行查詢:
SELECT * FROM
owners LEFT JOIN cats ON owners.id = cats.owner
WHERE cats.name = 'mr darcy'
如果只需要找出名字叫“mr darcy”的貓,那就沒必要對兩張表的所有數據執行左連接,在連接之前先進行過濾,這樣查詢會快得多,而且對于這個查詢來說,先執行過濾并不會改變查詢結果。
數據庫引擎還會做出其他很多優化,按照不同的順序執行查詢,不過我并不是這方面的專家,所以這里就不多說了。
LINQ 的查詢以 FROM 開頭
LINQ(C#和 VB.NET 中的查詢語法)是按照 FROM…WHERE…SELECT 的順序來的。這里有一個 LINQ 查詢例子:
var teenAgerStudent = from s in studentList
where s.Age > 12 && s.Age < 20
select s;
pandas 中的查詢也基本上是這樣的,不過你不一定要按照這個順序。我通常會像下面這樣寫 pandas 代碼:
df = thing1.join(thing2) # JOIN
df = df[df.created_at > 1000] # WHERE
df = df.groupby('something', num_yes = ('yes', 'sum')) # GROUP BY
df = df[df.num_yes > 2] # HAVING, 對 GROUP BY 結果進行過濾
df = df[['num_yes', 'something1', 'something']] # SELECT, 選擇要顯示的列
df.sort_values('sometthing', ascending=True)[:30] # ORDER BY 和 LIMIT
df[:30]
這樣寫并不是因為 pandas 規定了這些規則,而是按照 JOIN/WHERE/GROUP BY/HAVING 這樣的順序來寫代碼會更有意義些。不過我經常會先寫 WHERE 來改進性能,而且我想大多數數據庫引擎也會這么做。
有的時候就是這樣,我們大眾普遍接受的,可能最后發現是錯的,就像陳思成的那個電影說的,我們曾經認為根本沒有的,后來發現;它確確實實存在。有一些我們深信不疑的,后來卻明白;根本就沒有。
哈哈哈,還突然文藝了一次,好啦,今天的內容到這里就結束了,也想提一個建議給大家,希望大家在平時工作的時候不要忘記學習,有的時候,我們以為的真不的一定是我們以為的,深入研究一下,編程的魅力才會得到真實的展現
對于數據庫的優化,我整理了這樣的一張思維導圖,有需要的朋友,關注+轉發后,私信“資料”查看獲取方式吧