一、前言

• 大家好,我是小誠,《從0到1-全面深刻理解MySQL系列》已經(jīng)來到第四章,這一章節(jié)的主要從一條SQL執(zhí)行的開始,由淺入深的解析SQL語句由客戶端到服務(wù)器的完整執(zhí)行流程,最終達到 "知其然、知其所以然" 的目的。

• 最近時常會收到一些小伙伴反饋的問題,為了方便交流,所以創(chuàng)建了交流群,感興趣的可以添加,歡迎大家一起交流,吹水,摸魚,進步。

• 《從0到1-全面深刻理解MySQL系列》系列文章會持續(xù)更新,感興趣的小伙伴可以關(guān)注我,,一起加油,一起進步!,如有幫助,不要忘記一鍵三聯(lián)哦,?( ´???` )比心！

二、孽緣,一條SQL是如何被執(zhí)行

  前幾天在網(wǎng)上進行了一個面試,關(guān)于數(shù)據(jù)庫方面的面試題其實也沒少背,但是這個面試官的問題多少讓我有些觸不及防,他沒有詢問比較常見的基礎(chǔ)語法和優(yōu)化的問題,而是讓我解釋一條SQL從客戶端到服務(wù)端的執(zhí)行流程,這讓我十分尷尬,因為平時只顧應(yīng)用層面的東西,沒有真正去理解到更深層次的東西,所以遇到非常規(guī)問題,很容易蒙圈,希望大家以我為鑒,學(xué)習(xí)一個知識要盡量達到"知其然、知其所以然",這樣即使面試官變換問題的角度,我們也能更好的應(yīng)對回答,叨嘮完了,正片開始!

  平常工作中,我們最常見的就是從客戶端發(fā)送一條SQL到數(shù)據(jù)庫服務(wù)端進行相應(yīng)的數(shù)據(jù)表操作,其實抽象起來就是: 客戶端(也就是我們的業(yè)務(wù)代碼)發(fā)送了一段SQL文本，服務(wù)端接收到了一段SQL文本然后進行解析處理，最終返回一段文本(執(zhí)行結(jié)果)。

  那實際上服務(wù)端是對客戶端進行了哪些解析步驟的操作才最終返回執(zhí)行結(jié)果的呢?這里我們首先通過一張圖片形象的展示解析的流程,然后再對逐個流程進行具體的解析。

2.1、連接處理模塊:

  該模塊主要是管理客戶端的連接,客戶端可以通過TCP/IP、命名管道、共享內(nèi)存、套接字等方式與服務(wù)端進行連接,服務(wù)端接收到連接后,會專門生成一個線程去處理客戶端的請求,當完成客戶端的請求后,該線程不會被銷毀,而是放入線程池中,從而減少了頻繁創(chuàng)建和刪除線程的消耗,大大節(jié)省了系統(tǒng)資源和提高了效率。

  客戶端每次發(fā)起連接請求時,都會攜帶用戶名、密碼等驗證信息,如果服務(wù)器驗證不通過,則會拒絕連接,同時,如果很多客戶端同時請求連接,為了避免服務(wù)端程序崩潰和提高效率,可以限制最大的連接數(shù)量。

2.2、解析和優(yōu)化模塊

  客戶端和服務(wù)端建立完連接后,服務(wù)端會有專門的線程對客戶端的請求做處理,此時服務(wù)端接收到的是客戶端發(fā)送的一段文本信息,需要轉(zhuǎn)換成自己可以識別的信息，具體步驟如下:

2.2.1、查詢緩存

  試想,周末晚上你用手機看電影學(xué)習(xí)經(jīng)驗,突然老板給來了個電話,讓你去處理一個緊急事情,你不得不中斷看電影去處理突發(fā)事件,處理完后你肯定是想從上一次播放的位置繼續(xù)觀看而不是從頭觀看,緩存的作用就體現(xiàn)在這里。

  為了提高響應(yīng)效率,Mysql服務(wù)端程序會根據(jù)客戶端請求的信息生成對應(yīng)的緩存,如果請求的信息符合緩存中的,則直接返回,無需再去與底層進行更多的交互。

  但是、Mysql服務(wù)器程序并不能像人一樣智能,如果兩次的請求文本不一樣如多了空格、大小寫以及每次調(diào)用會返回不同的值的函數(shù)等情況時,都不會命中緩存,因為它無法判斷多出來的這些東西是否會影響SQL最終執(zhí)行的結(jié)果。

  使用到了緩存,就涉及到對緩存維護,Mysql中的緩存檢測程序會監(jiān)測到緩存涉及的每一張表,如果表中的數(shù)據(jù)或者結(jié)構(gòu)發(fā)生改變,如執(zhí)行了insert、alter等命令時,那么它會將該表對應(yīng)的緩存進行失效和刪除。因為維護緩存是需要很大的開銷,特別是表很多的情況下,所以Mysql8.0時已經(jīng)將查詢緩存這個流程刪除。

2.2.2、語法解析

    如果請求沒有命中緩存,則進入到語法解析的步驟,因為服務(wù)端程序接收到的是客戶端發(fā)送過來的文本信息,Mysql服務(wù)端程序要從文本中將具體的請求含義解析出來,如查詢什么字段,查詢哪一些表等

2.2.3、查詢優(yōu)化

    經(jīng)過語法解析步驟后,服務(wù)端程序已經(jīng)知道客戶端請求的信息,如請求的表,數(shù)據(jù)等,但是,此時服務(wù)器程序還不會立馬根據(jù)這些信息去執(zhí)行.它會解析出來的語句進行一些優(yōu)化,如:子連接轉(zhuǎn)為關(guān)聯(lián)查詢,內(nèi)外連接查詢等,以達到最大的優(yōu)化效率,優(yōu)化的結(jié)果就是生成一個執(zhí)行計劃,就是平常我們使用Explain關(guān)鍵字看到的一個結(jié)果。

3、存儲引擎模塊

  經(jīng)過了連接處理和解析優(yōu)化倆步驟后,實際上還是沒有對實際的數(shù)據(jù)進行任何的處理,Mysql中,將對數(shù)據(jù)存儲和提取的操作抽取到了一個叫存儲引擎的模塊中。

  在邏輯上,我們看到的是表的數(shù)據(jù)是一行行的形式,但實際物理層面上,表的數(shù)據(jù)如何存儲、如何讀取表的數(shù)據(jù)、這都是存儲引擎需要負責(zé)的操作,Mysql中提供了不同的存儲引擎,不同的存儲引擎存儲的數(shù)據(jù)結(jié)構(gòu)可能不相同,采用的算法也可能不同。

4、延伸

  我們常在一些教學(xué)視頻或者專業(yè)文章中看到MySQL Server層和存儲引擎模塊的概念,它們具體的含義如下:

  為了管理方便,將連接處理/管理、查詢緩存、語法解析、查詢優(yōu)化等不涉及到真實數(shù)據(jù)存取的功能劃分為Mysql Server層的功能。

  把涉及到真實數(shù)據(jù)存取的功能劃分為存儲引擎模塊的功能,Mysql Server層通過各個存儲引擎提供的API進行訪問響應(yīng)的存儲引擎,Mysql通過查詢優(yōu)化生成了執(zhí)行計劃后,通過調(diào)用存儲引擎提供的API獲取到對應(yīng)的數(shù)據(jù)返回給客戶端即可。

三、MySQL流程常見面試題

3.1、數(shù)據(jù)庫語句的執(zhí)行順序

  (一): 執(zhí)行順序

  from -> on -> join -> where -> group by -> having -> count(聚合函數(shù)) -> select -> distinct -> order by -> limit

  (二): 執(zhí)行步驟解釋:

  (1)、from: 表示數(shù)據(jù)的來源

  (2)、on: 表示數(shù)據(jù)的關(guān)聯(lián)表,執(zhí)行完后生成一個臨時表t1,提供給下一步的操作使用

  (3)、join: 將join表的數(shù)據(jù)補充到on執(zhí)行完成的臨時表t1中,如: left join則將坐標剩余的數(shù)據(jù)添加到臨時表t1中,如果join超過3個,則重復(fù)on...join之間的步驟。

  (4)、where: 根據(jù)攜帶的條件,從臨時表中篩選出符合條件的數(shù)據(jù),并生成臨時表t2。

  (5)、groub by: 根據(jù)攜帶的條件,將臨時表t2進行相應(yīng)的數(shù)據(jù)分組,并形成臨時表t3,如果語句包含了group by則它后面的字段必須出現(xiàn)在select中或者出現(xiàn)在聚合函數(shù)中,否則會報SQL語法錯誤。

  (6)、having: 篩選分組后臨時表t3的數(shù)據(jù),得到臨時表t4。

  (7)、count等聚合函數(shù): 對臨時表進行指定字段的聚合函數(shù)操作,形成臨時表t5。

  (8)、select: 從臨時表篩選出需要返回的數(shù)據(jù),形成臨時表t6。

  (9)、distinct: 對臨時表t6進行指定的去重篩選,形成臨時表t7。

  (10)、order by: 對臨時表t7排序,形成臨時表t8。

  (11)、limit: 篩選返回的數(shù)據(jù)條數(shù)

  想要了解更多的執(zhí)行過程的問題,可以查看之前專門解析執(zhí)行過程的文章: 你真的懂使用Group by?

四、系列文章

  1、《從0到1-全面深刻理解MySQL系列》- 最詳細的MySQL安裝流程(Window版)

  2、《從0到1-全面深刻理解MySQL系列》- 最詳細的MySQL安裝流程(linux環(huán)境)

  3、《從0到1-全面深刻理解MySQL系列》- 忘記MySQL登錄密碼時如何連接數(shù)據(jù)庫

五、小結(jié)

  從上文我們可以知道,MySQL服務(wù)端又劃分為: MySQL Server層和存儲引擎層。MySQL Server層主要負責(zé)進行客戶端連接、語法解析、語法優(yōu)化等操作,存儲引擎層負責(zé)對實際數(shù)據(jù)的存取操作。

  一條SQL語句完整的解析需要經(jīng)歷以下步驟: 客戶端和服務(wù)端請求處理 -》查詢緩存 -》語法解析 -》查詢優(yōu)化 -》存儲引擎對數(shù)據(jù)存取 -》 返回處理結(jié)果