今天遇到一個left join優化的問題,搞了一下午,中間查了不少資料,對MySQL的查詢計劃還有查詢優化有了更進一步的了解,做一個簡單的記錄:
select c.* from hotel_info_original c
left join hotel_info_collection h
on c.hotel_type=h.hotel_type and c.hotel_id =h.hotel_id
where h.hotel_id is null
這個sql是用來查詢出c表中有h表中無的記錄,所以想到了用left join的特性(返回左邊全部記錄,右表不滿足匹配條件的記錄對應行返回null)來滿足需求,不料這個查詢非常慢。先來看查詢計劃:
rows代表這個步驟相對上一步結果的每一行需要掃描的行數,可以看到這個sql需要掃描的行數為35773*8134,非常大的一個數字。本來c和h表的記錄條數分別為40000+和10000+,這幾乎是兩個表做笛卡爾積的開銷了(select * from c,h)。
于是我上網查了下MySQL實現join的原理,原來MySQL內部采用了一種叫做 nested loop join的算法。Nested Loop Join 實際上就是通過驅動表的結果集作為循環基礎數據,然后一條一條的通過該結果集中的數據作為過濾條件到下一個表中查詢數據,然后合并結果。如果還有第三個參與 Join,則再通過前兩個表的 Join 結果集作為循環基礎數據,再一次通過循環查詢條件到第三個表中查詢數據,如此往復,基本上MySQL采用的是最容易理解的算法來實現join。所以驅動表的選擇非常重要,驅動表的數據小可以顯著降低掃描的行數。
那么為什么一般情況下join的效率要高于left join很多?很多人說不明白原因,只人云亦云,我今天下午感悟出來了一點。一般情況下參與聯合查詢的兩張表都會一大一小,如果是join,在沒有其他過濾條件的情況下MySQL會選擇小表作為驅動表,但是left join一般用作大表去join小表,而left join本身的特性決定了MySQL會用大表去做驅動表,這樣下來效率就差了不少,如果我把上面那個sql改成
select c.* from hotel_info_original c
join hotel_info_collection h
on c.hotel_type=h.hotel_type and c.hotel_id =h.hotel_id
查詢計劃如下:
很明顯,MySQL選擇了小表作為驅動表,再配合(hotel_id,hotel_type)上的索引瞬間降低了好多個數量級。。。。。
另外,我今天還明白了一個關于left join 的通用法則,即:如果where條件中含有右表的非空條件(除開is null),則left join語句等同于join語句,可直接改寫成join語句。
后記:
隨著查看MySQL reference manual對這個問題進行了更進一步的了解。MySQL在執行join時會把join分為system/const/eq_ref/ref/range/index/ALl等好幾類,連接的效率從前往后
依次遞減,對于我的第一個sql,連接類型是index,所以幾乎是全表掃描的效果。但是我很奇怪我在(hotel_id,hotel_type)兩列上聲明了unique key,根據官方文檔連接類型應該是eq_ref才對,
這個問題一直困擾了我兩天,在google和stackoverflow上都沒有找到能夠解釋這個問題的文章,莫非我這個問題無解了?抱著解決這個問題的決心今天又翻看了一遍MySQL官方文檔
關于優化查詢的部分,看到了這樣一句:這里的一個問題是MySQL能更高效地在聲明具有相同類型和尺寸的列上使用索引。我感覺我找到了問題所在,于是我將original和 collection表的(hotel_type,hotel_id)的encoding和collation(決定字符比較的規則)全部改成統一的utf8_general_ci,然后再次運行第一條sql的查詢計劃,得到如下結果:
連接類型已經由index優化到了ref,如果將hotel_type申明為not null可以優化到eq_ref,不過這里影響不大了,優化后這條sql能在0.01ms內運行完。
那么如何優化left join:
1、條件中盡量能夠過濾一些行將驅動表變得小一點,用小表去驅動大表
2、右表的條件列一定要加上索引(主鍵、唯一索引、前綴索引等),最好能夠使type達到range及以上(ref,eq_ref,const,system)
3、無視以上兩點,一般不要用left join~~!
mysql 如何優化left join
網友整理
注冊時間:
網站:5 個 小程序:0 個 文章:12 篇
-
51998
網站
- 12
小程序
-
1030137
文章
-
747
會員
熱門網站
- 各百科-專業百科問答知識名網站 m.geelcn.com
- 免費軟件,綠色軟件園,手機軟件下載,熱門游戲下載中心-中當網 m.deelcn.com
- 魔扣科技 www.ylptlb.cn
- 體育新聞_國際體育資訊_全球體育賽事-中名網 www.feelcn.com/tiyu/tiyuxinwen/
- 食品安全_健康飲食_舌尖上的安全-中名網 www.feelcn.com/shenghuo/shipinanquan/
- 中合網 www.heelcn.com
- 中當網 www.deelcn.com
- 魔扣網站維護代運營 www.ylptlb.cn/tg
- 中合網-健康養生知識科普名站 m.heelcn.com
- 各百科 www.geelcn.com
最新入駐小程序
熱門文章
- 民以食為天 離線人臉識別助力打造智慧食堂 08-20
- 青桔單車發布3款新車 已進入150個城市 08-13
- 民間大神用Win7毛玻璃UI風格改造Win10:情懷滿滿 08-06
- 網站標題是否可以修改?怎么改不影響網站權重? 11-19
- 關于網站標題和正文的匹配度分析 09-29
- 從滾石、華納到環球,三個關鍵詞讀懂網易云為何成版權方最愛 08-12
- 天眼被注冊為煙草商標,中國控煙協會要求嚴查 08-13
- 深圳實現5G獨立組網全覆蓋 已累計建設5G基站超4.6萬個 08-17
- 滴滴App內嵌買車服務 已在十余城上線 08-06
- 關鍵詞的密度要結合頁面版式來調整 11-28