日日操夜夜添-日日操影院-日日草夜夜操-日日干干-精品一区二区三区波多野结衣-精品一区二区三区高清免费不卡

公告:魔扣目錄網為廣大站長提供免費收錄網站服務,提交前請做好本站友鏈:【 網站目錄:http://www.ylptlb.cn 】, 免友鏈快審服務(50元/站),

點擊這里在線咨詢客服
新站提交
  • 網站:51998
  • 待審:31
  • 小程序:12
  • 文章:1030137
  • 會員:747

這篇教程為大家介紹MySQL大數據分頁查詢性能優化的方法,希望大家學習后能有所提升。


MySQL大數據分頁查詢性能優化


使用limit start, count分頁語句

select * from product limit start, count

當起始頁較小時,查詢沒有性能問題,我們分別看下從10, 100, 1000, 10000開始分頁的執行時間(每頁取20條), 如下:

select * from product limit 10, 20   0.016秒
select * from product limit 100, 20   0.016秒
select * from product limit 1000, 20   0.047秒
select * from product limit 10000, 20   0.094秒

我們已經看出隨著起始記錄的增加,時間也隨著增大, 這說明分頁語句limit跟起始頁碼是有很大關系的,那么我們把起始記錄改為40w看下(也就是記錄的一般左右) 

select * from product limit 400000, 20   3.229秒

再看我們取最后一頁記錄的時間

select * from product limit 866613, 20   37.44秒

難怪搜索引擎抓取我們頁面的時候經常會報超時,像這種分頁最大的頁碼頁顯然這種時間是無法忍受的。

從中我們也能總結出兩件事情:

1)limit語句的查詢時間與起始記錄的位置成正比

2)mysql的limit語句是很方便,但是對記錄很多的表并不適合直接使用。

對limit分頁問題的性能優化方法

利用表的覆蓋索引來加速分頁查詢

我們都知道,利用了索引查詢的語句中如果只包含了那個索引列(覆蓋索引),那么這種情況會查詢很快。

因為利用索引查找有優化算法,且數據就在查詢索引上面,不用再去找相關的數據地址了,這樣節省了很多時間。另外Mysql中也有相關的索引緩存,在并發高的時候利用緩存就效果更好了。

在我們的例子中,我們知道id字段是主鍵,自然就包含了默認的主鍵索引。現在讓我們看看利用覆蓋索引的查詢效果如何:

這次我們之間查詢最后一頁的數據(利用覆蓋索引,只包含id列),如下:

select id from product limit 866613, 20 0.2秒

相對于查詢了所有列的37.44秒,提升了大概100多倍的速度

那么如果我們也要查詢所有列,有兩種方法,一種是id>=的形式,另一種就是利用join,看下實際情況:

SELECT * FROM product WHERE ID > =(select id from product limit 866613, 1) limit 20

查詢時間為0.2秒,簡直是一個質的飛躍。

另一種寫法

SELECT * FROM product a JOIN (select id from product limit 866613, 20) b ON a.ID = b.id

查詢時間也很短!

其實兩者用的都是一個原理嘛,所以效果也差不多

Mysql的分頁查詢十分簡單,但是當數據量大的時候一般的分頁就吃不消了。

傳統分頁查詢:

SELECT c1,c2,cn… FROM table LIMIT n,m

MySQL的limit工作原理就是先讀取前面n條記錄,然后拋棄前n條,讀后面m條想要的,所以n越大,偏移量越大,性能就越差。


推薦分頁查詢方法

1、盡量給出查詢的大致范圍

SELECT c1,c2,cn... FROM table WHERE id>=20000 LIMIT 10;

2、子查詢法

SELECT c1,c2,cn... FROM table WHERE id>=(SELECT id FROM table LIMIT 20000,1)LIMIT 10;

3、高性能MySQL一書中提到的只讀索引方法

優化前SQL:

SELECT c1,c2,cn... FROM member ORDER BY last_active LIMIT 50,5

優化后SQL:

SELECT c1, c2, cn .. .
FROM member
INNER JOIN (SELECT member_id FROM member ORDER BY last_active LIMIT 50, 5)
USING (member_id)

分別在于,優化前的SQL需要更多I/O浪費,因為先讀索引,再讀數據,然后拋棄無需的行。而優化后的SQL(子查詢那條)只讀索引(Cover index)就可以了,然后通過member_id讀取需要的列。

4、第一步用用程序讀取出ID,然后再用IN方法讀取所需記錄

程序讀ID:

SELECT id FROM table LIMIT 20000, 10;
SELECT c1, c2, cn .. . FROM table WHERE id IN (id1, id2, idn.. .)


分享到:
標簽:MySQL大數據 MySQL分頁查詢 MySQL性能優化
用戶無頭像

網友整理

注冊時間:

網站:5 個   小程序:0 個  文章:12 篇

  • 51998

    網站

  • 12

    小程序

  • 1030137

    文章

  • 747

    會員

趕快注冊賬號,推廣您的網站吧!
最新入駐小程序

數獨大挑戰2018-06-03

數獨一種數學游戲,玩家需要根據9

答題星2018-06-03

您可以通過答題星輕松地創建試卷

全階人生考試2018-06-03

各種考試題,題庫,初中,高中,大學四六

運動步數有氧達人2018-06-03

記錄運動步數,積累氧氣值。還可偷

每日養生app2018-06-03

每日養生,天天健康

體育訓練成績評定2018-06-03

通用課目體育訓練成績評定