mysql為什么groupby不能顯示全部數據?
在日常查詢中,索引或其他數據查找方法可能不是查詢執行中開銷最大的部分。例如,MySQLGROUPBY可能負責90%以上的查詢執行時間。MySQL執行GROUPBY的主要復雜度是計算GROUPBY語句中的聚合函數。UDF聚合函數是逐個獲取組成單個組的所有值。這樣,它可以在移動到另一個組之前計算單個組的聚合函數值。當然,問題是在大多數情況下,源數據值沒有分組。不同組的值在處理過程中會相互跟隨。因此,我們需要一個特殊的步驟。
用Letamp處理MySQL組。;讓我們再來看一下我們之前見過的同一個表:MySQLshowcr:TBL創建Tabl:創建表`TBL`(`id`int(11)NOTNULLAUTO_INCREMENT,`k`int(11)NOTNULLDEFAULT0,`g`int(10)unsignedNOTNULL,PRIMARYKEY(`id`),KEY`k`(`k`))ENGINEInnoDBAUTO_incremENT2340933DEFAULTcharsetlatin1集合中的第1行(0.00秒)
并以不同的執行相同的GROUPBY語句:
中的索引排序分組。
mysqlselectk,count(*)cfromTBLgroupbykorderbyklimit5;
--
|k|c|
--
|2|3|
|4|1|
|5|2|
|8|1|
|9|1|
--
一組5行(0.00秒)
mysql解釋selectk,count(*)cfromTBLgroupbykord:1號
select_typ:簡單
tabl:TBL
partitions:零
typ:指數
possibl:·k
k:·k
k:4
r:零
rows:5
filt:100.00
:使用指數
集合中的1行,1個警告(0.00秒)
在這種情況下,我們在GROUPBY列上有一個索引。這樣我們就可以一組一組的掃描數據,動態的執行GROUPBY(低成本)。當我們使用LIMIT來限制我們檢索或使用的組的數量時,這尤其有效覆蓋索引",因為順序索引掃描是一種非常快速的操作。
如果您有少量的組并且不覆蓋索引,索引順序掃描可能會導致大量的IO。所以這可能不是最優方案。
中的外部排序分組依據
mysql解釋selectSQL_BIG_RESULTg,count(*)cfromTBLgroupbyGlimit5g
***************************1.第*************************行
id:1號
select_typ:簡單
tabl:TBL
partitions:零
typ:所有
possibl:零
k:零
k:零
r:零
rows:998490
filt:100.00
使用文件排序的:
集合中的1行,1個警告(0.00秒)
mysqlselectSQL_BIG_RESULTg,count(*)cfromTBLgroupbyglimit5;
--
|g|c|
--
|0|1|
|1|2|
|4|1|
|5|1|
|6|2|
--
一組5行(0.88秒)
如果我們不這樣做。;如果沒有允許我們按組順序掃描數據的索引,我們可以通過外部排序(也稱為"文件排序和在MySQL中)。您可能會注意到,我在這里使用SQL_BIG_RESULT提示符來獲得這個計劃。如果沒有它,MySQL在這種情況下也不會選擇這個方案。
一般來說,只有當我們有大量的組時,MySQL更喜歡使用這種計劃,因為在這種情況下,排序比擁有臨時表(我們將在下面討論)更有效。
中的臨時表GROUPBY
mysql解釋selectg,sum(g)sfromtblgroupbyglimit5G
***************************1.第*************************行
id:1號
select_typ:簡單
tabl:TBL
partitions:零
typ:所有
possibl:零
k:零
k:零
r:零
rows:998490
filt:100.00
:使用臨時
集合中的1行,1個警告(0.00秒)
mysqlselectg,sum(g)sfrommTBLgroupbygorderbynulllimit5;
--
|g|s|
--
|0|0|
|1|2|
|4|4|
|5|5|
|6|12|
--
一組5行(7.75秒)
在這種情況下,MySQL也會執行全表掃描。但是它不是運行額外的排序過程,而是創建一個臨時表。這個臨時表在每個組中包含一行,對于每個傳入的行,相應組的值將被更新。很多更新!雖然這在內存上可能是合理的,但是如果結果表非常大,以至于更新會導致大量的磁盤IO,那么它就變得非常昂貴。在這種情況下,外部排序計劃通常更好。請注意,盡管MySQL默認為這個用例選擇了這個計劃,但是如果我們不不提供任何提示,它幾乎比我們使用SQL_BIG_RESULT提示的計劃慢10倍。你可能注意到我加了"按空值排序這個問題。這是向你展示的唯一計劃清理"臨時桌子。沒有它,我們得到這個方案:mysqlexplainselectg,sum(G)sfromTBLgroupbyGlimit5g***********************1。排*************************id:1select_typ:簡單tabl:TBLpartitions:NULLtyp:ALLpossible_keysecNULLk:NULLk:NULLr:NULLrows:998490filt:100.00:使用臨時;使用文件對集合中的1行進行排序,1次警告(0.00秒)
其中,我們得到了"兩個最壞的"來自臨時和文件分類的提示。。MySQL5.7總是返回按分組順序排序的分組結果,即使查詢沒有。;我不需要它(這可能需要昂貴的額外排序過程)。ORD:1號
select_typ:簡單
tabl:TBL
partitions:零
typ:山脈
possibl:·k
k:·k
k:4
r:零
rows:2
filt:100.00
:使用索引進行分組
集合中的1行,1個警告(0.00秒)
mysql通過k從tbl組中選擇k,max(id);
--
|k|最大值(id)|
--
|0|2340920|
|1|2340916|
|2|2340932|
|3|2340928|
|4|2340924|
--
一組5行(0.00秒)
這個方法只適用于非常特殊的聚合函數:MIN()和m。AX().這些不需要遍歷組中的所有行來計算值。它們可以直接跳轉到組中的最小或最大組值(如果有這樣的索引)。如果索引只建立在列(k)上,如何找到每個組的MAX(ID)值?這是一個InnoDB表。請記住,InnoDB表有效地將主鍵附加到所有索引上。(K)變成(K,ID),這允許我們對這個查詢使用跳過掃描優化。只有當每組有大量行時,才會啟用這種優化。否則,MySQL更喜歡使用更傳統的方法來執行這個查詢(比如方法#1中詳述的索引有序分組)。雖然我們使用MIN()/MAX()聚合函數,但其他優化也適用于它們。例如,如果有一個沒有GROUPBY的聚合函數(事實上,所有的表都有一個GROUP),MySQL在統計分析階段從索引中獲取這些值。并避免在執行階段完全讀表:MySQLexplainselectmax(k)來自TBLG*********************1。第*************行。id:1select_typ:簡單tabl:NULLpartitions:NULLtyp:NULLpossibl:NULLk:NULLk:NULLr:NULLrows:NULLfilt:NULL:Selecttables優化了集合中的1行,1個警告(0.00秒)
過濾和分組
我們已經研究了MySQL執行GROUPBY的四種。為了簡單起見,我在整個表上使用了GROUPBY,并且沒有應用過濾。當你有一個WHERE子句時,同樣的概念也適用:MySQLexplainselectg,sum(G)sfromTBLWH:1select_typ:簡單tabl:TBLpartitions:NULLtyp:范圍可能_k:kk:kk:4r:NULLrows:1filt:100.00:使用索引條件;使用集合中的臨時1行,1個警告(0.00秒)
在這種情況下,我們使用K列上的范圍進行數據過濾/查找,并在有臨時表時執行GROUPBY。在某些情況下,方法并不。但是,在其他情況下,我們必須選擇使用GROUPBY索引或其他索引進行篩選:
MySQLaltertableTBLaddkey(g);
查詢正常,0行受影響(4.17秒)
Records:0Duplicat:0Warnings:0
mysql解釋selectg,sum(g)sfromtbl其中k1groupbyg限制5G
***************************1.第*************************行
id:1號
select_typ:簡單
tabl:TBL
partitions:零
typ:指數
possibl:k,g
k:g
k:4
r:零
rows:16
filt:50.00
:用在哪里
集合中的1行,1個警告(0.00秒)
mysql解釋selectg,sum(G)sfromTBLwh:1號
select_typ:簡單
tabl:TBL
partitions:零
typ:山脈
possibl:公司
k:·k
k:4
r:零
rows:1號
filt:100.00
:使用索引條件;使用臨時;使用文件排序
集合中的1行,1個警告(0.00秒)
根據該查詢中使用的特定常量,我們可以看到我們使用了索引順序掃描(和"丟棄"從索引解析WHERE子句)或使用索引解析WHERE子句(但使用臨時表解析GROUPBY)。根據我的經驗,這就是MySQLGROUPBYdoesn不要總是做出正確的選擇。您可能需要使用FORC
mysql主鍵的列可以再添加索引嗎?
看你的節目。如果查詢條件中沒有使用主鍵,可以將查詢字段設置為索引。如果你想在主鍵上設置一個索引,你不用我不需要它。主鍵具有索引的功能。