大數(shù)據(jù)量下的查找最新的幾條數(shù)據(jù)的通用方法
由于項(xiàng)目需要,需要獲取一組數(shù)據(jù)的的最新一條數(shù)據(jù),表結(jié)構(gòu)如下:
CREATE TABLE [dbo].[WUSU_SUOLITest_Table]( [ID] [bigint] IDENTITY(1,1) NOT NULL, [ReceiveTime] [datetime] NULL, [GroupID] [bigint] NOT NULL, [DataValue] [float] NULL, [SensorCode] [char](10) NOT NULL, ) |
在這個(gè)表上只有兩種操作,插入和查詢,沒(méi)有刪除和更新。而且同一種設(shè)備,隨著id列的變大,ReceiveTime也隨著變大。
每一個(gè)不同的SensorCode代表了一個(gè)設(shè)備,目前有50個(gè)設(shè)備,每30秒上報(bào)一次數(shù)據(jù),ReceiveTime代表上報(bào)數(shù)據(jù)的時(shí)間,現(xiàn)在需要獲取每一個(gè)設(shè)備最新一次的數(shù)據(jù),
開(kāi)始我使用如下的查詢語(yǔ)句:
select * from WUSU_SUOLITest_Table where id in (select max(id) from WUSU_SUOLITest_Table group by SensorCode ) |
在數(shù)據(jù)量比較小時(shí),是沒(méi)有問(wèn)題的,但數(shù)據(jù)量特別大時(shí),這種方式,目前一天的數(shù)據(jù)就超過(guò)了14萬(wàn),有很大的延時(shí),即使在id上有聚集索引,SensorCode上使用了分區(qū),依然沒(méi)有多大作用。時(shí)間主要花費(fèi)到了group by上。
實(shí)在想不多到什么好的而解決方法,就只能在此表上創(chuàng)建一個(gè)觸發(fā)器,每次插入數(shù)據(jù)時(shí)就把最新的數(shù)據(jù)放在了一個(gè)臨時(shí)表,又由于臨時(shí)表最多只有50條數(shù)據(jù),速度當(dāng)然就很好了。
create TRIGGER [dbo].[UpdateWUSU_LastOriginalDataSUOLI] ON [dbo].[WUSU_SUOLITest_Table] AFTER INSERT AS BEGIN declare @SensorCode char(10), @DataValue float ,@ReceiveTime datetime ,@GroupID bigint select @SensorCode=SensorCode,@DataValue=DataValue,@ReceiveTime=ReceiveTime,@GroupID=GroupID from inserted update WUSU_LastOriginalData set DataValue=@DataValue,ReceiveTime=@ReceiveTime,GroupID=@GroupID where SensorCode=@SensorCode END |
當(dāng)然這是為了獲取各種設(shè)備最新的一條數(shù)據(jù),如果要獲取最新的兩條數(shù)據(jù),最多也就是100條記錄,一次類推,只需要把上邊的觸發(fā)器修改一下就可以。
但還有沒(méi)有更好的方式,在不修改表結(jié)構(gòu)的情況下?目前還沒(méi)有想到。
有人提供了使用關(guān)聯(lián)子查詢的方式,確實(shí)比group by好多了,但當(dāng)數(shù)據(jù)量大時(shí),十天的數(shù)據(jù),依然會(huì)很慢,大約20多秒。
select * from WUSU_SUOLITest_Table as t where id = (select max(id) from WUSU_SUOLITest_Table where SensorCode=t.SensorCode ) |
posted on 2012-09-10 09:48 順其自然EVO 閱讀(345) 評(píng)論(1) 編輯 收藏 所屬分類: 數(shù)據(jù)庫(kù)