qileilove

          blog已經(jīng)轉(zhuǎn)移至github,大家請訪問 http://qaseven.github.io/

          大數(shù)據(jù)量下的查找最新的幾條數(shù)據(jù)的通用方法

          由于項目需要,需要獲取一組數(shù)據(jù)的的最新一條數(shù)據(jù),表結(jié)構(gòu)如下:

          CREATE TABLE [dbo].[WUSU_SUOLITest_Table](
           [ID] [bigint] IDENTITY(1,1) NOT NULL,
           [ReceiveTime] [datetime] NULL,
           [GroupID] [bigint] NOT NULL,
           [DataValue] [float] NULL,
           [SensorCode] [char](10) NOT NULL,
          )

            在這個表上只有兩種操作,插入和查詢,沒有刪除和更新。而且同一種設(shè)備,隨著id列的變大,ReceiveTime也隨著變大。

            每一個不同的SensorCode代表了一個設(shè)備,目前有50個設(shè)備,每30秒上報一次數(shù)據(jù),ReceiveTime代表上報數(shù)據(jù)的時間,現(xiàn)在需要獲取每一個設(shè)備最新一次的數(shù)據(jù),

            開始我使用如下的查詢語句:

          select * from  WUSU_SUOLITest_Table where id in (select max(id) from  WUSU_SUOLITest_Table group by SensorCode )

            在數(shù)據(jù)量比較小時,是沒有問題的,但數(shù)據(jù)量特別大時,這種方式,目前一天的數(shù)據(jù)就超過了14萬,有很大的延時,即使在id上有聚集索引,SensorCode上使用了分區(qū),依然沒有多大作用。時間主要花費到了group by上。

            實在想不多到什么好的而解決方法,就只能在此表上創(chuàng)建一個觸發(fā)器,每次插入數(shù)據(jù)時就把最新的數(shù)據(jù)放在了一個臨時表,又由于臨時表最多只有50條數(shù)據(jù),速度當(dāng)然就很好了。

          create TRIGGER [dbo].[UpdateWUSU_LastOriginalDataSUOLI]
             ON  [dbo].[WUSU_SUOLITest_Table]
             AFTER  INSERT
          AS 
          BEGIN 
              declare @SensorCode char(10), @DataValue float ,@ReceiveTime datetime ,@GroupID bigint
              
              select @SensorCode=SensorCode,@DataValue=DataValue,@ReceiveTime=ReceiveTime,@GroupID=GroupID from inserted
                update WUSU_LastOriginalData set DataValue=@DataValue,ReceiveTime=@ReceiveTime,GroupID=@GroupID
                    where SensorCode=@SensorCode
          END

            當(dāng)然這是為了獲取各種設(shè)備最新的一條數(shù)據(jù),如果要獲取最新的兩條數(shù)據(jù),最多也就是100條記錄,一次類推,只需要把上邊的觸發(fā)器修改一下就可以。

            但還有沒有更好的方式,在不修改表結(jié)構(gòu)的情況下?目前還沒有想到。

            有人提供了使用關(guān)聯(lián)子查詢的方式,確實比group by好多了,但當(dāng)數(shù)據(jù)量大時,十天的數(shù)據(jù),依然會很慢,大約20多秒。

          select * from WUSU_SUOLITest_Table as t 
          where id  = (select max(id) from WUSU_SUOLITest_Table where SensorCode=t.SensorCode )

          posted on 2012-09-10 09:48 順其自然EVO 閱讀(345) 評論(1)  編輯  收藏 所屬分類: 數(shù)據(jù)庫

          評論

          # re: 大數(shù)據(jù)量下的查找最新的幾條數(shù)據(jù)的通用方法 2012-10-09 06:09 周萍英

          那如果查詢的是歷史數(shù)據(jù),如:12天前的數(shù)據(jù),它是不是就到歷史表中去查詢呢?速度還有這么快嗎?
            回復(fù)  更多評論   

          <2012年9月>
          2627282930311
          2345678
          9101112131415
          16171819202122
          23242526272829
          30123456

          導(dǎo)航

          統(tǒng)計

          常用鏈接

          留言簿(55)

          隨筆分類

          隨筆檔案

          文章分類

          文章檔案

          搜索

          最新評論

          閱讀排行榜

          評論排行榜

          主站蜘蛛池模板: 台江县| 靖州| 四子王旗| 神农架林区| 正定县| 阿勒泰市| 凤翔县| 淮北市| 云浮市| 北宁市| 安远县| 青州市| 闽清县| 来凤县| 西林县| 新田县| 寿光市| 乌拉特中旗| 郯城县| 南安市| 清原| 万州区| 鹤山市| 丰镇市| 丹寨县| 镶黄旗| 自治县| 什邡市| 肃南| 砀山县| 攀枝花市| 将乐县| 岑溪市| 延长县| 荣成市| 银川市| 镇坪县| 邢台市| 太仆寺旗| 梁山县| 仙居县|