qileilove

          blog已經(jīng)轉(zhuǎn)移至github,大家請(qǐng)?jiān)L問(wèn) http://qaseven.github.io/

          大數(shù)據(jù)量下的查找最新的幾條數(shù)據(jù)的通用方法

          由于項(xiàng)目需要,需要獲取一組數(shù)據(jù)的的最新一條數(shù)據(jù),表結(jié)構(gòu)如下:

          CREATE TABLE [dbo].[WUSU_SUOLITest_Table](
           [ID] [bigint] IDENTITY(1,1) NOT NULL,
           [ReceiveTime] [datetime] NULL,
           [GroupID] [bigint] NOT NULL,
           [DataValue] [float] NULL,
           [SensorCode] [char](10) NOT NULL,
          )

            在這個(gè)表上只有兩種操作,插入和查詢,沒(méi)有刪除和更新。而且同一種設(shè)備,隨著id列的變大,ReceiveTime也隨著變大。

            每一個(gè)不同的SensorCode代表了一個(gè)設(shè)備,目前有50個(gè)設(shè)備,每30秒上報(bào)一次數(shù)據(jù),ReceiveTime代表上報(bào)數(shù)據(jù)的時(shí)間,現(xiàn)在需要獲取每一個(gè)設(shè)備最新一次的數(shù)據(jù),

            開(kāi)始我使用如下的查詢語(yǔ)句:

          select * from  WUSU_SUOLITest_Table where id in (select max(id) from  WUSU_SUOLITest_Table group by SensorCode )

            在數(shù)據(jù)量比較小時(shí),是沒(méi)有問(wèn)題的,但數(shù)據(jù)量特別大時(shí),這種方式,目前一天的數(shù)據(jù)就超過(guò)了14萬(wàn),有很大的延時(shí),即使在id上有聚集索引,SensorCode上使用了分區(qū),依然沒(méi)有多大作用。時(shí)間主要花費(fèi)到了group by上。

            實(shí)在想不多到什么好的而解決方法,就只能在此表上創(chuàng)建一個(gè)觸發(fā)器,每次插入數(shù)據(jù)時(shí)就把最新的數(shù)據(jù)放在了一個(gè)臨時(shí)表,又由于臨時(shí)表最多只有50條數(shù)據(jù),速度當(dāng)然就很好了。

          create TRIGGER [dbo].[UpdateWUSU_LastOriginalDataSUOLI]
             ON  [dbo].[WUSU_SUOLITest_Table]
             AFTER  INSERT
          AS 
          BEGIN 
              declare @SensorCode char(10), @DataValue float ,@ReceiveTime datetime ,@GroupID bigint
              
              select @SensorCode=SensorCode,@DataValue=DataValue,@ReceiveTime=ReceiveTime,@GroupID=GroupID from inserted
                update WUSU_LastOriginalData set DataValue=@DataValue,ReceiveTime=@ReceiveTime,GroupID=@GroupID
                    where SensorCode=@SensorCode
          END

            當(dāng)然這是為了獲取各種設(shè)備最新的一條數(shù)據(jù),如果要獲取最新的兩條數(shù)據(jù),最多也就是100條記錄,一次類推,只需要把上邊的觸發(fā)器修改一下就可以。

            但還有沒(méi)有更好的方式,在不修改表結(jié)構(gòu)的情況下?目前還沒(méi)有想到。

            有人提供了使用關(guān)聯(lián)子查詢的方式,確實(shí)比group by好多了,但當(dāng)數(shù)據(jù)量大時(shí),十天的數(shù)據(jù),依然會(huì)很慢,大約20多秒。

          select * from WUSU_SUOLITest_Table as t 
          where id  = (select max(id) from WUSU_SUOLITest_Table where SensorCode=t.SensorCode )

          posted on 2012-09-10 09:48 順其自然EVO 閱讀(345) 評(píng)論(1)  編輯  收藏 所屬分類: 數(shù)據(jù)庫(kù)

          評(píng)論

          # re: 大數(shù)據(jù)量下的查找最新的幾條數(shù)據(jù)的通用方法 2012-10-09 06:09 周萍英

          那如果查詢的是歷史數(shù)據(jù),如:12天前的數(shù)據(jù),它是不是就到歷史表中去查詢呢?速度還有這么快嗎?
            回復(fù)  更多評(píng)論   

          <2012年9月>
          2627282930311
          2345678
          9101112131415
          16171819202122
          23242526272829
          30123456

          導(dǎo)航

          統(tǒng)計(jì)

          常用鏈接

          留言簿(55)

          隨筆分類

          隨筆檔案

          文章分類

          文章檔案

          搜索

          最新評(píng)論

          閱讀排行榜

          評(píng)論排行榜

          主站蜘蛛池模板: 元氏县| 文山县| 仙桃市| 庆云县| 土默特右旗| 界首市| 隆尧县| 昆山市| 上思县| 防城港市| 元氏县| 沈阳市| 灵宝市| 昭平县| 遵义县| 塔城市| 桓仁| 吉木萨尔县| 永丰县| 寻乌县| 翼城县| 静乐县| 将乐县| 育儿| 黔江区| 儋州市| 张家港市| 吉林省| 平陆县| 宜阳县| 肥西县| 平昌县| 太湖县| 海丰县| 波密县| 调兵山市| 焦作市| 西林县| 永德县| 陆良县| 喜德县|