java之家

          開發心得

            BlogJava :: 首頁 :: 新隨筆 :: 聯系 :: 聚合  :: 管理 ::
            3 隨筆 :: 1 文章 :: 1 評論 :: 0 Trackbacks

          生成100萬條8位不重復數據的示例

          USE tempdb

          GO

          -- 創建測試表

          CREATE TABLE tb(id char(8))

          -- 創建用于自動過濾重復值的唯一索引

          CREATE UNIQUE INDEX IX_tb ON tb(id)

          WITH IGNORE_DUP_KEY

          GO

          -- 測試數據插入的處理時間, 記錄開始處理的時間點

          DECLARE @dt datetime

          SET @dt = GETDATE()

          -- 插入隨機數據

          SET NOCOUNT ON

          DECLARE @row int

          SET @row = 1000000 -- 設置總記錄數

          WHILE @row >0

          BEGIN

              -- 顯示提示信息, 表示還需要插入多行數據

              RAISERROR('need %d rows', 10, 1, @row) WITH NOWAIT

              -- 插入隨機的位編碼數據

              SET ROWCOUNT @row

              INSERT tb SELECT

                  id = RIGHT(100000000 + CONVERT(bigint, ABS(CHECKSUM(NEWID()))), 8)

              FROM syscolumns c1, syscolumns c2

              SET @row = @row - @@ROWCOUNT

          END

          -- 顯示插入數據使用的時間

          SELECT BeginDate = @dt, EndDate = GETDATE(),

              Second = DATEDIFF(Second, @dt, GETDATE()),

          GO

          -- 顯示最終的結果記錄是否正確

          SELECT COUNT(*) FROM tb

          GO

          -- 刪除測試

          DROP TABLE tb

          解決中用到的技巧:

          1.    控制產生的數據不重復,直接使用唯一索引中的IGNORE_DUP_KEY選項,使插入數據中的重復值自動過濾,避免手工處理重復

          2.    使用CHECKSUM配合NEWID()函數,使生成的數據盡量隨機,一般生成隨機數會考慮使用RAND()函數,但這個函數是產生偽隨機值,用下面的語句測試一下,會發現產生的數據全部是一樣的,這不適用于想批量生成多個隨機數,而NEWID()函數生成的是GUID,基本上不會有重復的,再通過CHECKSUM將其轉化成數字,這樣產生重復的可能性會比較小

          SELECT TOP 10

              RAND()

          FROM sysobjects

          3.    在效率控制,使用循環+批量生成的方式,而不是傳統的逐個生成。在SQL Server中,每個插入語句都會有一個內部的事務處理,如果逐條插入,則事務的開銷太大,效率勢必非常低;不考慮一次性生成100萬數據,一則因為生成的數據可能有重復的,去掉重復就沒有100萬了,二則一次性生成100萬數據,消耗的內存和CPU資源也很高,一般的電腦可能承受不住

          posted on 2007-12-14 09:47 java fan nb 閱讀(2072) 評論(1)  編輯  收藏 所屬分類: java基礎

          評論

          # re: 如何快速生成100萬不重復的8位編號 2007-12-19 20:20 jeasonzhao
          實話說,不知道那來做什么,  回復  更多評論
            


          只有注冊用戶登錄后才能發表評論。


          網站導航:
           
          主站蜘蛛池模板: 达州市| 华池县| 保康县| 宁陕县| 和田县| 渭源县| 通山县| 宜君县| 敦化市| 濮阳县| 泾源县| 高州市| 乃东县| 修文县| 榆中县| 山西省| 广水市| 宁化县| 安顺市| 丰顺县| 招远市| 库伦旗| 安西县| 城口县| 崇义县| 临朐县| 伊宁县| 万州区| 交口县| 衡水市| 宁武县| 靖安县| 甘泉县| 定远县| 乌兰浩特市| 柯坪县| 平山县| 青阳县| 屏山县| 永丰县| 平舆县|