生成100萬(wàn)條8位不重復(fù)數(shù)據(jù)的示例
USE tempdb
GO
-- 創(chuàng)建測(cè)試表
CREATE TABLE tb(id char(8))
-- 創(chuàng)建用于自動(dòng)過(guò)濾重復(fù)值的唯一索引
CREATE UNIQUE INDEX IX_tb ON tb(id)
WITH IGNORE_DUP_KEY
GO
-- 測(cè)試數(shù)據(jù)插入的處理時(shí)間, 記錄開(kāi)始處理的時(shí)間點(diǎn)
DECLARE @dt datetime
SET @dt = GETDATE()
-- 插入隨機(jī)數(shù)據(jù)
SET NOCOUNT ON
DECLARE @row int
SET @row = 1000000 -- 設(shè)置總記錄數(shù)
WHILE @row >0
BEGIN
-- 顯示提示信息, 表示還需要插入多行數(shù)據(jù)
RAISERROR('need %d rows', 10, 1, @row) WITH NOWAIT
-- 插入隨機(jī)的位編碼數(shù)據(jù)
SET ROWCOUNT @row
INSERT tb SELECT
id = RIGHT(100000000 + CONVERT(bigint, ABS(CHECKSUM(NEWID()))), 8)
FROM syscolumns c1, syscolumns c2
SET @row = @row - @@ROWCOUNT
END
-- 顯示插入數(shù)據(jù)使用的時(shí)間
SELECT BeginDate = @dt, EndDate = GETDATE(),
Second = DATEDIFF(Second, @dt, GETDATE()),
GO
-- 顯示最終的結(jié)果記錄是否正確
SELECT COUNT(*) FROM tb
GO
-- 刪除測(cè)試
DROP TABLE tb
解決中用到的技巧：
1． 控制產(chǎn)生的數(shù)據(jù)不重復(fù)，直接使用唯一索引中的IGNORE_DUP_KEY選項(xiàng)，使插入數(shù)據(jù)中的重復(fù)值自動(dòng)過(guò)濾，避免手工處理重復(fù)
2． 使用CHECKSUM配合NEWID()函數(shù)，使生成的數(shù)據(jù)盡量隨機(jī)，一般生成隨機(jī)數(shù)會(huì)考慮使用RAND()函數(shù)，但這個(gè)函數(shù)是產(chǎn)生偽隨機(jī)值，用下面的語(yǔ)句測(cè)試一下，會(huì)發(fā)現(xiàn)產(chǎn)生的數(shù)據(jù)全部是一樣的，這不適用于想批量生成多個(gè)隨機(jī)數(shù)，而NEWID()函數(shù)生成的是GUID，基本上不會(huì)有重復(fù)的，再通過(guò)CHECKSUM將其轉(zhuǎn)化成數(shù)字，這樣產(chǎn)生重復(fù)的可能性會(huì)比較小
SELECT TOP 10
RAND()
FROM sysobjects
3． 在效率控制，使用循環(huán)+批量生成的方式，而不是傳統(tǒng)的逐個(gè)生成。在SQL Server中，每個(gè)插入語(yǔ)句都會(huì)有一個(gè)內(nèi)部的事務(wù)處理，如果逐條插入，則事務(wù)的開(kāi)銷(xiāo)太大，效率勢(shì)必非常低；不考慮一次性生成100萬(wàn)數(shù)據(jù)，一則因?yàn)樯傻臄?shù)據(jù)可能有重復(fù)的，去掉重復(fù)就沒(méi)有100萬(wàn)了，二則一次性生成100萬(wàn)數(shù)據(jù)，消耗的內(nèi)存和CPU資源也很高，一般的電腦可能承受不住