無為

摘要：DM（數(shù)據(jù)挖掘）是揭示存在于數(shù)據(jù)里的模式及數(shù)據(jù)間的關(guān)系的學(xué)科，它強調(diào)對大量觀測到的數(shù)據(jù)庫的處理。它是涉及數(shù)據(jù)庫管理，人工智能，機器學(xué)習(xí)，模式識別，及數(shù)據(jù)可視化等學(xué)科的邊緣學(xué)科。用統(tǒng)計的觀點看，它可以看成是通過計算機對大量的復(fù)雜數(shù)據(jù)集的自動探索性分析。目前對該學(xué)科的作用盡管有點夸大其詞，但該領(lǐng)域?qū)ι虡I(yè)，工業(yè)，及科學(xué)研究都有極大的影響，且提供了大量的為促使新方法的發(fā)展而進行的研究工作。盡管數(shù)據(jù)挖掘和統(tǒng)計分析之間有明顯的聯(lián)系，但迄今為止大部分的數(shù)據(jù)挖掘方法都不是產(chǎn)生于統(tǒng)計學(xué)科。這篇文章對這一現(xiàn)象作了一些解釋，并說明了為什么統(tǒng)計學(xué)家應(yīng)該關(guān)注數(shù)據(jù)挖掘。統(tǒng)計學(xué)可能會對數(shù)據(jù)挖掘產(chǎn)生很大影響，但這可能要求統(tǒng)計學(xué)家們改變他們的一些基本思路及操作原則。

1 序言

聲明:該文中的觀點僅代表作者本人的觀點，并不一定反映編輯，主辦者，斯坦佛大學(xué)及同行的觀點。

第二十九次論壇(on the Interface)(May 1997,Houston,TX)的主題是數(shù)據(jù)挖掘和大數(shù)據(jù)集的分析。這次會議的主題和二十年前的一次由Leo Breiman組織，ASA 和IMS贊助的關(guān)于大量復(fù)雜數(shù)據(jù)分析的會議是一致的。二十年后，探討一下二十年來的所作所為是極其恰當(dāng)?shù)摹＿@篇文章將討論如下問題：
??? 什么是數(shù)據(jù)挖掘？
??? 什么是統(tǒng)計？
??? 它們之間的聯(lián)系是什么（如果有的話）？
??? 統(tǒng)計學(xué)家能作什么？（可能的話）
??? Should we want to?

2 什么是數(shù)據(jù)挖掘？

?

數(shù)據(jù)挖掘的定義非常模糊，對它的定義取決于定義者的觀點和背景。如下是一些DM文獻中的定義：數(shù)據(jù)挖掘是一個確定數(shù)據(jù)中有效的，新的，可能有用的并且最終能被理解的模式的重要過程。--Fayyad.

數(shù)據(jù)挖掘是一個從大型數(shù)據(jù)庫中提取以前未知的，可理解的，可執(zhí)行的信息并用它來進行關(guān)鍵的商業(yè)決策的過程。--Zekulin.

數(shù)據(jù)挖掘是用在知識發(fā)現(xiàn)過程，來辯識存在于數(shù)據(jù)中的未知關(guān)系和模式的一些方法。--Ferruzza

數(shù)據(jù)挖掘是發(fā)現(xiàn)數(shù)據(jù)中有益模式的過程。--Jonn

數(shù)據(jù)挖掘是我們?yōu)槟切┪粗男畔⒛Ｊ蕉芯看笮蛿?shù)據(jù)集的一個決策支持過程。--Parsaye

數(shù)據(jù)挖掘是...
.決策樹
.神經(jīng)網(wǎng)絡(luò)
.規(guī)則推斷
.最近鄰方法
.遺傳算法
--Mehta

雖然數(shù)據(jù)挖掘的這些定義有點不可觸摸，但在目前它已經(jīng)成為一種商業(yè)事業(yè)。如同在過去的歷次淘金熱中一樣，目標(biāo)是`開發(fā)礦工`。利潤最大的是賣工具給礦工，而不是干實際的開發(fā)。數(shù)據(jù)挖掘這個概念被用作一種裝備來出售計算機硬件和軟件。
??? 硬件制造商強調(diào)數(shù)據(jù)挖掘需要高的計算能力。必須存儲，快速讀寫非常大的數(shù)據(jù)庫，并將密集的計算方法用于這些數(shù)據(jù)。這需要大容量的磁盤空間，快速的內(nèi)置大量R AM的計算機。數(shù)據(jù)挖掘為這些硬件打開了新的市場。

軟件提供者強調(diào)競爭優(yōu)勢。`你的對手使用它，你最好得跟上。`同時強調(diào)它將增加傳統(tǒng)的數(shù)據(jù)庫的價值。許多組織在處理存貨，帳單，會計的數(shù)據(jù)庫方面有大量的業(yè)務(wù)。這些數(shù)據(jù)庫的創(chuàng)建和維護都耗資巨大。現(xiàn)在只需要將相對少的投資用于數(shù)據(jù)挖掘工具，就可以發(fā)現(xiàn)隱藏在這些數(shù)據(jù)中的具有極高利潤的信息` 金塊`。

目前硬件和軟件供應(yīng)者的目的是在市場還未飽和前通過迅速推出數(shù)據(jù)挖掘產(chǎn)品為數(shù)據(jù)挖掘作廣告。如果一個公司為數(shù)據(jù)挖掘包投資了五萬至十萬美元，這也可能只是實驗，人們在新產(chǎn)品未被證實比舊產(chǎn)品具有很大優(yōu)勢之前是不會貿(mào)然購買的。以下是一些當(dāng)前的數(shù)據(jù)挖掘產(chǎn)品：
IBM: `Intelligent Miner` '智能礦工'
Tandem: 'relational Data Miner' '關(guān)系數(shù)據(jù)礦工'
AngossSoftware: 'KnowledgeSEEDER' `知識搜索者`
Thinking Machines Corporation: 'DarwinTM'
NeoVista Software: 'ASIC'
ISL Decision Systems,Inc.: 'Clementine' `克萊門小柑橘`
DataMind Corporation: 'DataMind Data Cruncher'
Silicon Graphics: 'MineSet'
California Scientific Software: 'BrainMaker'
WizSoft Corporation: 'WizWhy'
Lockheed Corporation: 'Recon'
SAS Corporation: 'SAS Enterprise Miner '

除了這些`綜合`軟件包外，還有許多專門用途的產(chǎn)品。另外，許多專業(yè)于數(shù)據(jù)挖掘的咨詢公司也成立了。在這個領(lǐng)域，統(tǒng)計學(xué)家和計算機科學(xué)家的不同在于當(dāng)統(tǒng)計學(xué)家有一個想法時，他（她）將它寫成文章，而計算機科學(xué)家者開一家公司。
當(dāng)前數(shù)據(jù)挖掘產(chǎn)品的特點有：
--迷人的圖形用戶界面
.數(shù)據(jù)庫（查尋語言）
.一套數(shù)據(jù)分析過程
--窗口形式的界面
.靈活方便的輸入
--點擊式按鍵和輸入對話框
--利用圖表分析
--復(fù)雜的圖形輸出
--大量數(shù)據(jù)圖
--靈活的圖形解釋
樹，網(wǎng)絡(luò)，飛行模擬
-- 結(jié)果方便的處理。
這些軟件包對決策者來說就象數(shù)據(jù)挖掘?qū)＜摇?span lang="EN-US">
在當(dāng)前的數(shù)據(jù)挖掘軟件包中被用到的統(tǒng)計分析過程包括：
.決策樹推斷(C4.5,CART,CHAID)
.規(guī)則推斷(AQ,CN2,RECON,etc)
.最近鄰方法(合乎情理的方案)
.聚類方法(數(shù)據(jù)分離)
.聯(lián)合規(guī)則(市場籃子分析)
.特征提取
.可視化
另外，有些還包括：
.神經(jīng)網(wǎng)絡(luò)
.bayesian belief 網(wǎng)絡(luò)（圖形模型）
.遺傳算法

. 支持向量機
.自組織圖
.神經(jīng)模糊系統(tǒng)
幾乎所有包都不包括：
.假設(shè)檢驗
.實驗設(shè)計
.響應(yīng)表面模型
.ANOVA,MANOVA,etc.
.線性回歸
.判別分析
.對數(shù)回歸
.廣義線性模型
.正則相關(guān)性
.主成分分析
.因子分析
?? 后面的這些過程是標(biāo)準(zhǔn)統(tǒng)計包里的主要部分。因此，當(dāng)前被市場化的數(shù)據(jù)挖掘包中的大部分方法在統(tǒng)計學(xué)科之外產(chǎn)生和發(fā)展。統(tǒng)計學(xué)核心的方法已被忽略。

3 Why Now? What's the rush?
??? 從數(shù)據(jù)學(xué)習(xí)的想法已經(jīng)提出很長時間了。但在忽然之間人們對數(shù)據(jù)挖掘的興趣卻變得如此強烈，這是為什么呢？主要原因是近來它與數(shù)據(jù)庫管理領(lǐng)域有了聯(lián)系。數(shù)據(jù)，特別大量的數(shù)據(jù)保存在數(shù)據(jù)庫管理系統(tǒng)中。傳統(tǒng)的DBMS集中于在線處理過程（OLTP n-line transaction processing）;也就是數(shù)據(jù)組織的目的是存儲并快速恢復(fù)單個記錄。它們過去常用來記錄庫存，薪水表記錄，帳單記錄，發(fā)貨記錄，等等。
??? 最近，數(shù)據(jù)庫管理界對將數(shù)據(jù)庫管理系統(tǒng)用于決策支持越來越感興趣。這樣一個決策支持系統(tǒng)將允許對原本為在線轉(zhuǎn)換過程應(yīng)用收據(jù)的數(shù)據(jù)進行統(tǒng)計查詢。比如` 上月我們的所有連鎖店一共賣了多少尿布？`，決策支持系統(tǒng)需要`數(shù)據(jù)倉庫`的結(jié)構(gòu)。數(shù)據(jù)倉庫用相同的格式將某組織分散在各個部門的數(shù)據(jù)統(tǒng)一成一個單一的中心數(shù)據(jù)庫（通常有1 00GB大）。有時較小一點的子數(shù)據(jù)庫也可以建成來進行特殊的分析；這些又叫`數(shù)據(jù)市場`（Data Marts）

決策支持系統(tǒng)為在線分析過程(OLAP)和關(guān)系在線分析過程設(shè)計。關(guān)系在線分析過程為`多維分析`設(shè)計。關(guān)系在線分析過程數(shù)據(jù)庫通過維組織，維即屬性（變量）的邏輯類。數(shù)據(jù)體可以看成是高維偶然事件表。關(guān)系在線分析過程支持如下類型的查詢：
.顯示春季運動服部門總的銷售量，及California大城市商業(yè)街中商店數(shù)
.和小城市中商店進行比較
.顯示所有利潤邊界值為負的項

如果關(guān)系在線分析過程的查尋由使用者手工進行，使用者提出潛在的相關(guān)問題；得到結(jié)果需要附加的查尋，其答案可能暗示進一步的問題。這樣的分析過程一直到不再有感興趣的問題提出，或者到分析員精疲力盡或耗完時間。如果用關(guān)系在線分析過程進行數(shù)據(jù)挖掘，那它需要一個經(jīng)驗豐富的使用者，他能不睡且不老，使用者必須不斷地重復(fù)提出見聞廣博的問題。
??? 數(shù)據(jù)挖掘也可以用數(shù)據(jù)挖掘系統(tǒng)（軟件）進行，它只需要使用者提供模糊的指令，就能自動搜索相應(yīng)的模式，并顯示重要的項，預(yù)測，或反常記錄。

. 利潤邊界值為負的項有什么特征？
.如果決定開發(fā)某項產(chǎn)品的市場-預(yù)測它的利潤邊界值
.尋找那些其利潤邊界值可以準(zhǔn)確預(yù)測的項的特征
不是所有的大的數(shù)據(jù)庫都是商業(yè)化的，比方說科學(xué)和工程中大量存在的數(shù)據(jù)庫。這些數(shù)據(jù)庫通常和計算機自動收據(jù)數(shù)據(jù)聯(lián)系在一起，比方說：
.天文的(天空圖)
.氣象的(氣候，環(huán)境污染監(jiān)測站)
.衛(wèi)星遙感
.高能物理
.工業(yè)過程控制
這些數(shù)據(jù)也能得益于數(shù)據(jù)挖掘技術(shù)(原則上)

4 是數(shù)據(jù)挖掘還是智能訓(xùn)練？

當(dāng)前對數(shù)據(jù)挖掘的興趣在學(xué)術(shù)界引發(fā)了一些議題。數(shù)據(jù)挖掘作為一種商業(yè)事業(yè)看上去很可行，但它是否能被定為一種智能訓(xùn)練。當(dāng)然它和計算機科學(xué)有極重要的聯(lián)系。這些包括：
.集聚體(ROLAP)的高效計算
.快速的立體(X * X)查尋
.為提高在線查尋的速度的線下預(yù)查尋
.在線查尋的并行計算
.將DBMS方法轉(zhuǎn)化為數(shù)據(jù)挖掘算法。
.基于磁盤而不是RAM的實現(xiàn)
.基本數(shù)據(jù)挖掘算法的并行實現(xiàn)
從統(tǒng)計數(shù)據(jù)分析的眼光我們可以問數(shù)據(jù)挖掘方法是否是智能訓(xùn)練。到目前為止，仍可以說它是，也可以說不是。數(shù)據(jù)挖掘包中廣為人知的程序來自機器學(xué)習(xí)，模式識別，神經(jīng)網(wǎng)絡(luò)和數(shù)據(jù)可視化領(lǐng)域。它們強調(diào)` 看和感覺`和感官性的存在。這樣看上去并不是在意具體的表現(xiàn)，而是要迅速占領(lǐng)市場。在這個領(lǐng)域中目前大部分的研究集中在改進當(dāng)前的機器學(xué)習(xí)方法和加速已存在的算法。
然而，在將來數(shù)據(jù)挖掘幾乎可以肯定地說是一種智能訓(xùn)練。當(dāng)一種技術(shù)的效率提高了十倍，人們總要認(rèn)真地重新考慮怎樣應(yīng)用它。想一想人類從走到飛的歷史進程，每一次提高都大約是以前的十倍，并且每一次量的提高都重新改變了我們對如何使用交通工具的想法。C huck Dickens(前SLAC的計算指導(dǎo))曾說到：`每次計算機的能力提高十倍，我們都應(yīng)該從總體上重新思考一下我們應(yīng)該怎樣算，算什么的問題。` 一個相應(yīng)的說法可能是`每次數(shù)據(jù)量增加十倍，我們就應(yīng)該從總體上重新考慮一下怎樣分析它。`從當(dāng)前幾乎大多數(shù)使用的數(shù)據(jù)挖掘工具發(fā)明的那一段時間到現(xiàn)在，計算機的處理能力和數(shù)據(jù)量都增加了好幾個數(shù)量級。新的數(shù)據(jù)挖掘方法在將來一定會更智能更有學(xué)術(shù)性( 商業(yè)性)。

?

5 數(shù)據(jù)挖掘應(yīng)該是統(tǒng)計的一部分嗎？

我們過去曾給予數(shù)據(jù)挖掘方法智能的生命力，但統(tǒng)計學(xué)作為一個學(xué)科是否應(yīng)該關(guān)心它的發(fā)展。我們是否應(yīng)該將它看成統(tǒng)計的一部分？那意味作什么？最起碼它表明我們應(yīng)該：
.在我們的雜志上發(fā)表這類文章。
.在我們的本科課程中講授一些這方面的內(nèi)容 ?br> .在我們的研究生中講授一些相關(guān)的研究課題。
.給那些這方面較優(yōu)秀的人提供一些獎勵(工作，任期，獎品)。
答案并不明顯，在統(tǒng)計學(xué)的歷史上就忽略了許多在其它數(shù)據(jù)處理相關(guān)領(lǐng)域發(fā)展的新方法。如下是一些相關(guān)領(lǐng)域的例子。其中帶*的是那些在統(tǒng)計科學(xué)中萌芽，但隨后絕大部分又被統(tǒng)計學(xué)忽略的方法領(lǐng)域。
1 模式識別*--CS/工程
2 數(shù)據(jù)庫管理--CS/圖書館科學(xué)
3 神經(jīng)網(wǎng)絡(luò)*--心理學(xué)/CS/工程
4 機器學(xué)習(xí)*-CS/AI
5 圖形模型*(Beyes 網(wǎng))-CS/AI
6 遺傳工程--CS/工程
7 化學(xué)統(tǒng)計學(xué)*--化學(xué)
8 數(shù)據(jù)可視化**--CS/科學(xué)計算
可以肯定地說，個別的`統(tǒng)計學(xué)家`已經(jīng)致力于這些領(lǐng)域，但公平地說他們并未被我們的統(tǒng)計學(xué)領(lǐng)域擁抱（或者說熱情地擁抱）。

?

6 什么是統(tǒng)計學(xué)？
既然象上面的一些從數(shù)據(jù)獲取知識的課題和統(tǒng)計學(xué)的關(guān)系如此冷淡，我們不禁要問：`

什么不是統(tǒng)計學(xué)`。如果和數(shù)據(jù)聯(lián)系并不是一個課題成為統(tǒng)計學(xué)一部分的充分理由，那么什么才是充分的呢？到目前為止，統(tǒng)計學(xué)的定義好象依賴于一些工具，也就是我們在當(dāng)前的研究生課程中講授的那些東西。如下是一些例子：
.概率理論
.實分析
.測度論
.漸近理論
.決策理論
.馬耳可夫鏈
.鞅
.遍歷理論
.等
??? 統(tǒng)計領(lǐng)域好象被定義成一族能提出如上或相關(guān)工具的問題。當(dāng)然這些工具過去和將來都會很有用。就象Brad Efron提醒我們一樣：`統(tǒng)計是最成功的信息科學(xué)。`,`那些忽略了統(tǒng)計的人將受到懲罰，他們將在實際中自己重新發(fā)現(xiàn)該統(tǒng)計方法。`
??? 有人認(rèn)為在當(dāng)前數(shù)據(jù)(及其相關(guān)應(yīng)用)以指數(shù)方式增長，而統(tǒng)計學(xué)家的數(shù)量顯然趕不上這種增長的情況下，我們統(tǒng)計學(xué)應(yīng)該將精力集中于信息科學(xué)中我們作得最好的部分，也就是基于數(shù)學(xué)的概率推斷。這是一種高度保守的觀點，當(dāng)然它也有可能是最好的一種戰(zhàn)略。然而，如果我們接受這一種觀點，我們統(tǒng)計學(xué)家在‘信息革命’浪潮中的作用肯定會逐漸消失殆盡（在這個舞臺上的演員越來越少）。當(dāng)然這種戰(zhàn)略的一個很好的優(yōu)點是它對我們創(chuàng)新的要求很少，我們只需要墨守成規(guī)就可以了。
??? 另一種觀點，早在1962年就由John Tukey[Tukey (1962)]提出來了，他認(rèn)為統(tǒng)計應(yīng)該關(guān)注數(shù)據(jù)分析。這個領(lǐng)域應(yīng)該依據(jù)問題而不是工具定義，也就是那些和數(shù)據(jù)有關(guān)的問題。如果這種觀點成為一種主流觀點，那就要求對我們的實踐和學(xué)術(shù)課題作較大的改變。
??? 首先(最重要的)，我們應(yīng)該跟上計算的步伐。哪里有數(shù)據(jù)，哪里就有計算。 一旦我們將計算方法看成是一個基本的統(tǒng)計工具(而不是一種方便地實現(xiàn)我們現(xiàn)成工具的方法)，那么當(dāng)前許多和數(shù)據(jù)密切相關(guān)的領(lǐng)域?qū)⒉粡?fù)存在。他們將成為我們領(lǐng)域的一部分。
??? 認(rèn)真對待計算工具而不是簡單地使用統(tǒng)計包--雖然這一點也很重要。如果計算成為我們的一個基本的研究工具，毫無疑問，我們的學(xué)生應(yīng)該學(xué)習(xí)相關(guān)的計算科學(xué)知識。這將包括數(shù)值線性代數(shù)，數(shù)值和組合優(yōu)化，數(shù)據(jù)結(jié)構(gòu)，算法設(shè)計，機械體系，程序設(shè)計方法，數(shù)據(jù)庫管理，并行體系，和程序設(shè)計等等。我們也將擴展我們的課程計劃，它應(yīng)該包括當(dāng)前的計算機定向數(shù)據(jù)分析方法，它們大部分是在統(tǒng)計學(xué)科之外發(fā)展起來的。
??? 如果我們想和其它的數(shù)據(jù)相關(guān)領(lǐng)域爭奪學(xué)術(shù)和商業(yè)的市場空間，我們的某些基本模式將不得不改變，我們將不得不調(diào)節(jié)對數(shù)學(xué)的幻想。數(shù)學(xué)（象計算）只是統(tǒng)計的一個工具，雖然非常重要，但并不是唯一能證實統(tǒng)計方法有效性的工具。數(shù)學(xué)不等價于理論，反之亦然。理論本來是創(chuàng)造理解力和數(shù)學(xué)，雖然這很重要，但并不是作此的唯一方法。比如，在疾病的基因理論中數(shù)學(xué)內(nèi)容很少，但它卻使人們更好地理解許多醫(yī)學(xué)現(xiàn)象。我們將承認(rèn)經(jīng)驗確認(rèn)方式，雖然有一定局限性，但的確是一種確認(rèn)方式。
??? 我們可能也不得不改變我們的文化。每一個參與其它數(shù)據(jù)相關(guān)領(lǐng)域的統(tǒng)計學(xué)家都被他們和統(tǒng)計學(xué)的‘文化差距’所震撼。在其它的一些領(lǐng)域，‘想法’比數(shù)學(xué)技術(shù)（基礎(chǔ)）更重要。一個有啟發(fā)的‘想法’就被認(rèn)為是有價值的，若有更詳細的確認(rèn)（理論的或經(jīng)驗的）人們才去討論它的最終價值。思維方式是‘如果沒有證明是有罪的，那就是清白的’這和我們領(lǐng)域的思路是不一致的。過去如果一個新方法不是用數(shù)學(xué)證明是有效的，我們常常詆毀它，即使不這樣，我們也不會接受它。這種思路在數(shù)據(jù)集比較小和信息噪聲比較高時是合理的。特別地，我們應(yīng)該改變我們詆毀那些表現(xiàn)很好（通常在其它領(lǐng)域），但卻沒被我們理解的方法的習(xí)慣。

?

7 Which Way To Go?

也許，現(xiàn)在的統(tǒng)計學(xué)正處在一個十字路口，我們可以決定是接受還是拒絕改變。如上所說，兩種觀點都極富說服力。雖然觀點豐富，但誰也不能肯定哪一種戰(zhàn)略能保持我們領(lǐng)域的健康發(fā)展和生命力。大多數(shù)統(tǒng)計學(xué)家好象認(rèn)為統(tǒng)計學(xué)對信息科學(xué)的影響越來越小。它們也不太同意為此作些什么。站主導(dǎo)的觀點認(rèn)為我們有市場問題，我們在別的領(lǐng)域的顧客和同事不了解我們的價值和重要性。這也是我們的主要專業(yè)組織，美國統(tǒng)計協(xié)會的看法。在戰(zhàn)略計劃委員（A mstat News-Feb.1997）會所作的五年計劃報告中有一節(jié)‘增強我們學(xué)科的聲望和健康’。建議作三方面的工作：
.
.
(以下的內(nèi)容意思是：統(tǒng)計學(xué)面臨危機，市場的，人才的危機。統(tǒng)計學(xué)可以在數(shù)據(jù)挖掘科學(xué)中發(fā)揮作用，統(tǒng)計學(xué)應(yīng)該和數(shù)據(jù)挖掘合作，而不是將它甩給計算機科學(xué)家。)
參考：Tukey,J.W.(1962).數(shù)據(jù)分析的未來 Ann.Statist.33,1-67