無(wú)為

隨著網(wǎng)絡(luò)技術(shù)和數(shù)據(jù)庫(kù)技術(shù)的成熟，全球傳統(tǒng)商務(wù)正經(jīng)歷一次重大變革，向電子商務(wù)全速挺進(jìn)。這種商業(yè)電子化的趨勢(shì)不僅為客戶提供了便利的交易方式和廣泛的選擇，同時(shí)也為商家提供了更加深入地了解客戶需求信息和購(gòu)物行為特征的可能性。數(shù)據(jù)挖掘技術(shù)作為電子商務(wù)的重要應(yīng)用技術(shù)之一，將為正確的商業(yè)決策提供強(qiáng)有力的支持和可靠的保證，是電子商務(wù)不可缺少的重要工具。

電子商務(wù)的發(fā)展促使公司內(nèi)部收集了大量的數(shù)據(jù)，并且迫切需要將這些數(shù)據(jù)轉(zhuǎn)換成有用的信息和知識(shí)，為公司創(chuàng)造更多潛在的利潤(rùn)，數(shù)據(jù)挖掘概念就是從這樣的商業(yè)角度開(kāi)發(fā)出來(lái)的。數(shù)據(jù)挖掘涉及的學(xué)科領(lǐng)域和方法很多，其核心技術(shù)歷經(jīng)了數(shù)十年的發(fā)展，其中包括統(tǒng)計(jì)、近鄰、聚類、決策樹(shù)、神經(jīng)網(wǎng)絡(luò)和規(guī)則等。今天，這些成熟的技術(shù)在電子商務(wù)中已進(jìn)入了實(shí)用階段，并取得了良好的效果。但數(shù)據(jù)挖掘作為一個(gè)新興領(lǐng)域，在實(shí)際應(yīng)用當(dāng)中仍存在許多尚未解決的問(wèn)題。其中最困難的往往在于決定什么時(shí)候采用哪種數(shù)據(jù)挖掘技術(shù)。為了對(duì)數(shù)據(jù)挖掘技術(shù)進(jìn)行明智的選擇，本文結(jié)合數(shù)據(jù)挖掘技術(shù)在電子商務(wù)中的應(yīng)用，從挖掘任務(wù)和數(shù)據(jù)信息兩個(gè)角度進(jìn)行分析，指出各種數(shù)據(jù)挖掘技術(shù)適用的場(chǎng)合，以便開(kāi)發(fā)出切實(shí)可用的數(shù)據(jù)挖掘系統(tǒng)。

?

2數(shù)據(jù)挖掘的概念及其在電子商務(wù)中的應(yīng)用

2.1數(shù)據(jù)挖掘的概念

數(shù)據(jù)挖掘是通過(guò)挖掘數(shù)據(jù)倉(cāng)庫(kù)中存儲(chǔ)的大量數(shù)據(jù)，從中發(fā)現(xiàn)有意義的新的關(guān)聯(lián)模式和趨勢(shì)的過(guò)程。從商業(yè)的角度定義，數(shù)據(jù)挖掘是一種新的商業(yè)信息處理技術(shù)，其主要特點(diǎn)是對(duì)商業(yè)數(shù)據(jù)庫(kù)中的大量業(yè)務(wù)數(shù)據(jù)進(jìn)行抽取、轉(zhuǎn)換、分析和其它模型化處理，從中提取輔助商業(yè)決策的關(guān)鍵性數(shù)據(jù)。數(shù)據(jù)挖掘最吸引人的地方是它能建立預(yù)測(cè)模型而不是回顧型的模型。利用功能強(qiáng)大的數(shù)據(jù)挖掘技術(shù)，可以使企業(yè)把數(shù)據(jù)轉(zhuǎn)化為有用的信息幫助決策，從而在市場(chǎng)競(jìng)爭(zhēng)中獲得優(yōu)勢(shì)地位。

2.2數(shù)據(jù)挖掘在電子商務(wù)中的應(yīng)用

由于數(shù)據(jù)挖掘能帶來(lái)顯著的經(jīng)濟(jì)效益，它在電子商務(wù)中（特別是金融業(yè)、零售業(yè)和電信業(yè)）應(yīng)用也越來(lái)越廣泛。

在金融領(lǐng)域，管理者可以通過(guò)對(duì)客戶償還能力以及信用的分析，進(jìn)行分類，評(píng)出等級(jí)。從而可減少放貸的麻木性，提高資金的使用效率。同時(shí)還可發(fā)現(xiàn)在償還中起決定作用的主導(dǎo)因素，從而制定相應(yīng)的金融政策。更值得一提的是通過(guò)對(duì)數(shù)據(jù)的分析還可發(fā)現(xiàn)洗黑錢以及其它的犯罪活動(dòng)。

在零售業(yè)，數(shù)據(jù)挖掘可有助于識(shí)別顧客購(gòu)買行為，發(fā)現(xiàn)顧客購(gòu)買模式和趨勢(shì)，改進(jìn)服務(wù)質(zhì)量，取得更好的顧客保持力和滿意程度，提高貨品銷量比率，設(shè)計(jì)更好的貨品運(yùn)輸與分銷策略，減少商業(yè)成本。

電信業(yè)已經(jīng)迅速地從單純的提供市話和長(zhǎng)話服務(wù)演變?yōu)榫C合電信服務(wù)，如語(yǔ)音、傳真、尋呼、移動(dòng)電話、圖像、電子郵件、計(jì)算機(jī)和WEB數(shù)據(jù)傳輸以及其它的數(shù)據(jù)通信服務(wù)。電信、計(jì)算機(jī)網(wǎng)絡(luò)、因特網(wǎng)和各種其它方式的通信和計(jì)算的融合是目前的大勢(shì)所趨。而且隨著許多國(guó)家對(duì)電信業(yè)的開(kāi)放和新型計(jì)算與通信技術(shù)的發(fā)展，電信市場(chǎng)正在迅速擴(kuò)張并越發(fā)競(jìng)爭(zhēng)激烈。因此，利用數(shù)據(jù)挖掘技術(shù)來(lái)幫助理解商業(yè)行為、確定電信模式、捕捉盜用行為、更好的利用資源和提高服務(wù)質(zhì)量是非常有必要的。分析人員可以對(duì)呼叫源、呼叫目標(biāo)、呼叫量和每天使用模式等信息進(jìn)行分析，還可以通過(guò)挖掘進(jìn)行盜用模式分析和異常模式識(shí)別，從而可盡早發(fā)現(xiàn)盜用，為公司減少損失。

３選擇數(shù)據(jù)挖掘技術(shù)的兩個(gè)重要依據(jù)

　　數(shù)據(jù)挖掘使用的技術(shù)很多，其中主要包括統(tǒng)計(jì)方法、機(jī)器學(xué)習(xí)方法、和神經(jīng)網(wǎng)絡(luò)方法和數(shù)據(jù)庫(kù)方法。統(tǒng)計(jì)方法可細(xì)分為回歸分析、判別分析、聚類分析、探索性分析等。機(jī)器學(xué)習(xí)方法可細(xì)分為歸納學(xué)習(xí)方法（決策樹(shù)、規(guī)則歸納）、基于范例學(xué)習(xí)、遺傳算法等。神經(jīng)網(wǎng)絡(luò)方法可細(xì)分為錢箱神經(jīng)網(wǎng)絡(luò)（BP算法）、自組織神經(jīng)網(wǎng)絡(luò)等。數(shù)據(jù)庫(kù)方法主要是多維數(shù)據(jù)分析或OLAP方法，另外還有面向?qū)傩缘臍w納方法。由于每一種數(shù)據(jù)挖掘技術(shù)都有其自身的特點(diǎn)和實(shí)現(xiàn)的步驟，對(duì)數(shù)據(jù)的形式有具體的要求，并且與具體的應(yīng)用問(wèn)題密切相關(guān)，因此成功的應(yīng)用數(shù)據(jù)挖掘技術(shù)以達(dá)到目標(biāo)過(guò)程本身就是一件很復(fù)雜的事情，本文主要從挖掘任務(wù)和可獲得的數(shù)據(jù)兩個(gè)角度來(lái)討論對(duì)數(shù)據(jù)挖掘技術(shù)的選擇。

3.1不同的挖掘任務(wù)使用不同的挖掘技術(shù)

數(shù)據(jù)挖掘的任務(wù)是從數(shù)據(jù)中發(fā)現(xiàn)模式。根據(jù)挖掘任務(wù)，數(shù)據(jù)挖掘可分為概念描述、聚集發(fā)現(xiàn)、關(guān)聯(lián)規(guī)則發(fā)現(xiàn)、分類發(fā)現(xiàn)、回歸發(fā)現(xiàn)和序列模式發(fā)現(xiàn)等。在選擇使用某種數(shù)據(jù)挖掘技術(shù)之前，首先要將待解決的商業(yè)問(wèn)題轉(zhuǎn)化成正確的數(shù)據(jù)挖掘的任務(wù)，然后根據(jù)挖掘的任務(wù)來(lái)選擇具體使用某一種或幾種挖掘技術(shù)。下面具體的分析每一種挖掘任務(wù)應(yīng)使用哪些挖掘技術(shù)。

概念描述

概念描述是描述式數(shù)據(jù)挖掘的最基本形式。它以簡(jiǎn)潔匯總的形式描述給定的任務(wù)相關(guān)數(shù)據(jù)集，提供數(shù)據(jù)的有趣的一般特性。概念描述由特征化和比較組成。數(shù)據(jù)特征化是目標(biāo)類數(shù)據(jù)的一般特征或特性的匯總。通常，用戶指定類的數(shù)據(jù)通過(guò)數(shù)據(jù)庫(kù)查詢收集。例如，為研究上一年銷售增加10%的軟件產(chǎn)品的特征，可以通過(guò)執(zhí)行一個(gè)SQL查詢收集關(guān)于這些產(chǎn)品的數(shù)據(jù)。概念的特征化有兩種一般方法：基于數(shù)據(jù)立方體OLAP的方法和面向?qū)傩詺w納的方法。二者都是基于屬性或維的概化方法．?dāng)?shù)據(jù)特征的輸出可以用多種形式提供。包括餅圖、條圖、曲線、多維數(shù)據(jù)立方體和包括交叉表在內(nèi)的多維表。數(shù)據(jù)區(qū)分是將目標(biāo)類對(duì)象的一般特征與一個(gè)或多個(gè)對(duì)比類對(duì)象的一般特征比較。例如，將上一年銷售增加10%的軟件產(chǎn)品與同一時(shí)期銷售至少下降30%的那些產(chǎn)品進(jìn)行比較。用于數(shù)據(jù)區(qū)分的方法與用于數(shù)據(jù)特征化的方法類似。總之，進(jìn)行概念描述挖掘時(shí)一般采用面向數(shù)據(jù)庫(kù)的方法，另外還可以采用機(jī)器學(xué)習(xí)方法的基于范例學(xué)習(xí)技術(shù)。與機(jī)器學(xué)習(xí)方法相比，面向數(shù)據(jù)庫(kù)的概念描述導(dǎo)致在大型數(shù)據(jù)庫(kù)和數(shù)據(jù)倉(cāng)庫(kù)中的有效性和可伸縮性。

聚集發(fā)現(xiàn)

聚集是把整個(gè)數(shù)據(jù)庫(kù)分成不同的群組。它的目的是要群與群之間差別很明顯，而同一個(gè)群之間的數(shù)據(jù)盡量相似。聚集在電子商務(wù)上的典型應(yīng)用是幫助市場(chǎng)分析人員從客戶基本庫(kù)中發(fā)現(xiàn)不同的客戶群，并且用購(gòu)買模式來(lái)刻畫(huà)不同客戶群的特征。此外聚類分析可以作為其它算法（如特征和分類等）的預(yù)處理步驟，這些算法再在生成的簇上進(jìn)行處理。與分類不同，在開(kāi)始聚集之前你不知道要把數(shù)據(jù)分成幾組，也不知道怎么分（依照哪幾個(gè)變量）。因此在聚集之后要有一個(gè)對(duì)業(yè)務(wù)很熟悉的人來(lái)解釋這樣分群的意義。很多情況下一次聚集你得到的分群對(duì)你的業(yè)務(wù)來(lái)說(shuō)可能并不好，這時(shí)你需要?jiǎng)h除或增加變量以影響分群的方式，經(jīng)過(guò)幾次反復(fù)之后才能最終得到一個(gè)理想的結(jié)果。聚類方法主要有兩類，包括統(tǒng)計(jì)方法和神經(jīng)網(wǎng)絡(luò)方法。自組織神經(jīng)網(wǎng)絡(luò)方法和K-均值是比較常用的聚集算法。

關(guān)聯(lián)規(guī)則發(fā)現(xiàn)

關(guān)聯(lián)分析是尋找在同一個(gè)事件中出現(xiàn)的不同項(xiàng)的相關(guān)性，比如在一次購(gòu)買活動(dòng)中所買不同商品的相關(guān)性。序列模式與此類似，它尋找的是事件之間時(shí)間上的相關(guān)性，如對(duì)股票漲跌的分析。以市場(chǎng)貨籃這個(gè)典型例子分析關(guān)聯(lián)規(guī)則。“在購(gòu)買面包和黃油的顧客中，有90%的人同時(shí)也買了牛奶”（面包＋黃油?牛奶）。用于規(guī)則發(fā)現(xiàn)的對(duì)象主要是事務(wù)型數(shù)據(jù)庫(kù)，分析的是售貨數(shù)據(jù)，也稱貨籃數(shù)據(jù)。以下給出的數(shù)學(xué)模型用來(lái)描述關(guān)聯(lián)規(guī)則的發(fā)現(xiàn)問(wèn)題。

設(shè)I={I1，I2，．．．，Im}是一組物品集,其中每一個(gè)事務(wù)T是一組物品，顯然TíI。設(shè)X為一組物品，當(dāng)且僅當(dāng)XíT時(shí)，稱事務(wù)T包含X。一個(gè)關(guān)聯(lián)規(guī)則是如下形式的一種蘊(yùn)涵：X?Y，其中XìI，YìI且X∩Y=F。如果D中s%的事務(wù)包含X∪Y，則稱規(guī)則X?Y在事務(wù)集D上的支持度support（X∪Y）＝s。可信度為c，如果c=support（X∪Y）*100/support（X），則說(shuō)明D中包含X的事務(wù)中有c%的事務(wù)同時(shí)也包含了Y。可信度說(shuō)明了蘊(yùn)涵的強(qiáng)度，而支持度說(shuō)明了規(guī)則中所出現(xiàn)模式的頻率。具有高可信度和強(qiáng)支持度的規(guī)則稱為“強(qiáng)規(guī)則”（strong rules）。關(guān)聯(lián)規(guī)則發(fā)現(xiàn)任務(wù)的本質(zhì)是要在數(shù)據(jù)庫(kù)中發(fā)現(xiàn)強(qiáng)關(guān)聯(lián)規(guī)則。利用這些關(guān)聯(lián)規(guī)則可以了解客戶的行為，這對(duì)于改進(jìn)零售業(yè)等商業(yè)活動(dòng)的決策很有幫助。例如，可以幫助改進(jìn)商品的擺放（把顧客經(jīng)常同時(shí)買的商品擺放在一起），幫助如何規(guī)劃市場(chǎng)（互相搭配進(jìn)貨）等。在數(shù)據(jù)挖掘研究領(lǐng)域，對(duì)于關(guān)聯(lián)分析的研究開(kāi)展的比較深入，人們提出了多種關(guān)聯(lián)規(guī)則的挖掘算法，如APRIORI、FP-增長(zhǎng)、STEM、AIS、DHP等算法。

分類發(fā)現(xiàn)

?分類要解決的問(wèn)題是為一個(gè)事件或?qū)ο髿w類。設(shè)有一個(gè)數(shù)據(jù)庫(kù)和一組具有不同特征的類別（標(biāo)記），該數(shù)據(jù)庫(kù)中的每一個(gè)記錄都賦予一個(gè)類別的標(biāo)記，這樣的數(shù)據(jù)庫(kù)稱為示例數(shù)據(jù)庫(kù)或訓(xùn)練集。分類分析就是通過(guò)分析示例數(shù)據(jù)庫(kù)中的數(shù)據(jù)，為每個(gè)類別做出準(zhǔn)確的描述或建立分析模型或挖掘出分類規(guī)則，然后用這個(gè)分類規(guī)則對(duì)其它數(shù)據(jù)庫(kù)中的記錄進(jìn)行分類。在電子商務(wù)中分類分析可以預(yù)測(cè)客戶響應(yīng)，如哪些客戶最傾向于對(duì)直接郵件推銷做出回應(yīng)，又有哪些客戶可能會(huì)換他的手機(jī)服務(wù)提供商，或進(jìn)行商店定位，如按成功的商店、一般商店和失敗商店排列得出這3類商店各自具有的屬性。然后選擇包含位置屬性的地理數(shù)據(jù)庫(kù)，分析每一預(yù)期的商店位置屬性，以確定預(yù)期的商店定位屬于哪一類。只有那些符合成功一類要求的商店位置才作為商店定位的候選。用于分類分析的技術(shù)有很多，典型方法有統(tǒng)計(jì)方法的貝葉斯分類、機(jī)器學(xué)習(xí)的判定樹(shù)歸納分類、神經(jīng)網(wǎng)絡(luò)的后向傳播分類等。最近數(shù)據(jù)挖掘技術(shù)也將關(guān)聯(lián)規(guī)則用于分類問(wèn)題 。另外還有一些其它分類方法，包括k－最臨近分類、MBR、遺傳算法、粗糙集和模糊集方法。目前，尚未發(fā)現(xiàn)有一種方法對(duì)所有數(shù)據(jù)都優(yōu)于其它方法。實(shí)驗(yàn)研究表明，許多算法的準(zhǔn)確性非常相似，其差別是統(tǒng)計(jì)不明顯，而訓(xùn)練時(shí)間可能顯著不同。一般的，大部分神經(jīng)網(wǎng)絡(luò)和涉及樣條的統(tǒng)計(jì)分類與大部分判定樹(shù)方法相比，趨向于計(jì)算量大。

回歸發(fā)現(xiàn)

回歸是通過(guò)具有已知值的變量來(lái)預(yù)測(cè)其他變量的值。它與分類類似，差別在于前者的預(yù)測(cè)值是連續(xù)的，而后者是離散的。在最簡(jiǎn)單的情況下，回歸采用的是象線性回歸這樣的標(biāo)準(zhǔn)統(tǒng)計(jì)技術(shù)。但在大多數(shù)現(xiàn)實(shí)世界中的問(wèn)題是不能用簡(jiǎn)單的線性回歸所能預(yù)測(cè)的。如商品的銷售量、股票價(jià)格、產(chǎn)品合格率、利潤(rùn)的大小等，很難找到簡(jiǎn)單有效的方法來(lái)預(yù)測(cè)，因?yàn)橐枋鲞@些事件的變化所需的變量以上百計(jì)，且這些變量本身往往都是非線性的。為此人們又發(fā)明了許多新的手段來(lái)試圖解決這個(gè)問(wèn)題，如邏輯回歸、決策樹(shù)、神經(jīng)網(wǎng)絡(luò)等。一般同一個(gè)模型既可用于回歸也可用于分類，如CART決策樹(shù)算法既可以用于建立分類樹(shù)，也可建立回歸樹(shù)。神經(jīng)網(wǎng)絡(luò)也一樣。

序列模式發(fā)現(xiàn)

序列模式分析和關(guān)聯(lián)分析類似，其目的也是為了挖掘數(shù)據(jù)之間的聯(lián)系，但序列模式分析的側(cè)重點(diǎn)在于分析數(shù)據(jù)間的前后序列關(guān)系。它能發(fā)現(xiàn)數(shù)據(jù)庫(kù)中形如“在某一段時(shí)間內(nèi)，顧客購(gòu)買商品A，接著購(gòu)買商品B，而后購(gòu)買商品C，即序列A?B?C出現(xiàn)的頻率較高”之類的知識(shí)。序列模式分析描述的問(wèn)題是：在給定交易序列數(shù)據(jù)庫(kù)中，每個(gè)序列是按照交易時(shí)間排列的一組交易集，挖掘序列函數(shù)作用在這個(gè)交易序列數(shù)據(jù)庫(kù)上，返回該數(shù)據(jù)庫(kù)中出現(xiàn)的高頻序列。在進(jìn)行序列模式分析時(shí)，同樣也需要有用戶輸入最小值信度C和最小支持度S。另外序列關(guān)聯(lián)規(guī)則挖掘中采用的Apriori特性可以用于序列模式的挖掘，另一類挖掘此類模式的方法是基于數(shù)據(jù)庫(kù)投影的序列模式生長(zhǎng)技術(shù)。

３.２理解可以獲得的數(shù)據(jù)的信息。

對(duì)可以挖掘的數(shù)據(jù)進(jìn)行分析，理解可以獲得的數(shù)據(jù)的信息：內(nèi)容、字段類型、記錄之間的關(guān)系。可能影響數(shù)據(jù)挖掘技術(shù)選擇的數(shù)據(jù)性質(zhì)主要有：

1）種類字段：關(guān)聯(lián)分析和連接分析只適用于種類字段。決策樹(shù)也可以很容易的用于種類字段。但是有一個(gè)忠告：就是當(dāng)種類的值較多的時(shí)候，效果可能就會(huì)比較差，當(dāng)然如果限制分支的個(gè)數(shù)的時(shí)候，決策樹(shù)的效果還是不錯(cuò)的。神經(jīng)元網(wǎng)絡(luò)，可以將種類字段轉(zhuǎn)化成數(shù)值字段，但是這樣就給種類字段強(qiáng)加了一個(gè)先后次序。也可以將種類字段作為多個(gè)輸入，但是當(dāng)值很多時(shí)，這種方法就成問(wèn)題了。

2）數(shù)值字段：神經(jīng)元網(wǎng)絡(luò)將所有輸入轉(zhuǎn)化到0—1之間。MBR和聚集檢測(cè)通過(guò)距離函數(shù)來(lái)處理數(shù)值字段。決策樹(shù)可以通過(guò)splitter數(shù)值來(lái)處理數(shù)值字段。對(duì)于關(guān)聯(lián)分析，則必須將數(shù)值變量區(qū)間化成種類變量，但是區(qū)間的選擇是一個(gè)很困難的問(wèn)題。

3）每條記錄都有大量的字段（獨(dú)立）：記錄中的字段很多，神經(jīng)元網(wǎng)絡(luò)和MBR技術(shù)會(huì)受其影響，關(guān)聯(lián)規(guī)則挖掘也會(huì)受影響。而決策樹(shù)受其影響的程度就比較的小。

4）多個(gè)目標(biāo)字段（非獨(dú)立）：對(duì)于存在多個(gè)依賴變量的情況，神經(jīng)元網(wǎng)絡(luò)是最佳的選擇。

5）記錄是變長(zhǎng)的 ：只有關(guān)聯(lián)規(guī)則和連接分析可以直接處理變長(zhǎng)記錄。對(duì)于其他的技術(shù)，數(shù)據(jù)需要一些預(yù)處理：可以生成一些統(tǒng)計(jì)字段；將一條記錄拆分成幾條記錄，每個(gè)含有記錄號(hào)。

6）有時(shí)間順序的數(shù)據(jù)：神經(jīng)元網(wǎng)絡(luò)，關(guān)聯(lián)規(guī)則對(duì)時(shí)間順序的數(shù)據(jù)的處理能力比較的好。決策樹(shù)也能處理時(shí)間順序，但是需要的數(shù)據(jù)準(zhǔn)備就相對(duì)較多一點(diǎn)。

7）自由文本數(shù)據(jù)：MBR技術(shù)最適合。

?

4結(jié)論

??? 總之在選擇一種數(shù)據(jù)挖掘技術(shù)我們應(yīng)根據(jù)商業(yè)問(wèn)題的特點(diǎn)來(lái)決定采用哪種數(shù)據(jù)挖掘形式比較合適。應(yīng)選擇符合數(shù)據(jù)的模型的算法，確定合適的模型和參數(shù)。只有選擇好正確的數(shù)據(jù)挖掘工具，才能真正發(fā)揮數(shù)據(jù)挖掘的作用，使企業(yè)在激烈的市場(chǎng)競(jìng)爭(zhēng)中做出正確的決策，保持有力的競(jìng)爭(zhēng)優(yōu)勢(shì)。