IT歷史上有很多曇花一現(xiàn)的名詞，網(wǎng)格計(jì)算、ASP等等，大數(shù)據(jù)是不是也是如此呢？可以肯定的說不是，數(shù)據(jù)是信息化的核心，過去幾十年買計(jì)算機(jī)、路由器、交換機(jī)，都是信息化外圍的事情，大數(shù)據(jù)時(shí)代的來臨，標(biāo)志人類真正進(jìn)入信息化的核心。大數(shù)據(jù)的核心是數(shù)據(jù)而不是大，業(yè)界常引用的4V中的2V，大和快都不是大數(shù)據(jù)的必要條件，從某種程度上說是以訛傳訛，大數(shù)據(jù)只是這個(gè)時(shí)代的數(shù)據(jù)的標(biāo)簽而已，大數(shù)據(jù)的核心思想是數(shù)據(jù)思維、數(shù)據(jù)決策、數(shù)據(jù)行動(dòng)。大數(shù)據(jù)就在你我身邊。各位分析師都愛買書吧，當(dāng)你在當(dāng)當(dāng)網(wǎng)上購(gòu)買《如何從商品期貨交易中獲利》的時(shí)候，當(dāng)當(dāng)同時(shí)向您推薦推薦鼠標(biāo)、路由器等似乎與書風(fēng)馬牛不相及，其實(shí)他就是根據(jù)你的瀏覽行為、購(gòu)物習(xí)慣、購(gòu)物愛好、其他人購(gòu)物方式等構(gòu)建的一套大數(shù)據(jù)推薦系統(tǒng)，當(dāng)當(dāng)測(cè)試的結(jié)果是利用這套大數(shù)據(jù)推薦系統(tǒng)能增加10%的銷售。當(dāng)你看書累時(shí)玩會(huì)極品飛車的時(shí)候，游戲開發(fā)商和運(yùn)營(yíng)商會(huì)根據(jù)你的操作動(dòng)作，不斷改進(jìn)游戲，促進(jìn)你從一個(gè)海豚性網(wǎng)絡(luò)游戲玩家，變成一個(gè)鯊魚型網(wǎng)絡(luò)游戲玩家。各位大部分是乘飛機(jī)來的吧，飛機(jī)更是與大數(shù)據(jù)息息相關(guān)，也就是所謂的工業(yè)互聯(lián)網(wǎng)概念，南航波音787每飛一趟來回產(chǎn)生的數(shù)據(jù)就是幾個(gè)TB，A380每30分鐘就產(chǎn)生10TB的數(shù)據(jù)，這些數(shù)據(jù)對(duì)于維修和運(yùn)營(yíng)至關(guān)重要。
我們目前處在信息爆炸的時(shí)代，數(shù)據(jù)摩爾定律顯示，人類數(shù)據(jù)信息每年翻翻。數(shù)據(jù)快速增長(zhǎng)與存儲(chǔ)成本持續(xù)下降、帶寬持續(xù)增加密切相關(guān)，即使現(xiàn)在，火力發(fā)電設(shè)備的數(shù)據(jù)、汽車發(fā)動(dòng)機(jī)運(yùn)行的數(shù)據(jù)等等已經(jīng)產(chǎn)生出來、可以存儲(chǔ)的數(shù)據(jù)因?yàn)槌杀締栴}還是被大量拋棄了。人們對(duì)本可以被量化的數(shù)據(jù)利用率尚不到1%，大數(shù)據(jù)無論從規(guī)模還是利用程度都有很大的利用空間，不要說這些貧礦數(shù)據(jù)，即使金融、電信的富礦數(shù)據(jù)，各企業(yè)的應(yīng)用也非常有限。
互聯(lián)網(wǎng)是大數(shù)據(jù)的活化劑。數(shù)據(jù)多還不夠，更重要的是數(shù)據(jù)要流動(dòng)起來，也就是數(shù)據(jù)要有活性。過去半個(gè)世紀(jì)的IT歷史表明，當(dāng)互聯(lián)網(wǎng)來的時(shí)候，IT產(chǎn)業(yè)才煥發(fā)青春。2012年，美國(guó)國(guó)家科學(xué)院（United States National Academy of Sciences, NAS）對(duì)IT歷史的研究表明，移動(dòng)通信、微處理器、PC、互聯(lián)網(wǎng)、企業(yè)IT系統(tǒng)和個(gè)人娛樂等多個(gè)領(lǐng)域盡管早在20世紀(jì)80年代前后便已形成產(chǎn)業(yè)化，但形成100億美元規(guī)模產(chǎn)業(yè)卻基本都是在1995年互聯(lián)網(wǎng)爆發(fā)之后。微處理器在1980年開始批量進(jìn)入市場(chǎng)，在1986年左右形成10億美元產(chǎn)業(yè)，在1995年形成100億美元規(guī)模產(chǎn)業(yè)；PC雖然在1983年便已形成10億美元規(guī)模，但在1998才達(dá)到100億美元；企業(yè)IT系統(tǒng)在1982年產(chǎn)業(yè)化，在1990年才形成10億美元產(chǎn)業(yè)，1997年突破100億美元；個(gè)人娛樂更是早在1970年便已產(chǎn)業(yè)化，在1977年就形成10億美元產(chǎn)業(yè)，但在2004年才達(dá)到100 億美元。
云計(jì)算大家都感覺暈，不知所云。很簡(jiǎn)單你把他理解成計(jì)算電廠好了，與電廠不同的是，電廠輸送的是同質(zhì)電子，而云計(jì)算電廠傳輸?shù)氖钱愘|(zhì)比特。云計(jì)算天生為消費(fèi)IT而生，企業(yè)IT只不過是被動(dòng)適應(yīng)罷了，但這個(gè)適應(yīng)需要個(gè)長(zhǎng)期過程，系統(tǒng)遷移有成本、有風(fēng)險(xiǎn)，這也是目前云計(jì)算叫好不叫座的原因。云計(jì)算為大數(shù)據(jù)提供了價(jià)格低廉、不竭的動(dòng)力。
管理流程數(shù)字化是企業(yè)信息化的IT1.0階段，簡(jiǎn)稱企業(yè)IT1.0，核心是（管理）流程驅(qū)動(dòng)。
生產(chǎn)和產(chǎn)品數(shù)字化是企業(yè)信息化的IT2.0階段，簡(jiǎn)稱企業(yè)IT2.0，企業(yè)IT2.0的核心是數(shù)據(jù)驅(qū)動(dòng)，數(shù)據(jù)不僅是企業(yè)的戰(zhàn)略資產(chǎn)，更是一種關(guān)鍵的生產(chǎn)要素。企業(yè)IT2.0時(shí)代，通過比特與原子的融合，工業(yè)產(chǎn)品成為高度數(shù)字化、網(wǎng)絡(luò)化、智能化的產(chǎn)品，也就是所謂的軟件定義世界（SDX），不僅僅是IT產(chǎn)品，如加了操作系統(tǒng)的路由器、更加富有業(yè)務(wù)彈性SDN等，更包括傳統(tǒng)的工業(yè)產(chǎn)品，如耐克的鞋子、谷歌的眼鏡、特斯拉的汽車、谷歌的無人駕駛汽車等。產(chǎn)品數(shù)字化之后，產(chǎn)品從設(shè)計(jì)、生產(chǎn)、運(yùn)營(yíng)到服務(wù)全生命周期均可得以量化，并向生產(chǎn)者和使用者反饋大量的數(shù)據(jù)，進(jìn)而對(duì)產(chǎn)品和使用者提供更好的服務(wù)、優(yōu)化和再設(shè)計(jì)，形成反饋經(jīng)濟(jì)，衍生出制造業(yè)服務(wù)等新業(yè)態(tài)和新模式。
產(chǎn)品的數(shù)字化進(jìn)程也在不斷深化。1993年，奧迪A8僅使用5個(gè)ECU，而到了2010年，奧迪A8使用的ECU數(shù)量超過100個(gè)。目前歐美主流家庭轎車中，集成電路的價(jià)值超過300歐元，而且比例還在不斷上升，汽車中70%的創(chuàng)新來自IT。
數(shù)據(jù)是人類活動(dòng)在網(wǎng)絡(luò)空間的映射，蘊(yùn)含人類生產(chǎn)、生活的規(guī)律，挖掘數(shù)據(jù)潛在價(jià)值，對(duì)國(guó)家治理、社會(huì)管理、企業(yè)決策和個(gè)人生活影響深遠(yuǎn)。世界經(jīng)濟(jì)論壇的報(bào)告認(rèn)為大數(shù)據(jù)為新財(cái)富，價(jià)值堪比石油；商業(yè)版圖由此被重新劃定，通曉如何利用這些數(shù)據(jù)的企業(yè)將成為最強(qiáng)者。
隨著互聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)和物聯(lián)網(wǎng)的廣泛而深入地應(yīng)用，人類活動(dòng)的蹤跡加快在網(wǎng)絡(luò)空間的映射，網(wǎng)絡(luò)瀏覽、行車軌跡、購(gòu)物行為等等均留下數(shù)據(jù)記錄。
大數(shù)據(jù)在消費(fèi)IT領(lǐng)域的作用更加明顯。只要你用PC上網(wǎng)或手機(jī)瀏覽信息，你便在網(wǎng)絡(luò)上處處留照了，性別、年齡、愛好、蹤跡、信用等等便被大數(shù)據(jù)刻畫的一覽無余，恭喜你已經(jīng)成為數(shù)字透明人了！可能你都不知道自己下一步要干什么，產(chǎn)品經(jīng)銷商借助搜索引擎、電子商務(wù)平臺(tái)、旅游網(wǎng)站的數(shù)據(jù)根據(jù)你的瀏覽行為已經(jīng)在為你張羅生日、餐飲、旅游、結(jié)婚、生子、購(gòu)房、購(gòu)車了，特價(jià)機(jī)票、婚紗、尿不濕、奶粉、海景房等廣告已經(jīng)為你編排好了。
受益于網(wǎng)絡(luò)畫像運(yùn)動(dòng)，精準(zhǔn)營(yíng)銷成為目前大數(shù)據(jù)應(yīng)用的經(jīng)典應(yīng)用領(lǐng)域。2012年，北京大悅城在商場(chǎng)的不同位置安裝了將近200個(gè)客流監(jiān)控設(shè)備，并通過Wi-Fi站點(diǎn)的登錄情況獲知客戶的到店頻率，通過與會(huì)員卡關(guān)聯(lián)的優(yōu)惠券得知受消費(fèi)者歡迎的優(yōu)惠產(chǎn)品。大悅城根據(jù)超過100萬條會(huì)員刷卡數(shù)據(jù)的購(gòu)物籃清單，將喜好不同品類不同品牌的會(huì)員進(jìn)行分類，將會(huì)員喜好的個(gè)性化品牌促銷信息精準(zhǔn)地進(jìn)行通知。通過一系列的數(shù)據(jù)為決策基礎(chǔ)的營(yíng)銷策劃，店慶當(dāng)日銷售集中爆發(fā)，比歷史前高增長(zhǎng)142%，銷售額達(dá)到了1715萬元。
利用用戶和設(shè)備反饋的數(shù)據(jù)信息，售后服務(wù)人員 做到有的放矢，從而大幅提高服務(wù)能力和服務(wù)水平。日本小松利用通過安裝在工程機(jī)械設(shè)備上的KOMTRAX系統(tǒng)，對(duì)工程機(jī)械設(shè)備當(dāng)前所處位置、工作時(shí)間、工作狀況、燃油余量、耗材更換時(shí)間等數(shù)據(jù)進(jìn)行收集，從而有效進(jìn)行維修保養(yǎng)和售后服務(wù)。工程機(jī)械裝備安裝KOMTRAX 系統(tǒng)后服務(wù)成本下降60%、索賠投訴下降50%。
工業(yè)時(shí)代生產(chǎn)商和經(jīng)銷商以售出產(chǎn)品為己任，希望賣出產(chǎn)品后顧客不再打電話，除非是第二次購(gòu)買，因?yàn)闊┤说氖酆蠓?wù)。數(shù)據(jù)為制造業(yè)賦予了新的含義，設(shè)備運(yùn)行的數(shù)據(jù)蘊(yùn)含財(cái)富，以數(shù)據(jù)為基礎(chǔ)的服務(wù)成為制造業(yè)的新的金礦。豐田公司監(jiān)控售出并行使在道路上汽車的實(shí)時(shí)交通信息，提供針對(duì)本地政府和企業(yè)的大數(shù)據(jù)服務(wù)，并在災(zāi)難發(fā)生的時(shí)候?qū)︸{駛員起到幫助作用，這項(xiàng)服務(wù)的費(fèi)用是每月200000日元。通過每年千元左右的信息套餐服務(wù)費(fèi)，安吉星能夠?yàn)槠囉脩籼峁┡鲎沧詣?dòng)求助、安全氣囊爆開自動(dòng)求助、車門遠(yuǎn)程應(yīng)急開啟、被盜車輛定位、車況檢測(cè)報(bào)告以及實(shí)時(shí)按需檢測(cè)等服務(wù)。
福特、寶馬、通用汽車都在積極發(fā)展車聯(lián)網(wǎng)服務(wù)，尋找新的業(yè)務(wù)增長(zhǎng)點(diǎn)。國(guó)內(nèi)的福田汽車專門成立福田智科信息技術(shù)服務(wù)公司，開發(fā)iFoton系統(tǒng)，為卡車、客車和工程機(jī)械的全生命周期管理和物流車隊(duì)管理提供車聯(lián)網(wǎng)服務(wù)。
目前，大數(shù)據(jù)已經(jīng)在各行各業(yè)展開應(yīng)用，成效顯著。美國(guó)通用電氣公司通過每秒分析上萬個(gè)數(shù)據(jù)點(diǎn)，融合能量?jī)?chǔ)存和先進(jìn)的預(yù)測(cè)算法，開發(fā)新型風(fēng)機(jī)，效率與電力輸出分別比現(xiàn)行風(fēng)機(jī)提高了25%和15%。UPS通過行車整合優(yōu)化和導(dǎo)航系統(tǒng)（On-Road Integrated Optimization and Navigation，ORION），利用安裝在上千輛運(yùn)輸車輛上的傳感器不斷發(fā)回的數(shù)據(jù)流來優(yōu)化線路，UPS公司運(yùn)輸路線縮短了530萬公里，引擎閑置時(shí)間減少了1000萬分鐘，節(jié)省了65萬加侖的油，碳排放量減少了6500多公噸。
互聯(lián)網(wǎng)征信同樣繼承互聯(lián)網(wǎng)金融“開放、分享、民主、個(gè)性化與分布式合作”的精神?；ヂ?lián)網(wǎng)征信開放性，使征信不受時(shí)間和地域限制，能滿足任何人在任何時(shí)間任何地點(diǎn)提出的征信需求；互聯(lián)網(wǎng)征信分享性，使得信用數(shù)據(jù)不再只局限某一機(jī)構(gòu)或個(gè)人，任何人均可通過確定的途徑獲得其他機(jī)構(gòu)或個(gè)人收集的信用數(shù)據(jù)；互聯(lián)網(wǎng)征信民主性，使得任何人均可以對(duì)互聯(lián)網(wǎng)征信系統(tǒng)、征信方法提出自己的意見，并促進(jìn)系統(tǒng)不斷進(jìn)步；互聯(lián)網(wǎng)征信個(gè)性化，能夠滿足征信需求者任何個(gè)性化的征信需求；互聯(lián)網(wǎng)征信分布式合作，使得征信需求者、供給者及中間征信機(jī)構(gòu)緊密合作，征信需求者也是征信供給者，中間征信機(jī)構(gòu)負(fù)責(zé)收集分享、數(shù)據(jù)挖掘、生成征信產(chǎn)品，從而提高征信效率并降低征信成本。
Climate公司的平臺(tái)匯總了250萬個(gè)地點(diǎn)的氣象測(cè)量數(shù)據(jù)和各個(gè)主要?dú)夂蚰Ｐ偷奶鞖忸A(yù)報(bào)，同時(shí)綜合1500億個(gè)土壤觀測(cè)記錄，對(duì)這些數(shù)據(jù)進(jìn)行處理，生成出10萬億個(gè)天氣模擬數(shù)據(jù)點(diǎn)，這就要求Climate公司的平臺(tái)必須在任何給定的時(shí)間下都能管理50TB的實(shí)時(shí)數(shù)據(jù)。不用說，Climate公司給競(jìng)爭(zhēng)對(duì)手制造了令人生畏的進(jìn)入壁壘。”
Bloomberg Venture發(fā)布了大數(shù)據(jù)產(chǎn)業(yè)地圖2.0版本，其中將數(shù)百個(gè)大數(shù)據(jù)創(chuàng)業(yè)公司和IT廠商根據(jù)產(chǎn)品和商業(yè)模式劃分為38種，這有助于我們更好地梳理和了解大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展現(xiàn)狀和市場(chǎng)熱點(diǎn)。
從圖中可以看出，大數(shù)據(jù)產(chǎn)業(yè)可劃分為六大類，共38種產(chǎn)品/商業(yè)模式：
1. 大數(shù)據(jù)基礎(chǔ)設(shè)施類（NoSQL數(shù)據(jù)庫、Hadoop相關(guān)產(chǎn)品、NewSQL數(shù)據(jù)庫、MPP受苦、管理監(jiān)控等）
2.大數(shù)據(jù)分析類（分析解決方案、數(shù)據(jù)可視化、統(tǒng)計(jì)計(jì)算、社交媒體、輿情分析、分析服務(wù)、IT分析等）
3.大數(shù)據(jù)應(yīng)用類（廣告優(yōu)化、出版工具、市場(chǎng)營(yíng)銷、行業(yè)應(yīng)用、大數(shù)據(jù)應(yīng)用服務(wù)提供商）
4.大數(shù)據(jù)數(shù)據(jù)源類（數(shù)據(jù)市場(chǎng)、數(shù)據(jù)源）
5.跨基礎(chǔ)設(shè)施分析（主要為傳統(tǒng)IT巨頭業(yè)務(wù)延伸）
6.開源項(xiàng)目（框架、查詢/數(shù)據(jù)流、數(shù)據(jù)訪問、協(xié)作/工作流、實(shí)時(shí)、統(tǒng)計(jì)工具、機(jī)器學(xué)習(xí)、云部署）