云計(jì)算介紹
什么是云計(jì)算?- 網(wǎng)格計(jì)算(Grid Computing)
- 分布式計(jì)算(Grid Computing)
- 并行計(jì)算(Parallel Computing)
- 效用計(jì)算(Utility Computing)
- 網(wǎng)絡(luò)存儲(chǔ)(Network Storage Technologies)
- 虛擬化(Virtualization)
- 負(fù)載均衡(Load Balance)
- 基礎(chǔ)架構(gòu)即服務(wù)(IaaS):Amazon Simple Storage Service,通過Webservice API向外界提供存儲(chǔ)服務(wù),數(shù)據(jù)存到分布式的各個(gè)地方
- 平臺(tái)即服務(wù)(PaaS):Google App Engine,開發(fā)平臺(tái),寫一個(gè)JAVA程序部署到上面;Amazon Elastic Compute Clouding
- 軟件即服務(wù)(SaaS):Salesforce.com,提供在線的CRM,根據(jù)需要買帳號(hào),服務(wù)等,企業(yè)無須開發(fā)系統(tǒng);Google App,提供一整套的辦公系統(tǒng)
云計(jì)算給我們帶來了什么
- 小企業(yè):通過公有云降低成本,按需采購IT資源,以小撥大
- 中大企業(yè):通過私有云,提供全新的IT交付方式,高效可擴(kuò)展的系統(tǒng)
- 開發(fā)者:全新的開發(fā)模式,需要做一個(gè)轉(zhuǎn)換,即熟悉大規(guī)模并行運(yùn)算
- 分布式計(jì)算模型:MapReduce
- 分布式文件系統(tǒng):HDFS
- 分布式數(shù)據(jù)庫系統(tǒng):HIVE
高度可用性,高度可擴(kuò)展性
案例
- 金融數(shù)據(jù)收集分析系統(tǒng):以廉價(jià)的IT設(shè)備收集少量金融數(shù)據(jù),前端有各種模塊收集數(shù)據(jù)-->云計(jì)算模式進(jìn)行數(shù)據(jù)處理
-->保存到傳統(tǒng)數(shù)據(jù)庫-->用戶展現(xiàn)
- IT知識(shí)庫系統(tǒng):前端數(shù)據(jù)取模-->云計(jì)算模式進(jìn)行數(shù)據(jù)處理-->用戶查詢-->查詢API
著名的開源實(shí)現(xiàn):Hadoop
項(xiàng)目組成
- Pig
- Chukwa
- Hive
- MapReduce
- HDFS
- Zookeeper
- Core(核心部份,任務(wù)分配,調(diào)度)
- Avro(處理序列號(hào))

MapReduce模型
- 源數(shù)據(jù)(Map)-->中間數(shù)據(jù)(Reduce)-->結(jié)果數(shù)據(jù)
- 處理流程:客房端提交任務(wù)-->Master Node決定如何折分任務(wù)-->分到各節(jié)點(diǎn)
- 實(shí)現(xiàn):先啟動(dòng)Hadoop系統(tǒng)-->編寫客戶端程序-->使用Hadoop運(yùn)行客戶端程序
posted on 2012-02-29 17:59 paulwong 閱讀(232) 評(píng)論(0) 編輯 收藏 所屬分類: 云計(jì)算