云計算介紹
什么是云計算?- 網格計算(Grid Computing)
- 分布式計算(Grid Computing)
- 并行計算(Parallel Computing)
- 效用計算(Utility Computing)
- 網絡存儲(Network Storage Technologies)
- 虛擬化(Virtualization)
- 負載均衡(Load Balance)
- 基礎架構即服務(IaaS):Amazon Simple Storage Service,通過Webservice API向外界提供存儲服務,數據存到分布式的各個地方
- 平臺即服務(PaaS):Google App Engine,開發平臺,寫一個JAVA程序部署到上面;Amazon Elastic Compute Clouding
- 軟件即服務(SaaS):Salesforce.com,提供在線的CRM,根據需要買帳號,服務等,企業無須開發系統;Google App,提供一整套的辦公系統
云計算給我們帶來了什么
- 小企業:通過公有云降低成本,按需采購IT資源,以小撥大
- 中大企業:通過私有云,提供全新的IT交付方式,高效可擴展的系統
- 開發者:全新的開發模式,需要做一個轉換,即熟悉大規模并行運算
- 分布式計算模型:MapReduce
- 分布式文件系統:HDFS
- 分布式數據庫系統:HIVE
高度可用性,高度可擴展性
案例
- 金融數據收集分析系統:以廉價的IT設備收集少量金融數據,前端有各種模塊收集數據-->云計算模式進行數據處理
-->保存到傳統數據庫-->用戶展現
- IT知識庫系統:前端數據取模-->云計算模式進行數據處理-->用戶查詢-->查詢API
著名的開源實現:Hadoop
項目組成
- Pig
- Chukwa
- Hive
- MapReduce
- HDFS
- Zookeeper
- Core(核心部份,任務分配,調度)
- Avro(處理序列號)

MapReduce模型
- 源數據(Map)-->中間數據(Reduce)-->結果數據
- 處理流程:客房端提交任務-->Master Node決定如何折分任務-->分到各節點
- 實現:先啟動Hadoop系統-->編寫客戶端程序-->使用Hadoop運行客戶端程序
posted on 2012-02-29 17:59 paulwong 閱讀(232) 評論(0) 編輯 收藏 所屬分類: 云計算