云計(jì)算要點(diǎn)
云計(jì)算技術(shù)簡介 | 云計(jì)算技術(shù)概述,大數(shù)據(jù)時代來臨,Google云計(jì)算技術(shù),Amazon云計(jì)算技術(shù),微軟云計(jì)算技術(shù)等。 |
初始Hadoop | Hadoop的起源、解決的問題、 以及它的特點(diǎn)、應(yīng)用場景和發(fā)展趨勢,企業(yè)應(yīng)用情況,為什么使用,及其生態(tài)系統(tǒng)介紹。 |
Hadoop 單節(jié)點(diǎn)偽分布式安裝 |
Hadoop 1.0 版本 安裝環(huán)境搭建 |
Hadoop 架構(gòu) |
Hadoop 整體架構(gòu)設(shè)計(jì)及重要的概念 |
Hadoop HDFS 體系結(jié)構(gòu) |
1:HDFS 架構(gòu)設(shè)計(jì)目標(biāo),設(shè)計(jì)思想, 2:特點(diǎn),基本概念,容錯性。 3:HDFS 界面介紹 4:HDFS 服務(wù) |
Hadoop HDFS 命令行 |
Hadoop HDFS Shell 基本操作 |
HDFS Java API 使用 |
1:基于Eclipse開發(fā)環(huán)境搭建 2:Java API示范 :比如建立文件,刪除,移動復(fù)制等 |
Hadoop MapReduce 架構(gòu) 原理 |
1:MapReduce 架構(gòu)詳解 2:MapReduce 流程 3:MapReduce 特點(diǎn) 4:MapReduce 容錯性 5:MapReduce 服務(wù) |
Hadoop MapReduce api |
1:Mapper 2:Reducer 3:Driver |
Hadoop MapReduce 編程實(shí)踐 wordcount |
1:WordCount
程序編寫,演示 2:運(yùn)行MR Job 示例 |
高級MR 編程 |
1:RecordReader 2:Partitioner 3:Combiner |
Hadoop MapReduce IO |
1:數(shù)據(jù)完整性校驗(yàn) 2:壓縮,包括:LZO、GZIP、Snappy 3:序列化 4:基于文件的數(shù)據(jù)結(jié)構(gòu),包括:SequenceFile、MapFile |
調(diào)優(yōu) | 調(diào)優(yōu)經(jīng)驗(yàn)分享 |
課程中的HBase部分:
掌握HBase基本原理,應(yīng)用場景,掌握基本的編程技巧
章節(jié)課程 | 內(nèi)容描述 |
初始HBase | 1:NoSql
數(shù)據(jù)庫簡介. 2:HBase 簡介及與傳統(tǒng)關(guān)系數(shù)據(jù)庫的對比。 3:HBase 應(yīng)用場景,企業(yè)應(yīng)用情況,為什么使用。 4:HBase 特點(diǎn) |
HBase 環(huán)境搭建 |
HBase 環(huán)境搭建 |
HBase 體系結(jié)構(gòu) |
1:HBase架構(gòu) 2:HMaster、RegionServer、 Regoin 等概念 |
HBase 數(shù)據(jù)模型 |
1:表 2:Rowkey 3:Column Families |
HBase Shell 命令行 |
1:啟動HBase
Shell 2:建立表 3:訪問數(shù)據(jù)(添加,刪除,查詢) 4:練習(xí) |
HBase api 簡單編程介紹 |
1:基于Eclipse開發(fā)環(huán)境搭建 2:基本操作(建表,查詢數(shù)據(jù),刪除) 3:高級操作 (使用過濾器) 4:練習(xí) |
HBase row-key 設(shè)計(jì)及Scheme 設(shè)計(jì) |
經(jīng)驗(yàn)分享,設(shè)計(jì)原則 |
HBase coprocessor等高級特性介紹 |
1:coprocessor特性分析,使用場景; 2:HBase 優(yōu)化簡單原則 |
課程中的Hive部分:
掌握Hive基本原理,應(yīng)用場景,掌握基本的編程技巧
章節(jié)課程 | 內(nèi)容描述 |
初始Hive | 1:Hive簡介 2:為什么使用Hive 3:Hive 應(yīng)用場景,企業(yè)應(yīng)用情況 |
Hive 環(huán)境搭建 |
Hive 偽分布式環(huán)境搭建 |
Hive 體系結(jié)構(gòu) |
1:Hive主要的組件 2:用戶接口 3:概念 |
Hive QL |
1:Hive
類Sql 2:DDL 3:DML 4:Select 與連接查詢 |
Hive Java API |
1:搭建
Hive JDBC 開發(fā)環(huán)境 2:Hive JDBC 開發(fā)流程 |
Hive 用戶自定義函數(shù)簡單介紹 |
UDF和UADF |
課程中的分布式協(xié)調(diào)系統(tǒng)Zookeeper部分:
掌握Zookeeper基本原理,應(yīng)用場景,掌握基本的編程技巧
章節(jié)課程 | 內(nèi)容描述 |
初始Zookeeper | 1:什么是ZooKeeper 2:ZooKeeper特性 |
Zookeeper 體系結(jié)構(gòu) |
1:ZooKeeper體系結(jié)構(gòu) 2:ZooKeeper存儲結(jié)構(gòu) |
Zookeeper 選舉與鎖機(jī)制 |
1:Zookeeper
選舉機(jī)制 2:Zookeeper 選舉算法 3:Zookeeper 鎖機(jī)制 |
ZooKeeper CRUD API |
1:Create 2:Read 3:Update 4:Delete |
Zookeeper 應(yīng)用場景 | Zookeeper 應(yīng)用場景 |
posted on 2012-07-20 21:40 paulwong 閱讀(552) 評論(0) 編輯 收藏 所屬分類: HADOOP 、云計(jì)算