隨筆-35  評論-33  文章-0  trackbacks-0

                    HDFS和MapReduce是Hadoop的兩大核心,除此之外Hbase、Hive這兩個核心工具也隨著Hadoop發展變得越來越重要。今天我們只初步的看看HDFS.

                 HDFS的體系架構

          整個Hadoop的體系結構主要是通過HDFS來實現對分布式存儲的底層支持,并通過MR來實現對分布式并行任務處理的程序支持。



          圖中涉及三個角色:NameNode、DataNode、Client。NameNode是管理者,DataNode是文件存儲者、Client是需要獲取分布式文件系統的應用程序。

          作為JAVA開發者來說,spring 絕對是我們的最大福因。大家一定要看一下這里,hadoop 套餐。里面有對hdfs,mapreduce,hive,hbase的訪問封裝,個人覺得秉承了spring一貫的簡單實用風格,一定要贊一下。

          下面,我們結合實際的例子闡述一下使用方法:

          配置地址:



          hadoop數據源初始化:





          hdfs數據存儲對象定義



          文件對象寫入



          數據查詢與過濾



          最關鍵就是查詢,你可以RefinableView的條件組合,搜尋你所要的數據。



          語法理解:

          with:等于 

          from:大于等于

          fromafter:大于

          to:小于等于

          tobefore:小于

          小樣:demo



          我的微信公眾號,歡迎溝通學習。
          posted on 2017-07-24 10:35 alexcai 閱讀(667) 評論(0)  編輯  收藏

          只有注冊用戶登錄后才能發表評論。


          網站導航:
           
          主站蜘蛛池模板: 江西省| 泽州县| 剑阁县| 铁力市| 旌德县| 张家口市| 法库县| 三原县| 巴楚县| 牟定县| 民县| 兴义市| 闽侯县| 宜君县| 鄂托克前旗| 西乌珠穆沁旗| 开平市| 卫辉市| 赫章县| 双牌县| 温州市| 洛阳市| 博罗县| 沙坪坝区| 土默特右旗| 尚义县| 贞丰县| 濮阳县| 隆化县| 荥经县| 武宁县| 丰顺县| 岫岩| 美姑县| 静海县| 镇江市| 邓州市| 雷山县| 拉萨市| 花莲市| 上杭县|