使用hadoop的shell命令進行hdfs的操作十分不方便,最好的辦法當然是將hdfs映射為本地文件系統. 而通過實現WebDav Http協議, ?結合WebDav的眾多客戶端,可以將hdfs映射為windows或是linux的本地文件系統.而使用api存儲文件時,也將對應用透明,如使用本地文件系統一樣使用hdfs. 這個特性hadoop也正在開發之中,還未完成,jira 地址: https://issues.apache.org/jira/browse/HADOOP-496

?

2.項目介紹

本項目是一個hadoop namenode server的webdav協議訪問代理,實現 client => hdfs-webdav proxy => hadoop namenode server的中間層. 項目修改自tomcat的WebdavServlet,實現了WebDAV level 2協議.

---

3.war部署

修改配置

修改hdfs-webdav.war里面的WEB-INF/classes/hadoop-site.xml

修改fs.default.name屬性,以確定hdfs-webdav要連接的hadoop NameNode Server,示例:

<property>
   <name>fs.default.name</name>
   <value>hdfs://192.168.52.129:9000/</value>
   <description>namenode</description>
</property>

替換hadoop-xxxx-core.jar版本

由于hadoop有自己的rpc遠程調用實現,并且各個版本間可能不兼容(0.17.x與0.18.x之間就不兼容),所以需要將WEB-INF/lib/hadoop-xxxx-core.jar的版本與NameNode Server的版本一致.現war自帶的是hadoop-0.18.1-core.jar的版本

部署至tomcat

以上修改完,將war包部署至tomcat或是jboss中,部署在其它服務器中時需要tomcat的catalina.jar與tomcat-coyote.jar,拷貝至WEB-INF/lib目錄,因為現在項目是從tomcat的WebdavServlet中修改而來的

測試是否部署成功

訪問http://localhost:8080/hdfs-webdav

---

4.webdav客戶端訪問

實現webdav的hdfs可以映射為windows或是linux本地文件夾.

window網上鄰居訪問

打開“網上鄰居”，添加網上鄰居，在“請鍵入網上鄰居的位置”中輸入 Web 文件夾的 URL.

http://localhost:8080/hdfs-webdav

然后按照向導的提示繼續下一步就可以了.

Linux mount WebDav為本地文件系統

linux下相要mount WebDAV server為本地文件系統,必須要使用davfs2,項目網址:http://dav.sourceforge.net/

安裝davfs2請使用編譯安裝

davfs2編譯時依賴于neon,neon是一個WebDAV client library. neon網址http://www.webdav.org/neon/

dsvfs2在mount時會使用fuse或是coda這兩個文件系統,其中一個文件系統linux一般都有自帶,davfs2在mount時會首先嘗試使用fuse,失敗時再使用coda

但在CentOs中使用coda時發生如下錯誤,所以后面安裝fuse, fuse網址http://fuse.sourceforge.net/

/sbin/mount.davfs: no free coda device to mount
/sbin/mount.davfs: trying fuse kernel file system
/sbin/mount.davfs: can't open fuse device

neon,davfs2,fuse編譯安裝: 項目的linux_mount_lib目錄已經自帶了這三個包

1.運行./configure
2.運行make
3.運行make install

運行davfs2的mount命令

在mount之前,davfs2需要創建davfs2用戶及用戶組

[root@datacenter5 usr]# mkdir /data/hdfs
[root@datacenter5 usr]# groupadd davfs2
[root@datacenter5 usr]# useradd -g davfs2 davfs2
[root@datacenter5 usr]# mount.davfs http://192.168.55.104:8080/hdfs-webdav /data/hdfs

項目下載: http://hdfs-webdav.googlecode.com/files/hdfs-webdav.war

或是至項目網站下載: http://code.google.com/p/hdfs-webdav/downloads/list