�??xml version="1.0" encoding="utf-8" standalone="yes"?><rss version="2.0" xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:trackback="http://madskills.com/public/xml/rss/module/trackback/" xmlns:wfw="http://wellformedweb.org/CommentAPI/" xmlns:slash="http://purl.org/rss/1.0/modules/slash/"><channel><title>&#19981;&#21345;&#31934;&#21697;&#35270;&#39057;&#44;&#32508;&#21512;&#20037;&#20037;&#20037;&#20037;&#20037;&#20037;&#44;&#57;&#57;&#31934;&#21697;&#30005;&#24433;</title><link>http://www.aygfsteel.com/ArcticOcean/archive/2010/08/03/327836.html</link><dc:creator>Cool Jazz</dc:creator><author>Cool Jazz</author><pubDate>Tue, 03 Aug 2010 09:03:00 GMT</pubDate><guid>http://www.aygfsteel.com/ArcticOcean/archive/2010/08/03/327836.html</guid><wfw:comment>http://www.aygfsteel.com/ArcticOcean/comments/327836.html</wfw:comment><comments>http://www.aygfsteel.com/ArcticOcean/archive/2010/08/03/327836.html#Feedback</comments><slash:comments>0</slash:comments><wfw:commentRss>http://www.aygfsteel.com/ArcticOcean/comments/commentRss/327836.html</wfw:commentRss><trackback:ping>http://www.aygfsteel.com/ArcticOcean/services/trackbacks/327836.html</trackback:ping><description><![CDATA[&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 本文大部分内定w��是从官网<a title="Hadoop" ><span style="font-size: 14pt">Hadoop</span></a><span style="font-size: 14pt">上�{来的。其中有��?/span><a title="介绍HDFS的pdf文档" ><span style="font-size: 14pt">介绍HDFS的pdf文档</span></a><span style="font-size: 14pt">�Q�对Hadoop介绍的比较全面�?br />
</span><span style="font-size: 14pt">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 先说一下Hadoop的来龙去脉。谈到Hadoop��׃��得不提到</span><a title="Lucene" ><span style="font-size: 14pt">Lucene</span></a><span style="font-size: 14pt">�?/span><a title="Nutch" ><span style="font-size: 14pt">Nutch</span></a><span style="font-size: 14pt">。首先，<span style="color: rgb(0,0,255)">Lucene�q�不是一个应用程序，而是提供了一个纯Java的高性能全文索引引擎工具�?/span>�Q�它可以方便的嵌入到各种实际应用中实现全文搜�?索引功能�?span style="color: rgb(0,0,255)">Nutch是一个应用程序，是一个以Lucene为基���实现的搜索引擎应�?/span>�Q�Lucene 为Nutch提供了文本搜索和索引的API�Q�Nutch不光有搜索的功能�Q�还有数据抓取的功能。在nutch0.8.0版本之前�Q�Hadoop�q�属�?Nutch的一部分�Q�而从nutch0.8.0开始，���其中实现的NDFS和MapReduce剥离出来成立一个新的开源项目，�q�就是Hadoop�Q��?nutch0.8.0版本较之以前的Nutch在架构上有了�Ҏ(gu��)��性的变化�Q�那���是完全构徏在Hadoop的基���之上了。在Hadoop中实��C�� Google的GFS和MapReduce���法�Q���Hadoop成�ؓ(f��)了一个分布式的计�����^台�?br />
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Hadoop�q�不仅仅是一个用于存储的分布式文件系�l�，而是设计用来在由通用计算讑֤��l�成的大型集���上执行分布式应用的框架�?br />
<br />
&nbsp;&nbsp;&nbsp;<span style="color: rgb(0,0,255)">Hadoop包含两个部分�Q?/span><br />
<br />
&nbsp;&nbsp;&nbsp;<strong>1、HDFS<br />
</strong><br />
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;即Hadoop Distributed File System (Hadoop分布式文件系�l?<br />
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;HDFS ��h��高容错性，�q�且可以被部�|�在低�h(hu��n)的硬件设备之上。HDFS很适合那些有大数据集的应用�Q��ƈ且提供了�Ҏ(gu��)��据读写的高吞吐率。HDFS是一�?master/slave的结构，���通常的部�|�来��_(d��)��在master上只�q�行一个Namenode�Q�而在每一个slave上运行一个Datanode�?br />
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;HDFS 支持传统的层�ơ文件组�l�结构，同现有的一些文件系�l�在操作上很�c�M���Q�比如你可以创徏和删除一个文�Ӟ��把一个文件从一个目录移到另一个目录，重命名等�{�操 作。Namenode���理着整个分布式文件系�l�，�Ҏ(gu��)��件系�l�的操作�Q�如建立、删除文件和文�g夹）都是通过Namenode来控制�?nbsp;<br />
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;下面是HDFS的结构：(x��)</span><br />
<div align="center">
<div align="center"><img style="width: 748px; height: 561px" height="561" alt="" src="http://www.cnblogs.com/images/cnblogs_com/wayne1017/HDFSArch.JPG" width="748" border="0" /></div>
</div>
<br />
<span style="font-size: 14pt">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;从上面的图中可以�?出，Namenode�Q�Datanode�Q�Client之间的通信都是建立在TCP/IP的基���之上的。当Client要执行一个写入的操作的时候，命��o(h��) 不是马上���发送到Namenode�Q�Client首先在本��Z��临时文�g夹中�~�存�q�些数据�Q�当临时文�g夹中的数据块辑ֈ�了设定的Block的��|��默认�?64M�Q�时�Q�Client便会(x��)通知Namenode�Q�Namenode便响应Client的RPC��h���Q�将文�g名插入文件系�l�层�ơ中�q�且�?Datanode中找��C��块存放该数据的block�Q�同时将该Datanode�?qi��ng)对应的数据块信息告诉Client�Q�Client便这些本��C��(f��)时文件夹�?的数据块写入指定的数据节炏V�?br />
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;HDFS采取了副本策略，其目的是��Z��提高�pȝ��的可靠性，可用性。HDFS的副本放�|�策略是三个副本�Q?一个放在本节点上，一个放在同一机架中的另一个节点上�Q�还有一个副本放在另一个不同的机架中的一个节点上。当前版本的hadoop0.12.0中还没有�?玎ͼ�但是正在�q�行中，�怿�不久���可以出来了�?br />
<br />
&nbsp;&nbsp;&nbsp;<strong>2、MapReduce的实�?br />
</strong><br />
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</span><a title="MapReduce" ><span style="font-size: 14pt">MapReduce</span></a><span style="font-size: 14pt">是Google 的一��w��要技术，它是一个编�E�模型，用以�q�行大数据量的计���。对于大数据量的计算�Q�通常采用的处理手法就是�ƈ行计���。至���现阶段而言�Q�对许多开发�h员来 ��_(d��)���q�行计算�q�是一个比较遥�q�的东西。MapReduce���是一�U�简化�ƈ行计���的�~�程模型�Q�它让那些没有多����ƈ行计���经验的开发�h员也可以开发�ƈ行应用�?br />
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;MapReduce的名字源于这个模型中的两��Ҏ(gu��)��心操作：(x��)Map�?Reduce。也许熟�(zh��n)�Functional Programming�Q?/span><a title="函数式编�E? ><span style="font-size: 14pt">函数式编�E?/span></a><span style="font-size: 14pt">�Q?的�h见到�q�两个词�?x��)倍感亲切。简单的说来�Q�Map是把一�l�数据一对一的映����ؓ(f��)另外的一�l�数据，其映���的规则�׃��个函数来指定�Q�比如对[1, 2, 3, 4]�q�行�?的映���就变成了[2, 4, 6, 8]。Reduce是对一�l�数据进行归�U�，�q�个归约的规则由一个函数指定，比如对[1, 2, 3, 4]�q�行求和的归�U�得到结果是10�Q�而对它进行求�U�的归约�l�果�?4�?br />
<br />
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;关于MapReduce的内容，�����看看孟岩的这��?/span><a title="MapReduce:The free lunch is not over!" ><span style="font-size: 14pt">MapReduce:The Free Lunch Is Not Over!</span></a>&nbsp;�q�篇���是介绍的比较详�l�的。MapReduce的算法内容见Google文档�Q?a title="MapReduce.pdf" >MapReduce.pdf</a><br />
<br />
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 有关其它介绍Hadoop的文章徏议看下：(x��)<a  rel="permalink">分布式计���开源框架Hadoop介绍</a>&nbsp;。（what�Q�why�Q�how提的不错�Q?br />
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<br />
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 安装配置可以看：(x��)1�?a  rel="permalink">Hadoop中的集群配置和��用技�?/a><br />
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 2�?a >Hadoop应用之Hadoop安装��?/a><br />
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 3�?a title="Hadoop安装部��v指南" >Hadoop安装部��v指南</a><br />
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 如果要开发的话，初步参考：(x��)<a  rel="permalink">Hadoop基本���程与应用开�?/a><br />
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<br />
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 其中用到数据库的部分�Q�在Hadoop�?.19.0开始支撑数据库讉K���Q�主要采用DBInputFormat来访问数据库。文章可见：(x��)<a >Hadoop中的数据库访�?/a><br />
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
 <img src ="http://www.aygfsteel.com/ArcticOcean/aggbug/327836.html" width = "1" height = "1" /><br><br><div align=right><a style="text-decoration:none;" href="http://www.aygfsteel.com/ArcticOcean/" target="_blank">Cool Jazz</a> 2010-08-03 17:03 <a href="http://www.aygfsteel.com/ArcticOcean/archive/2010/08/03/327836.html#Feedback" target="_blank" style="text-decoration:none;">发表评论</a></div>]]></description></item></channel></rss>                                                 <footer>
<div class="friendship-link">
<a href="http://www.aygfsteel.com/" title="&#29408;&#29408;&#20037;&#20037;&#20122;&#27954;&#27431;&#32654;&#19987;&#21306;&#95;&#20013;&#25991;&#23383;&#24149;&#20122;&#27954;&#32508;&#21512;&#20037;&#20037;&#50;&#48;&#50;&#95;&#22269;&#20135;&#31934;&#21697;&#20122;&#27954;&#31532;&#20116;&#21306;&#22312;&#32447;&#95;&#26085;&#26412;&#20813;&#36153;&#32593;&#31449;&#35270;&#39057;">&#29408;&#29408;&#20037;&#20037;&#20122;&#27954;&#27431;&#32654;&#19987;&#21306;&#95;&#20013;&#25991;&#23383;&#24149;&#20122;&#27954;&#32508;&#21512;&#20037;&#20037;&#50;&#48;&#50;&#95;&#22269;&#20135;&#31934;&#21697;&#20122;&#27954;&#31532;&#20116;&#21306;&#22312;&#32447;&#95;&#26085;&#26412;&#20813;&#36153;&#32593;&#31449;&#35270;&#39057;</a>

</div>

</footer>


��վ֩���ģ�壺
<a href="http://" target="_blank">������</a>|
<a href="http://" target="_blank">������</a>|
<a href="http://" target="_blank">�쳤��</a>|
<a href="http://" target="_blank">��������</a>|
<a href="http://" target="_blank">������</a>|
<a href="http://" target="_blank">������</a>|
<a href="http://" target="_blank">������</a>|
<a href="http://" target="_blank">��Ϫ��</a>|
<a href="http://" target="_blank">��ɽ��</a>|
<a href="http://" target="_blank">ˮ����</a>|
<a href="http://" target="_blank">������</a>|
<a href="http://" target="_blank">������</a>|
<a href="http://" target="_blank">�����</a>|
<a href="http://" target="_blank">�ű���</a>|
<a href="http://" target="_blank">������</a>|
<a href="http://" target="_blank">������</a>|
<a href="http://" target="_blank">������</a>|
<a href="http://" target="_blank">ƽ����</a>|
<a href="http://" target="_blank">ͨ����</a>|
<a href="http://" target="_blank">�����</a>|
<a href="http://" target="_blank">������</a>|
<a href="http://" target="_blank">������</a>|
<a href="http://" target="_blank">�鱦��</a>|
<a href="http://" target="_blank">׿����</a>|
<a href="http://" target="_blank">����</a>|
<a href="http://" target="_blank">������</a>|
<a href="http://" target="_blank">������</a>|
<a href="http://" target="_blank">«ɽ��</a>|
<a href="http://" target="_blank">�ͳ���</a>|
<a href="http://" target="_blank">������</a>|
<a href="http://" target="_blank">�ˮ��</a>|
<a href="http://" target="_blank">��կ��</a>|
<a href="http://" target="_blank">������</a>|
<a href="http://" target="_blank">��Ϫ��</a>|
<a href="http://" target="_blank">������</a>|
<a href="http://" target="_blank">������</a>|
<a href="http://" target="_blank">��ɽ��</a>|
<a href="http://" target="_blank">������</a>|
<a href="http://" target="_blank">�ں���</a>|
<a href="http://" target="_blank">������</a>|
<a href="http://" target="_blank">������</a>|
<script>
(function(){
    var bp = document.createElement('script');
    var curProtocol = window.location.protocol.split(':')[0];
    if (curProtocol === 'https') {
        bp.src = 'https://zz.bdstatic.com/linksubmit/push.js';
    }
    else {
        bp.src = 'http://push.zhanzhang.baidu.com/push.js';
    }
    var s = document.getElementsByTagName("script")[0];
    s.parentNode.insertBefore(bp, s);
})();
</script>
</body>