Ric Dong — Thu, 22 Dec 2011 02:17:00 GMT

数据分布倾斜性指的是数据分布�q�度集中于数据空间的某端�Q�造成“头重脚轻”或�?#8220;比萨斜塔”�{�不均匀的分布特炏V��数据分布倾斜性将造成�q�算效率上的“瓉��”和数据分析结果的“以偏概全”�?/span>

效率上的“瓉��”

假如在大型商��Z��Q�共�?/span>A,B1,B2…..B9十家店铺�Q�其�?/span>A店铺中有99W商品�Q?/span>B1,B2….B9�q�九家店铺分别有1W商品。我们要�l�计商场中商品��L��Q�计��初�Q�采�?/span>HASHMAP作�ؓ存储�l�构�Q�其�?/span>Key�Q�店�?/span> Value�Q�商品。我们的计算�q�程是先�l�计每个店铺的商品��L��Q�最后将�l�果累加。可以发玎ͼ��׃��A�?/span>99W商品�Q�按�?/span>1+1的篏�U�方式（假如1+1耗时1�U�）�Q�我们要�?/span>99W�?/span>1才能得到A店铺的商品��L��Q�总耗时99W�U�）�Q��?/span>B1,B2….B9只需分别累加1W�?/span>1�Q�分别耗时1W�U�）�Q�而�ؓ了得到商��Z��的商品��L��Q�我们必��ȝ��待所有店铺都分别累计�l�束才能处理��d��Q�显而易见，此时�q�算瓉��侉K��中在A店铺的商品篏计上�?/span>

�q�类状况�l�常发生在分布式�q�算�q�程中，比如Hadoop Job计算�Q�因�?/span>map/reduce �q�程中是�?/span>Key-value形式来处理数据，假如�?/span>key下的数据量太大，会导致整个计��过�E�中move/shuffle/sort的耗时�q�远高于其他key�Q�因此该Key变成为效�?#8220;瓉��”。一般解军_��法是�Q�自定义partitioner�Q�对所有的Value�q�行自定义分�l�，使得每组的量较��^均，从而解��x��间瓶颈问题�?/span>

数据分析�l�果�?#8220;以偏概全”

同样使用上述�?#8220;商场”案例�Q��ƈ且在此基��上我们假�?/span>A店铺,B9店铺是卖低端商品�Q��?/span>B1,B2…..B8是卖高端商品�Q�销量较��。如果我们要�Ҏ��商品销售状况分析店铺在买家当中的受�Ƣ迎�E�度。由�?/span>A店铺本��n商品量大�Q�而且定位的销售�h位是属于薄利多销�Q�如果只从销售量的考虑�Q�我们会以�ؓA店铺在商��Z��是最受买家欢�q�的�Q�造成“片面”的分析结果�?/span>

其实�Q�遇到这�U�情况，我们首先的分析卖家性质和买家性质�Q��ƈ且��用相寚w��来作��估��|��比如A店铺卖低端商品，日销售量1W商品�Q?/span>1W/99W<1%, �?/span>B9店铺卖低端商品，日销售量5K商品�Q?/span>5K/1W=50%,所以在低端买家中，低端商品店铺B9应该是最受欢�q�的�?/span>

Ric Dong 2011-12-22 10:17 发表评论

Ric Dong — Wed, 21 Dec 2011 13:15:00 GMT

没想到Hadoop在解析XML时如此纠�l�，以至于新版api的mapreduce竟然攑ּ�了XML格式的format以及reader�Q�在老版�Q�hadoop-0.19.*�Q�的streaming模块提供了这��L��api�Q�由于我用的hadoop-0.20.2 3U1版本�Q�因此需要把处理XML的几个类�U�L��q�来使用�?/div>

�U�L��所带来的问题是各处依赖包，和各�U�api不兼宏V��没关系�Q�我可以看一下源码，然后自己写一个。细看了一下reader的代码，发现mapreduce使用了BufferedInputStream的mark�Q�reset来寻找XML的tag�Q�这个tag��是我们在提交作业所讄��的，比如�Q?lt;/log>�q�样的标�{�。Java中stream��的mark和reset�Q�允许指针回读，卛_��扑ֈ��Ӟ��mark一下指针，然后再找�?lt;/log>标签�Q�最后通过reset�Ҏ��Q�返回到mark的位�|�，�?lt;log>内的数据��d��出来。但在匹配的�q�程中，我发现mapred使用了BufferedInputStream �?read(); �Ҏ��Q�该�Ҏ��q�回下一个可�ȝ��字节。那么整个处理过�E�就是读一个字节，比较一个字节，我没有在mapreduce中用�q�样的算法，但我��试�q�，向缓冲区�Q�BufferedInputStream�Q�中一个字节一个字节的读，性能严重不��Q�read(); �Ҏ��q�_��q�回旉��?31�U�秒�Q�处理一�?70M的xml文档�Q�tag比较多）�Q�竟然花�?00+�U�。（streaming模块�q�写了一个faster*�Ҏ��Q�哎�Q�慢��M��Q?/div>

周敏同学提供了pig中处理xml的reader�Q�但pig那边的代码我�q�没�l�看�Q�也不知道hadoop的jira中有没有新的feature来解决现有xml的问题。如果有的话�Q�不防可以告诉我一下下。呵��c�?nbsp;

现在有一个构思，即主要思想仍然围绕字节比较�Q�因为字�W�串匚w��效率更低�Q�另外算法源于String.indexOf(“”)�Q�即扑ֈ��q�个后，��C��位置�Q�然后再�?lt;/log>�Q�这��L��完全匚w��Q�中间的内容用system.arraycopy来复制到新的字节数组�Q�目前这��法我实��C��一半，��x��?lt;log>�?lt;/log>后，把这两个�{�标全部替换掉，170M文档�Q�用�?.2�U�（最�?.3�U�）�?/div>

��法及问题：

首先提供一个BufferedInputStream�Q�默认大��?k�Q�在�E�序中徏一个字节数�l�，大小�?k�Q�即每次向BufferedInputStream�?k�Q�这个效率是很不错的�Q�然后去��L��.toArray�q�样的字节数�l�，�q�一步速度是很惊�h的。但�q�里有一个小的问题，��x��ơ读4k的大��去处理�Q�那很有可能位于两次��d��的一��一��_��那么我的��x��是做一个半循环的字节数�l�，卛_��果在4k的字节数�l�中的最后找�?lt;log>�Q�那么就把前面未匚w��的仍掉，然后�?lt;log>标签�U�d��字节数组最前端�Q�然后另用这个字节数�l�再向BufferedInputStream中去�?k-5长度的内容（5�?lt;log>的字节长度）。关�?k�q�个大小�Q�首先要对XML数据�q�行sampling�Q�即��定当中的内定w��度，然后再定�q�个�~�冲buf的大��?/div>

Ric Dong 2011-12-21 21:15 发表评论

久草免费在线观看,国产中文日韩欧美,性欧美精品孕妇