Wed, 15 Dec 2010 05:35:00 GMT

下面�q�篇文章写的非常好，�l�合memcached�?特点利用Consistent hasning ��法�Q�可以打造一个非常完备的分布式缓存服务器�?/p>

memcached的分布式
- memcached的分布式是什么意思？
Cache::Memcached的分布式�Ҏ��
- �Ҏ��余数计算分散
- �Ҏ��余数计算分散的缺�?/a>

Consistent Hashing
- Consistent Hashing的简单说�?/a>
- 支持Consistent Hashing的函数库
�ȝ��

memcached的分布式

正如�W?�ơ中介绍的那��P�� memcached虽然�U�Cؓ“分布�?#8221;�~�存服务器，但服务器端�ƈ没有“分布�?#8221;功能�?服务器端仅包�?�W?�ơ�?�W?��?前坂介绍的内存存储功能，其实现非常简单�?至于memcached的分布式�Q�则是完全由客户端程序库实现的�?�q�种分布式是memcached的最大特炏V�?/p>

memcached的分布式是什么意思？

�q�里多次使用�?#8220;分布�?#8221;�q�个词，但�ƈ未做详细解释�?现在开始简单地介绍一下其原理�Q�各个客��L��的实现基本相同�?/p>

下面假设memcached服务器有node1～node3三台�Q?应用�E�序要保存键名�ؓ“tokyo”“kanagawa”“chiba”“saitama”“gunma” 的数据�?/p>

�? 分布式简介：准备

首先向memcached中添�?#8220;tokyo”。将“tokyo”传给客户端程序库后，客户端实现的��法��׃��Ҏ��“�?#8221;来决定保存数据的memcached服务器�?服务器选定后，卛_��令它保存“tokyo”及其倹{�?/p>

�? 分布式简介：��d��?/p>

同样�Q?#8220;kanagawa”“chiba”“saitama”“gunma”都是先选择服务器再保存�?/p>

接下来获取保存的数据。获取时也要��要获取的键“tokyo”传递给函数库�?函数库通过与数据保存时相同的算法，�Ҏ��“�?#8221;选择服务器�?使用的算法相同，��p��选中与保存时相同的服务器�Q�然后发送get命��o�?只要数据没有因�ؓ某些原因被删除，��p��获得保存的倹{�?/p>

�? 分布式简介：获取�?/p>

�q�样�Q�将不同的键保存��C��同的服务器上�Q�就实现了memcached的分布式�?memcached服务器增多后�Q�键��׃��分散�Q�即使一台memcached服务器发生故�?无法�q�接�Q�也不会影响其他的缓存，�pȝ��依然能��l�运行�?/p>

接下来介�l?a style="color: rgb(51,102,153); text-decoration: none" >�W?��?/a> 中提到的Perl客户端函数库Cache::Memcached实现的分布式�Ҏ��?/p>

Cache::Memcached的分布式�Ҏ��

Perl的memcached客户端函数库Cache::Memcached�?memcached的作者Brad Fitzpatrick的作品，可以说是原装的函数库了�?/p>

Cache::Memcached - search.cpan.org

该函数库实现了分布式功能�Q�是memcached标准的分布式�Ҏ��?/p>

�Ҏ��余数计算分散

Cache::Memcached的分布式�Ҏ��单来��_��是“�Ҏ��服务器台数的余数�q�行分散”�?求得键的整数哈希��|��再除以服务器台数�Q�根据其余数来选择服务器�?/p>

下面��Cache::Memcached��化成以下的Perl脚本来进行说明�?/p>

use strict;
use warnings;
use String::CRC32;

my @nodes = ('node1','node2','node3');
my @keys = ('tokyo', 'kanagawa', 'chiba', 'saitama', 'gunma');

foreach my $key (@keys) {
   my $crc = crc32($key); # CRC�?/span>
   my $mod = $crc % ( $#nodes + 1 );
   my $server = $nodes[ $mod ]; # �Ҏ��余数选择服务�?/span>
   printf "%s => %s\n", $key, $server;
}

Cache::Memcached在求哈希值时使用了CRC�?/p>

String::CRC32 - search.cpan.org

首先求得字符串的CRC��|��Ҏ��该值除以服务器节点数目得到的余数决定服务器�?上面的代码执行后输入以下�l�果�Q?/p>

tokyo       => node2

kanagawa => node3

chiba       => node2

saitama   => node1

gunma     => node1

�Ҏ��该结果，“tokyo”分散到node2�Q?#8220;kanagawa”分散到node3�{��?多说一句，当选择的服务器无法�q�接�Ӟ��Cache::Memcached会将�q�接�ơ数 ��d��到键之后�Q�再�ơ计��哈希值�ƈ��试�q�接。这个动作称为rehash�?不希望rehash时可以在生成Cache::Memcached对象时指�?#8220;rehash => 0”选项�?/p>

�Ҏ��余数计算分散的缺�?/h3>
余数计算的方法简单，数据的分散性也相当优秀�Q�但也有其缺炏V�?那就是当��d��或移除服务器�Ӟ��~�存重组的代��L��当巨大�?��d��服务器后�Q�余数就会��生巨变，�q�样��无法获取与保存时相同的服务器，从而媄响缓存的命中率。用Perl写段代码来验证其代�h�?/p>

use strict;
use warnings;
use String::CRC32;

my @nodes = @ARGV;
my @keys = ('a'..'z');
my %nodes;

foreach my $key ( @keys ) {
   my $hash = crc32($key);
   my $mod = $hash % ( $#nodes + 1 );
   my $server = $nodes[ $mod ];
   push @{ $nodes{ $server } }, $key;
}

foreach my $node ( sort keys %nodes ) {
   printf "%s: %s\n", $node, join ",", @{ $nodes{$node} };
}

�q�段Perl脚本演示了将“a”�?#8220;z”的键保存到memcached�q�访问的情况�?��其保存为mod.pl�q�执行�?/p>
首先�Q�当服务器只有三台时�Q?/p>

$ mod.pl node1 node2 nod3
node1: a,c,d,e,h,j,n,u,w,x
node2: g,i,k,l,p,r,s,y
node3: b,f,m,o,q,t,v,z

�l�果如上�Q�node1保存a、c、d、e……�Q�node2保存g、i、k……�Q?每台服务器都保存�?个到10个数据�?/p>
接下来增加一台memcached服务器�?/p>

$ mod.pl node1 node2 node3 node4
node1: d,f,m,o,t,v
node2: b,i,k,p,r,y
node3: e,g,l,n,u,w
node4: a,c,h,j,q,s,x,z

��d��了node4。可见，只有d、i、k、p、r、y命中了。像�q�样�Q�添加节点后键分散到的服务器会发生巨大变化�?6个键中只有六个在讉K��原来的服务器�Q?其他的全都移��C��其他服务器。命中率降低�?3%。在Web应用�E�序中��用memcached�Ӟ�� 在添加memcached服务器的瞬间�~�存效率会大�q�度下降�Q�负载会集中到数据库服务器上�Q?有可能会发生无法提供正常服务的情��c�?/p>
mixi的Web应用�E�序�q�用中也有这个问题，��D��无法��d��memcached服务器�?但由于��用了新的分布式方法，现在可以轻而易丑֜��d��memcached服务器了�?�q�种分布式方法称�?Consistent Hashing�?/p>

Consistent Hashing

关于Consistent Hashing的思想�Q�mixi株式会社的开发blog�{�许多地斚w��介绍�q�， �q�里只简单地说明一下�?/p>

mixi Engineers’ Blog - わV��ヹ{��な分散で快適キャッシュライフ
ConsistentHashing - ゟ냳゗��テン�?ハッ゗��?/a>

Consistent Hashing的简单说�?/h3>
Consistent Hashing如下所�C�：首先求出memcached服务器（节点�Q�的哈希��|�� q�将光��|�到0�?³²的圆�Q�continuum�Q�上�?然后用同��L��Ҏ��求出存储数据的键的哈希��|��q�映��到圆上�?然后从数据映��到的位�|�开始顺旉��查找�Q�将数据保存到找到的�W�一个服务器上�?如果��过2³²仍然找不到服务器�Q�就会保存到�W�一台memcached服务器上�?/p>

�? Consistent Hashing�Q�基本原�?/p>
从上囄��状态中��d��一台memcached服务器。余数分布式��法�׃��保存键的服务器会发生巨大变化而媄响缓存的命中率，但Consistent Hashing中，只有在continuum上增加服务器的地炚w��时针方向的 �W�一台服务器上的键会受到影响�?/p>

�? Consistent Hashing�Q�添加服务器

因此�Q�Consistent Hashing最大限度地抑制了键的重新分布�?而且�Q�有的Consistent Hashing的实现方法还采用了虚拟节点的思想�?使用一般的hash函数的话�Q�服务器的映��地点的分布非常不均匀�?因此�Q��用虚拟节点的思想�Q��ؓ每个物理节点�Q�服务器�Q?在continuum上分�?00�?00个点。这样就能抑制分布不均匀�Q?最大限度地减小服务器增减时的缓存重新分布�?/p>
通过下文中介�l�的使用Consistent Hashing��法的memcached客户端函数库�q�行��试的结果是�Q?由服务器台数�Q�n�Q�和增加的服务器台数�Q�m�Q�计��增加服务器后的命中率计��公式如下：

(1 - n/(n+m)) * 100

支持Consistent Hashing的函数库

本连载中多次介绍的Cache::Memcached虽然不支持Consistent Hashing�Q?但已有几个客��L��函数库支持了�q�种新的分布式算法�?�W�一个支持Consistent Hashing和虚拟节点的memcached客户端函数库�?名�ؓlibketama的PHP库，由last.fm开发�?/p>

libketama - a consistent hashing algo for memcache clients – RJ ブロ�?- Users at Last.fm

至于Perl客户端，�q�蝲的第1��?中介�l�过的Cache::Memcached::Fast和Cache::Memcached::libmemcached支持 Consistent Hashing�?/p>

Cache::Memcached::Fast - search.cpan.org
Cache::Memcached::libmemcached - search.cpan.org

两者的接口都与Cache::Memcached几乎相同�Q�如果正在��用Cache::Memcached�Q?那么��可以方便地替换�q�来。Cache::Memcached::Fast重新实现了libketama�Q?使用Consistent Hashing创徏对象时可以指定ketama_points选项�?/p>

my $memcached = Cache::Memcached::Fast->new({

servers => ["192.168.0.1:11211","192.168.0.2:11211"],

ketama_points => 150

});

另外�Q�Cache::Memcached::libmemcached 是一个��用了Brain Aker开发的C函数库libmemcached的Perl模块�?libmemcached本��n支持几种分布式算法，也支持Consistent Hashing�Q?其Perl�l�定也支持Consistent Hashing�?/p>

Tangent Software: libmemcached

�ȝ��

本次介绍了memcached的分布式��法�Q�主要有memcached的分布式是由客户端函数库实现�Q?以及高效率地分散数据的Consistent Hashing��法。下�ơ将介绍mixi在memcached应用斚w��的一些经验，和相关的兼容应用�E�序�?/p>

杨罗�|?/a> 2010-12-15 13:35 发表评论