欧美一级大片在线视频,亚洲色图视频网,一区二区三区黄色

每日一�?2009/07/03 memcached完全剖析

Blog of JoJo — Fri, 03 Jul 2009 04:20:00 GMT

1. memcached的基��

��译一��技术评论社的文章，是讲memcached的连载�?a >fcicq同学说这个东西很有用�Q�希望大家喜�Ƣ�?/p>

发表日：2008/7/2
作者：镉K��雅广(Masahiro Nagano)
原文链接�Q?a >http://gihyo.jp/dev/feature/01/memcached/0001

我是mixi株式会社开发部�pȝ��q�营�l�的镉K��? 日常负责�E�序的运营。从今天开始，��分几次针对最�q�在Web应用的可扩展性领�? 的热门话题memcached�Q�与我公司开发部研究开发组的前坂一��P�� 说明其内部结构和使用�?/p>

memcached是什么？

memcached 是以LiveJournal 旗下Danga Interactive 公司�?a >Brad Fitzpatric 为首开发的一�ƾ��Y件。现在已成�ؓ mixi�? hatena�? Facebook�? Vox、LiveJournal�{�众多服务中提高Web应用扩展性的重要因素�?/p>

许多Web应用都将数据保存到RDBMS中，应用服务器从中读取数据�ƈ在浏览器中显�C��? 但随着数据量的增大、访问的集中�Q�就会出现RDBMS的负担加重、数据库响应恶化�? �|�站昄��延迟�{�重大媄响�?/p>

�q�时��p��memcached大显�w�手了。memcached是高性能的分布式内存�~�存服务器�? 一般的使用目的是，通过�~�存数据库查询结果，减少数据库访问次敎ͼ�以提高动态Web应用的速度�? 提高可扩展性�?/p>

�? 一般情况下memcached的用�?/p>

memcached的特�?/h2>
memcached作�ؓ高速运行的分布式缓存服务器�Q�具有以下的特点�?/p>

协议��?/li>
��Z��libevent的事件处�?/li>
内置内存存储方式

memcached不互盔R��信的分布式

协议��?/h3>

memcached的服务器客户端通信�q�不使用复杂的XML�{�格式，而��用简单的��Z��文本行的协议。因此，通过telnet 也能在memcached上保存数据、取得数据。下面是例子�?/p>

$ telnet localhost 11211



Trying 127.0.0.1...



Connected to localhost.localdomain (127.0.0.1).



Escape character is '^]'.



set foo 0 0 3     �Q�保存命令）



bar               �Q�数据）



STORED            �Q�结果）



get foo           �Q�取得命令）



VALUE foo 0 3     �Q�数据）



bar               �Q�数据）

协议文档位于memcached的源代码内，也可以参考以下的URL�?/p>

http://code.sixapart.com/svn/memcached/trunk/server/doc/protocol.txt

��Z��libevent的事件处�?/h3>
libevent是个�E�序库，它将Linux的epoll、BSD�c�L��作系�l�的kqueue�{�事件处理功�? ��装成统一的接口。即使对服务器的�q�接数增加，也能发挥O(1)的性能�? memcached使用�q�个libevent库，因此能在Linux、BSD、Solaris�{�操作系�l�上发挥光��性能�? 关于事�g处理�q�里��׃��再详�l�介�l�，可以参考Dan Kegel的The C10K Problem�?/p>

libevent: http://www.monkey.org/~provos/libevent/

The C10K Problem: http://www.kegel.com/c10k.html

内置内存存储方式

��Z��提高性能�Q�memcached中保存的数据都存储在memcached内置的内存存储空间中�? �׃��数据仅存在于内存中，因此重启memcached、重启操作系�l�会��D��全部数据消失�? 另外�Q�内容容量达到指定��g��后，��基于LRU(Least Recently Used)��法自动删除不��用的�~�存�? memcached本��n是�ؓ�~�存而设计的服务器，因此�q�没有过多考虑数据的永久性问题�? 关于内存存储的详�l�信息，本连载的�W�二讲以后前坂会�q�行介绍�Q�请届时参考�?/p>

memcached不互盔R��信的分布式

memcached��管�?#8220;分布�?#8221;�~�存服务器，但服务器端�ƈ没有分布式功能�? 各个memcached不会互相通信以共享信息。那么，怎样�q�行分布式呢�Q? �q�完全取决于客户端的实现。本�q�蝲也将介绍memcached的分布式�?/p>

�? memcached的分布式

接下来简单介�l�一下memcached的��用方法�?/p>

安装memcached

memcached的安装比较简单，�q�里�E�加说明�?/p>

memcached支持许多�q�_��?/p>

Linux
FreeBSD
Solaris (memcached 1.2.5以上版本)
Mac OS X

另外也能安装在Windows上。这里��用Fedora Core 8�q�行说明�?/p>

memcached的安�?/h3>

�q�行memcached需要本文开头介�l�的libevent库。Fedora 8中有现成的rpm包，通过yum命��o安装卛_��?/p>

$ sudo yum install libevent libevent-devel

memcached的源代码可以从memcached�|�站上下载。本文执�W�时的最新版本�ؓ1.2.5�? Fedora 8虽然也包含了memcached的rpm�Q�但版本比较老。因为源代码安装�q�不困难�Q? �q�里��׃��使用rpm了�?/p>

下蝲memcached�Q?a >http://www.danga.com/memcached/download.bml

memcached安装与一般应用程序相同，configure、make、make install��p��了�?/p>

$ wget http://www.danga.com/memcached/dist/memcached-1.2.5.tar.gz



$ tar zxf memcached-1.2.5.tar.gz



$ cd memcached-1.2.5



$ ./configure



$ make



$ sudo make install

默认情况下memcached安装�?usr/local/bin下�?/p>

memcached的启�?/h3>

从终端输入以下命令，启动memcached�?/p>

$ /usr/local/bin/memcached -p 11211 -m 64m -vv



slab class   1: chunk size     88 perslab 11915



slab class   2: chunk size    112 perslab  9362



slab class   3: chunk size    144 perslab  7281



中间省略



slab class  38: chunk size 391224 perslab     2



slab class  39: chunk size 489032 perslab     2



<23 server listening



<24 send buffer was 110592, now 268435456



<24 server listening (udp)



<24 server listening (udp)



<24 server listening (udp)



<24 server listening (udp)

�q�里昄��了调试信息。这样就在前台启动了memcached�Q�监听TCP端口11211 最大内存��用量�?4M。调试信息的内容大部分是关于存储的信息，下次�q�蝲时具体说明�?/p>

作�ؓdaemon后台启动�Ӟ��只需

$ /usr/local/bin/memcached -p 11211 -m 64m -d

�q�里使用的memcached启动选项的内容如下�?/p>

选项	说明
-p	使用的TCP端口。默认�ؓ11211
-m	最大内存大��。默认�ؓ64M
-vv	用very vrebose模式启动�Q�调试信息和错误输出到控制台
-d	作�ؓdaemon在后台启�?/td>

上面四个是常用的启动选项�Q�其他还有很多，通过

$ /usr/local/bin/memcached -h

命��o可以昄��。许多选项可以改变memcached的各�U�行为，推荐��M��诅R�?/p>

用客��L��q�接

许多语言都实��C��q�接memcached的客��L��Q�其中以Perl、PHP��Z��? 仅仅memcached�|�站上列出的语言��有

Perl
PHP
Python
Ruby
C#
C/C++
Lua

�{�等�?/p>

memcached客户端API�Q?a >http://www.danga.com/memcached/apis.bml

�q�里介绍通过mixi正在使用的Perl库链接memcached的方法�?/p>

使用Cache::Memcached

Perl的memcached客户端有

Cache::Memcached
Cache::Memcached::Fast
Cache::Memcached::libmemcached

�{�几个CPAN模块。这里介�l�的Cache::Memcached是memcached的作者Brad Fitzpatric的作品，应该��是memcached的客��L��中应用最为广泛的模块了�?/p>

Cache::Memcached - search.cpan.org: http://search.cpan.org/dist/Cache-Memcached/

使用Cache::Memcached�q�接memcached

下面的源代码为通过Cache::Memcached�q�接刚才启动的memcached的例子�?/p>

#!/usr/bin/perl







use strict;



use warnings;



use Cache::Memcached;







my $key = "foo";



my $value = "bar";



my $expires = 3600; # 1 hour



my $memcached = Cache::Memcached->new({



servers => ["127.0.0.1:11211"],



compress_threshold => 10_000



});







$memcached->add($key, $value, $expires);



my $ret = $memcached->get($key);



print "$ret"n";

在这里，为Cache::Memcached指定了memcached服务器的IP地址和一个选项�Q�以生成实例�? Cache::Memcached常用的选项如下所�C��?/p>

选项	说明
servers	用数�l�指定memcached服务器和端口
compress_threshold	数据压羃时��用的�?/td>
namespace	指定��d��到键的前�~�

另外�Q�Cache::Memcached通过Storable模块可以��Perl的复杂数据序列化之后再保存，因此散列、数�l�、对象等都可以直接保存到memcached中�?/p>

保存数据

向memcached保存数据的方法有

add
replace
set

它们的��用方法都相同�Q?/p>

my $add = $memcached->add( '�?, '�?, '期限' );



my $replace = $memcached->replace( '�?, '�?, '期限' );



my $set = $memcached->set( '�?, '�?, '期限' );

向memcached保存数据时可以指定期�?�U?。不指定期限�Ӟ��memcached按照LRU��法保存数据�? �q�三个方法的区别如下�Q?/p>

选项	说明
add	仅当存储�I�间中不存在键相同的数据时才保存
replace	仅当存储�I�间中存在键相同的数据时才保�?/td>
set	与add和replace不同�Q�无��Z��旉��保存

获取数据

获取数据可以使用get和get_multi�Ҏ��?/p>

my $val = $memcached->get('�?);



my $val = $memcached->get_multi('�?', '�?', '�?', '�?', '�?');

一�ơ取得多条数据时使用get_multi。get_multi可以非同步地同时取得多个键��|�� 光��度要比循环调用get快数十倍�?/p>

删除数据

删除数据使用delete�Ҏ��Q�不�q�它有个独特的功能�?/p>

$memcached->delete('�?, '��d��旉���(�U?');

删除�W�一个参数指定的键的数据。第二个参数指定一个时间��|��可以��止使用同样的键保存新数据�? 此功能可以用于防止缓存数据的不完整。但是要注意�Q?strong>set函数忽视该阻塞，照常保存数据

增一和减一操作

可以��memcached上特定的键��g��数器使用�?/p>

my $ret = $memcached->incr('�?);



$memcached->add('�?, 0) unless defined $ret;

增一和减一是原子操作，但未讄��初始值时�Q�不会自动赋�?。因此，应当�q�行错误��查，必要时加入初始化操作。而且�Q�服务器端也不会�? ��过2³²时的行�ؓ�q�行��查�?/p>

�ȝ��

�q�次��单介�l�了memcached�Q�以及它的安装方法、Perl客户端Cache::Memcached的用法�? 只要知道�Q�memcached的��用方法十分简单就��_��了�?/p>

下次由前坂来说明memcached的内部结构。了解memcached的内部构造， ��p��知道如何使用memcached才能使Web应用的速度更上一层楼�? �Ƣ迎�l�箋阅读下一章�?/p>

2.理解memcached的内存存�?/h1>

下面是《memcached全面剖析》的�W�二部分�?/p>
发表日：2008/7/9
作者：前坂�?Toru Maesaka)
原文链接�Q?a >http://gihyo.jp/dev/feature/01/memcached/0002

我是mixi株式会社研究开发组的前坂徹�? 上次的文章介�l�了memcached是分布式的高速缓存服务器�? 本次��介�l�memcached的内部构造的实现方式�Q�以及内存的��理方式�? 另外�Q�memcached的内部构造导致的��q��也将加以说明�?/p>

Slab Allocation机制�Q�整理内存以侉K��复��?/h2>
最�q�的memcached默认情况下采用了名�ؓSlab Allocator的机制分配、管理内存�? 在该机制出现以前�Q�内存的分配是通过�Ҏ��有记录简单地�q�行malloc和free来进行的�? 但是�Q�这�U�方式会��D��内存��片�Q�加重操作系�l�内存管理器的负担，最坏的情况下，会导致操作系�l�比memcached�q�程本��n�q�慢。Slab Allocator��是��册��问题而诞生的�?/p>
下面来看看Slab Allocator的原理。下面是memcached文档中的slab allocator的目标：

the primary goal of the slabs subsystem in memcached was to eliminate memory fragmentation issues totally by using fixed-size memory chunks coming from a few predetermined size classes.

也就是说�Q�Slab Allocator的基本原理是按照预先规定的大��，��分配的内存分割成特定长度的块，以完全解军_��存碎片问题�?/p>
Slab Allocation的原理相当简单�?��分配的内存分割成各�U�尺寸的块（chunk�Q�， �q�把��寸相同的块分成�l�（chunk的集合）�Q�图1�Q��?/p>

�? Slab Allocation的构造图

而且�Q�slab allocator�q�有重复使用已分配的内存的目的�? 也就是说�Q�分配到的内存不会释放，而是重复利用�?/p>

Slab Allocation的主要术�?/h3>
Page

分配�l�Slab的内存空��_��默认�?MB。分配给Slab之后�Ҏ��slab的大��切分成chunk�?/p>
Chunk

用于�~�存记录的内存空间�?/p>
Slab Class

特定大小的chunk的组�?/p>

在Slab中缓存记录的原理

下面说明memcached如何针对客户端发送的数据选择slab�q�缓存到chunk中�?/p>

memcached�Ҏ��收到的数据的大小�Q�选择最适合数据大小的slab�Q�图2�Q��? memcached中保存着slab内空闲chunk的列表，�Ҏ��该列表选择chunk�Q? 然后��数据缓存于其中�?/p>

�? 选择存储记录的组的方�?/p>

实际上，Slab Allocator也是有利也有弊。下面介�l�一下它的缺炏V�?/p>

Slab Allocator的缺�?/h2>
Slab Allocator解决了当初的内存��片问题�Q�但新的机制也给memcached带来了新的问题�?/p>
�q�个问题��是�Q�由于分配的是特定长度的内存�Q�因此无法有效利用分配的内存�? 例如�Q�将100字节的数据缓存到128字节的chunk中，剩余�?8字节��浪费了�Q�图3�Q��?/p>

�? chunk�I�间的��?/p>
对于该问题目前还没有完美的解��x��案，但在文档中记载了比较有效的解��x��案�?/p>
The most efficient way to reduce the waste is to use a list of size classes that closely matches (if that's at all possible) common sizes of objects that the clients of this particular installation of memcached are likely to store.

��是��_��如果预先知道客户端发送的数据的公用大��，或者仅�~�存大小相同的数据的情况下，只要使用适合数据大小的组的列表，��可以减��浪贏V�?/p>
但是很遗憾，现在�q�不能进行�Q何调优，只能期待以后的版本了�? 但是�Q�我们可以调节slab class的大��的差别�? 接下来说明growth factor选项�?/p>

使用Growth Factor�q�行调优

memcached在启动时指定 Growth Factor因子�Q�通过-f选项�Q�， ��可以在某种�E�度上控制slab之间的差异。默认��gؓ1.25�? 但是�Q�在该选项出现之前�Q�这个因子曾�l�固定�ؓ2�Q�称�?#8220;powers of 2”�{�略�?/p>

让我们用以前的设�|�，以verbose模式启动memcached试试看：

$ memcached -f 2 -vv

下面是启动后的verbose输出�Q?/p>

slab class   1: chunk size    128 perslab  8192



slab class   2: chunk size    256 perslab  4096



slab class   3: chunk size    512 perslab  2048



slab class   4: chunk size   1024 perslab  1024



slab class   5: chunk size   2048 perslab   512



slab class   6: chunk size   4096 perslab   256



slab class   7: chunk size   8192 perslab   128



slab class   8: chunk size  16384 perslab    64



slab class   9: chunk size  32768 perslab    32



slab class  10: chunk size  65536 perslab    16



slab class  11: chunk size 131072 perslab     8



slab class  12: chunk size 262144 perslab     4



slab class  13: chunk size 524288 perslab     2

可见�Q�从128字节的组开始，�l�的大小依次增大为原来的2倍�? �q�样讄��的问题是�Q�slab之间的差别比较大�Q�有些情况下��q��当浪费内存�? 因此�Q��ؓ��量减少内存��费�Q�两�q�前�q�加了growth factor�q�个选项�?/p>

来看看现在的默认讄��Q�f=1.25�Q�时的输出（��幅所限，�q�里只写到第10�l�）�Q?/p>

slab class   1: chunk size     88 perslab 11915



slab class   2: chunk size    112 perslab  9362



slab class   3: chunk size    144 perslab  7281



slab class   4: chunk size    184 perslab  5698



slab class   5: chunk size    232 perslab  4519



slab class   6: chunk size    296 perslab  3542



slab class   7: chunk size    376 perslab  2788



slab class   8: chunk size    472 perslab  2221



slab class   9: chunk size    592 perslab  1771



slab class  10: chunk size    744 perslab  1409

可见�Q�组间差距比因子�?时小得多�Q�更适合�~�存几百字节的记录�? 从上面的输出�l�果来看�Q�可能会觉得有些计算误差�Q? �q�些误差是�ؓ了保持字节数的对齐而故意设�|�的�?/p>

��memcached引入产品�Q�或是直接��用默认��D��行部�|�时�Q? 最好是重新计算一下数据的预期�q�_��长度�Q�调整growth factor�Q? 以获得最恰当的设�|�。内存是珍贵的资源，��费��太可惜了�?/p>

接下来介�l�一下如何��用memcached的stats命��o查看slabs的利用率�{�各�U�各��L��信息�?/p>

查看memcached的内部状�?/h2>

memcached有个名�ؓstats的命令，使用它可以获得各�U�各��L��信息�? 执行命��o的方法很多，用telnet最为简单：

$ telnet ��L��?端口�?/pre>

�q�接到memcached之后�Q�输入stats再按回�R�Q�即可获得包括资源利用率在内的各�U�信息�? 此外�Q�输�?stats slabs"�?stats items"�q�可以获得关于缓存记录的信息�? �l�束�E�序误��入quit�?/p>

�q�些命��o的详�l�信息可以参考memcached软�g包内的protocol.txt文档�?/p>

$ telnet localhost 11211



Trying ::1...



Connected to localhost.



Escape character is '^]'.



stats



STAT pid 481



STAT uptime 16574



STAT time 1213687612



STAT version 1.2.5



STAT pointer_size 32



STAT rusage_user 0.102297



STAT rusage_system 0.214317



STAT curr_items 0



STAT total_items 0



STAT bytes 0



STAT curr_connections 6



STAT total_connections 8



STAT connection_structures 7



STAT cmd_get 0



STAT cmd_set 0



STAT get_hits 0



STAT get_misses 0



STAT evictions 0



STAT bytes_read 20



STAT bytes_written 465



STAT limit_maxbytes 67108864



STAT threads 4



END



quit

另外�Q�如果安装了libmemcached�q�个面向C/C++语言的客��L��库，��׃��安装 memstat �q�个命��o�? 使用�Ҏ��很简单，可以用更��的步骤获得与telnet相同的信息，�q�能一�ơ性从多台服务器获得信息�?/p>

$ memstat --servers=server1,server2,server3,...

libmemcached可以从下面的地址获得�Q?/p>

http://tangent.org/552/libmemcached.html

查看slabs的��用状�?/h2>

使用memcached的创造着Brad写的名�ؓmemcached-tool的Perl脚本�Q�可以方便地获得slab的��用情�? �Q�它��memcached的返回值整理成�Ҏ��阅读的格式）。可以从下面的地址获得脚本�Q?/p>

http://code.sixapart.com/svn/memcached/trunk/server/scripts/memcached-tool

使用�Ҏ��也极其简单：

$ memcached-tool ��L���?端口 选项

查看slabs使用状况时无需指定选项�Q�因此用下面的命令即可：

$ memcached-tool ��L���?端口

获得的信息如下所�C�：

 #  Item_Size   Max_age  1MB_pages Count   Full?



1     104 B  1394292 s    1215 12249628    yes



2     136 B  1456795 s      52  400919     yes



3     176 B  1339587 s      33  196567     yes



4     224 B  1360926 s     109  510221     yes



5     280 B  1570071 s      49  183452     yes



6     352 B  1592051 s      77  229197     yes



7     440 B  1517732 s      66  157183     yes



8     552 B  1460821 s      62  117697     yes



9     696 B  1521917 s     143  215308     yes



10     872 B  1695035 s     205  246162     yes



11     1.1 kB 1681650 s     233  221968     yes



12     1.3 kB 1603363 s     241  183621     yes



13     1.7 kB 1634218 s      94   57197     yes



14     2.1 kB 1695038 s      75   36488     yes



15     2.6 kB 1747075 s      65   25203     yes



16     3.3 kB 1760661 s      78   24167     yes

各列的含义�ؓ�Q?/p>

�?/td>	含义
#	slab class�~�号
Item_Size	Chunk大小
Max_age	LRU内最旧的记录的生存时�?/td>
1MB_pages	分配�l�Slab的页�?/td>
Count	Slab内的记录�?/td>
Full?	Slab内是否含有空闲chunk

从这个脚本获得的信息对于调优非常方便�Q�强烈推荐��用�?/p>

内存存储的�ȝ��

本次��单说明了memcached的缓存机制和调优�Ҏ��? 希望读者能理解memcached的内存管理原理及其优�~�点�?/p>

下次��l�说明LRU和Expire�{�原理，以及memcached的最新发展方向—�? 可扩充体�p�（pluggable architecher�Q�）�?/p>

3.memcached的删除机制和发展方向

下面是《memcached全面剖析》的�W�三部分�?/p>

发表日：2008/7/16
作者：前坂�?Toru Maesaka)
原文链接�Q?a >http://gihyo.jp/dev/feature/01/memcached/0003

memcached是缓存，所以数据不会永久保存在服务器上�Q�这是向�pȝ��中引入memcached的前提�? 本次介绍memcached的数据删除机�Ӟ��以及memcached的最新发展方向——二�q�制协议�Q�Binary Protocol�Q? 和外部引擎支持�?/p>

memcached在数据删除方面有效利用资�?/h2>

数据不会真正从memcached中消�?/h3>
上次介绍�q�， memcached不会释放已分配的内存。记录超时后�Q�客��L��无法再看见该记录（invisible�Q�透明�Q�，其存储空间即可重复��用�?/p>

Lazy Expiration

memcached内部不会监视记录是否�q�期�Q�而是在get时查看记录的旉��戻I��查记录是否过期�? �q�种技术被�U�Cؓlazy�Q�惰性）expiration。因此，memcached不会在过期监视上耗费CPU旉��?/p>

LRU�Q�从�~�存中有效删除数据的原理

memcached会优先��用已��时的记录的�I�间�Q�但即��如此�Q�也会发生追加新记录时空间不��的情况�Q? 此时��p��使用名�ؓ Least Recently Used�Q�LRU�Q�机制来分配�I�间�? ��֐�思义�Q�这是删�?#8220;最�q�最��?#8221;的记录的机制�? 因此�Q�当memcached的内存空间不��x��Q�无法从slab class 获取到新的空间时�Q�，��׃��最�q�未被��用的记录中搜索，�q�将其空间分配给新的记录�? 从缓存的实用角度来看�Q�该模型十分理想�?/p>

不过�Q�有些情况下LRU机制反倒会造成�ȝ��。memcached启动旉��过“-M”参数可以��止LRU�Q�如下所�C�：

$ memcached -M -m 1024

启动时必��L��意的是，��写�?#8220;-m”选项是用来指定最大内存大��的。不指定具体数值则使用默认�?4MB�?/p>

指定“-M”参数启动后，内存用尽时memcached会返回错误�? 话说回来�Q�memcached毕竟不是存储器，而是�~�存�Q�所以推荐��用LRU�?/p>

memcached的最新发展方�?/h2>
memcached的roadmap上有两个大的目标。一个是二进制协议的�{�划和实玎ͼ�另一个是外部引擎的加载功能�?/p>

关于二进制协�?/h3>
使用二进制协议的理由是它不需要文本协议的解析处理�Q��得原本高速的memcached的性能更上一层楼�Q? �q�能减少文本协议的漏�z�。目前已大部分实玎ͼ�开发用的代码库中已包含了该功能�? memcached的下载页面上有代码库的链接�?/p>

http://danga.com/memcached/download.bml

二进制协议的格式

协议的包�?4字节的��Q�其后面是键和无�l�构数据�Q�Unstructured Data�Q��? 实际的格式如下（引自协议文档�Q�：

 Byte/     0       |       1       |       2       |       3       |   



/              |               |               |               |   



|0 1 2 3 4 5 6 7|0 1 2 3 4 5 6 7|0 1 2 3 4 5 6 7|0 1 2 3 4 5 6 7|



+---------------+---------------+---------------+---------------+



0/ HEADER                                                        /   



/                                                               /   



/                                                               /   



/                                                               /   



+---------------+---------------+---------------+---------------+



24/ COMMAND-SPECIFIC EXTRAS (as needed)                           /   



+/  (note length in th extras length header field)               /   



+---------------+---------------+---------------+---------------+



m/ Key (as needed)                                               /   



+/  (note length in key length header field)                     /   



+---------------+---------------+---------------+---------------+



n/ Value (as needed)                                             /   



+/  (note length is total body length header field, minus        /   



+/   sum of the extras and key length body fields)               /   



+---------------+---------------+---------------+---------------+



Total 24 bytes

如上所�C�，包格式十分简单。需要注意的是，占据�?6字节的头�?HEADER)分�ؓ ��h��_��Request Header�Q�和响应��_��Response Header�Q�两�U��? 头部中包含了表示包的有效性的Magic字节、命令种�c�R��键长度、值长度等信息�Q�格式如下：

Request Header







Byte/     0       |       1       |       2       |       3       |



/              |               |               |               |



|0 1 2 3 4 5 6 7|0 1 2 3 4 5 6 7|0 1 2 3 4 5 6 7|0 1 2 3 4 5 6 7|



+---------------+---------------+---------------+---------------+



0| Magic         | Opcode        | Key length                    |



+---------------+---------------+---------------+---------------+



4| Extras length | Data type     | Reserved                      |



+---------------+---------------+---------------+---------------+



8| Total body length                                             |



+---------------+---------------+---------------+---------------+



12| Opaque                                                        |



+---------------+---------------+---------------+---------------+



16| CAS                                                           |



|                                                               |



+---------------+---------------+---------------+---------------+

Response Header







Byte/     0       |       1       |       2       |       3       |



/              |               |               |               |



|0 1 2 3 4 5 6 7|0 1 2 3 4 5 6 7|0 1 2 3 4 5 6 7|0 1 2 3 4 5 6 7|



+---------------+---------------+---------------+---------------+



0| Magic         | Opcode        | Key Length                    |



+---------------+---------------+---------------+---------------+



4| Extras length | Data type     | Status                        |



+---------------+---------------+---------------+---------------+



8| Total body length                                             |



+---------------+---------------+---------------+---------------+



12| Opaque                                                        |



+---------------+---------------+---------------+---------------+



16| CAS                                                           |



|                                                               |



+---------------+---------------+---------------+---------------+

如希望了解各个部分的详细内容�Q�可以checkout出memcached的二�q�制协议的代码树�Q? 参考其中的docs文�g夹中的protocol_binary.txt文档�?/p>

HEADER中引人注目的地方

看到HEADER格式后我的感��x��Q�键的上限太大了�Q�现在的memcached规格中，键长度最大�ؓ250字节�Q? 但二�q�制协议中键的大��用2字节表示。因此，理论上最大可使用65536字节�Q?¹⁶�Q�长的键�? ��管250字节以上的键�q�不会太常用�Q�二�q�制协议发布之后��可以��用巨大的键了�?/p>

二进制协议从下一版本1.3�p�d��开始支持�?/p>

外部引擎支持

我去�q�曾�l�试验性地��memcached的存储层攚w��成了可扩展的（pluggable�Q��?/p>

http://alpha.mixi.co.jp/blog/?p=129

MySQL的Brian Aker看到�q�个攚w��之后，��将代码发到了memcached的邮件列表�? memcached的开发者也十分感兴��，��放��C��roadmap中。现在由我和 memcached的开发者Trond Norbye协同开发（规格设计、实现和��试�Q��? 和国外协同开发时时差是个大问题，但抱着相同的愿景，最后终于可以将可扩展架构的原型公布了�? 代码库可以从memcached的下载页�?/a> 上访问�?/p>

外部引擎支持的必要�?/h3>
世界上有许多memcached的派生��Y�Ӟ��其理由是希望�怹�保存数据、实现数据冗余等�Q? 即��牺牲一些性能也在所不惜。我在开发memcached之前�Q�在mixi的研发部也曾�l? 考虑�q�重新发明memcached�?/p>
外部引擎的加载机制能��装memcached的网�l�功能、事件处理等复杂的处理�? 因此�Q�现阶段通过强制手段或重新设计等方式使memcached和存储引擎合作的困难 ��׃��烟消云散�Q�尝试各�U�引擎就会变得轻而易举了�?/p>
��单API设计的成功的关键

该项目中我们最重视的是API设计。函数过多，会��引擎开发者感到麻烦； �q�于复杂�Q�实现引擎的门槛��׃��q�高。因此，最初版本的接口函数只有13个�? 具体内容限于��幅�Q�这里就省略了，仅说明一下引擎应当完成的操作�Q?/p>

引擎信息�Q�版本等�Q?/li>
引擎初始�?/li>
引擎关闭

引擎的统计信�?/li>
在容量方面，��试�l�定记录能否保存

为item�Q�记录）�l�构分配内存

释放item�Q�记录）的内�?/li>
删除记录

保存记录

回收记录

更新记录的时间戳

数学�q�算处理

数据的flush

对详�l�规格有兴趣的读者，可以checkout engine��目的代码，阅读器中的engine.h�?/p>
重新审视现在的体�p?/h3>
memcached支持外部存储的难�Ҏ��Q�网�l�和事�g处理相关的代码（核心服务器）�? 内存存储的代码紧密关联。这�U�现象也�U�Cؓtightly coupled�Q�紧密耦合�Q��? 必须��内存存储的代码从核心服务器中独立出来，才能灉|��地支持外部引擎�? 因此�Q�基于我们设计的API�Q�memcached被重构成下面的样子：

重构之后�Q�我们与1.2.5版、二�q�制协议支持版等�q�行了性能�Ҏ��Q�证实了它不会造成性能影响�?/p>
在考虑如何支持外部引擎加蝲�Ӟ��让memcached�q�行�q�行控制�Q�concurrency control�Q�的�Ҏ��是最为容易的�Q? 但是对于引擎而言�Q��ƈ行控制正是性能的真谛，因此我们采用了将多线�E�支持完全交�l�引擎的设计�Ҏ��?/p>
以后的改�q�，会��得memcached的应用范围更为广泛�?/p>
�ȝ��

本次介绍了memcached的超时原理、内部如何删除数据等�Q�在此之上又介绍了二�q�制协议�? 外部引擎支持�{�memcached的最新发展方向。这些功能要�?.3版才会支持，敬请期待�Q?/p>
�q�是我在本连载中的最后一��。感谢大安��L��的文章！

下次由长野来介绍memcached的应用知识和应用�E�序兼容性等内容�?/p>

4. memcached的分布式��法

发表日：2008/7/23
作者：镉K��雅广(Masahiro Nagano)
原文链接�Q?a >http://gihyo.jp/dev/feature/01/memcached/0004

我是Mixi的长野�? �W?��?/a>�? �W?��?/a> 由前坂介�l�了memcached的内部情��c��本�ơ不再介�l�memcached的内部结构，开始介�l�memcached的分布式�?/p>

memcached的分布式

正如 �W?��?/a>中介�l�的那样�Q? memcached虽然�U�Cؓ“分布�?#8221;�~�存服务器，但服务器端�ƈ没有“分布�?#8221;功能�? 服务器端仅包�? �W?��?/a>�? �W?��?/a> 前坂介绍的内存存储功能，其实现非常简单�? 至于memcached的分布式�Q�则是完全由客户端程序库实现的�? �q�种分布式是memcached的最大特炏V�?/p>

memcached的分布式是什么意思？

�q�里多次使用�?#8220;分布�?#8221;�q�个词，但�ƈ未做详细解释�? 现在开始简单地介绍一下其原理�Q�各个客��L��的实现基本相同�?/p>

下面假设memcached服务器有node1～node3三台�Q? 应用�E�序要保存键名�ؓ“tokyo”“kanagawa”“chiba”“saitama”“gunma” 的数据�?/p>

�? 分布式简介：准备

首先向memcached中添�?#8220;tokyo”。将“tokyo”传给客户端程序库后，客户端实现的��法��׃��Ҏ��“�?#8221;来决定保存数据的memcached服务器�? 服务器选定后，卛_��令它保存“tokyo”及其倹{�?/p>

�? 分布式简介：��d��?/p>

同样�Q?#8220;kanagawa”“chiba”“saitama”“gunma”都是先选择服务器再保存�?/p>

接下来获取保存的数据。获取时也要��要获取的键“tokyo”传递给函数库�? 函数库通过与数据保存时相同的算法，�Ҏ��“�?#8221;选择服务器�? 使用的算法相同，��p��选中与保存时相同的服务器�Q�然后发送get命��o�? 只要数据没有因�ؓ某些原因被删除，��p��获得保存的倹{�?/p>

�? 分布式简介：获取�?/p>

�q�样�Q�将不同的键保存��C��同的服务器上�Q�就实现了memcached的分布式�? memcached服务器增多后�Q�键��׃��分散�Q�即使一台memcached服务器发生故�? 无法�q�接�Q�也不会影响其他的缓存，�pȝ��依然能��l�运行�?/p>

接下来介�l?a >�W?��?/a> 中提到的Perl客户端函数库Cache::Memcached实现的分布式�Ҏ��?/p>

Cache::Memcached的分布式�Ҏ��

Perl的memcached客户端函数库Cache::Memcached�? memcached的作者Brad Fitzpatrick的作品，可以说是原装的函数库了�?/p>

Cache::Memcached - search.cpan.org

该函数库实现了分布式功能�Q�是memcached标准的分布式�Ҏ��?/p>

�Ҏ��余数计算分散

Cache::Memcached的分布式�Ҏ��单来��_��是“�Ҏ��服务器台数的余数�q�行分散”�? 求得键的整数哈希��|��再除以服务器台数�Q�根据其余数来选择服务器�?/p>

下面��Cache::Memcached��化成以下的Perl脚本来进行说明�?/p>

use strict;



use warnings;



use String::CRC32;







my @nodes = ('node1','node2','node3');



my @keys = ('tokyo', 'kanagawa', 'chiba', 'saitama', 'gunma');







foreach my $key (@keys) {



my $crc = crc32($key);             # CRC�?br />


my $mod = $crc % ( $#nodes + 1 );



my $server = $nodes[ $mod ];       # �Ҏ��余数选择服务�?br />


printf "%s => %s"n", $key, $server;



}

Cache::Memcached在求哈希值时使用了CRC�?/p>

String::CRC32 - search.cpan.org

首先求得字符串的CRC��|��Ҏ��该值除以服务器节点数目得到的余数决定服务器�? 上面的代码执行后输入以下�l�果�Q?/p>

tokyo       => node2



kanagawa => node3



chiba       => node2



saitama   => node1



gunma     => node1

�Ҏ��该结果，“tokyo”分散到node2�Q?#8220;kanagawa”分散到node3�{��? 多说一句，当选择的服务器无法�q�接�Ӟ��Cache::Memcached会将�q�接�ơ数 ��d��到键之后�Q�再�ơ计��哈希值�ƈ��试�q�接。这个动作称为rehash�? 不希望rehash时可以在生成Cache::Memcached对象时指�?#8220;rehash => 0”选项�?/p>

�Ҏ��余数计算分散的缺�?/h3>

余数计算的方法简单，数据的分散性也相当优秀�Q�但也有其缺炏V�? 那就是当��d��或移除服务器�Ӟ��~�存重组的代��L��当巨大�? ��d��服务器后�Q�余数就会��生巨变，�q�样��无法获取与保存时相同的服务器，从而媄响缓存的命中率。用Perl写段代码来验证其代�h�?/p>

use strict;



use warnings;



use String::CRC32;







my @nodes = @ARGV;



my @keys = ('a'..'z');



my %nodes;







foreach my $key ( @keys ) {



my $hash = crc32($key);



my $mod = $hash % ( $#nodes + 1 );



my $server = $nodes[ $mod ];



push @{ $nodes{ $server } }, $key;



}







foreach my $node ( sort keys %nodes ) {



printf "%s: %s"n", $node,  join ",", @{ $nodes{$node} };



}

�q�段Perl脚本演示了将“a”�?#8220;z”的键保存到memcached�q�访问的情况�? ��其保存为mod.pl�q�执行�?/p>

首先�Q�当服务器只有三台时�Q?/p>

$ mod.pl node1 node2 nod3



node1: a,c,d,e,h,j,n,u,w,x



node2: g,i,k,l,p,r,s,y



node3: b,f,m,o,q,t,v,z

�l�果如上�Q�node1保存a、c、d、e……�Q�node2保存g、i、k……�Q? 每台服务器都保存�?个到10个数据�?/p>

接下来增加一台memcached服务器�?/p>

$ mod.pl node1 node2 node3 node4



node1: d,f,m,o,t,v



node2: b,i,k,p,r,y



node3: e,g,l,n,u,w



node4: a,c,h,j,q,s,x,z

��d��了node4。可见，只有d、i、k、p、r、y命中了。像�q�样�Q�添加节点后键分散到的服务器会发生巨大变化�?6个键中只有六个在讉K��原来的服务器�Q? 其他的全都移��C��其他服务器。命中率降低�?3%。在Web应用�E�序中��用memcached�Ӟ�� 在添加memcached服务器的瞬间�~�存效率会大�q�度下降�Q�负载会集中到数据库服务器上�Q? 有可能会发生无法提供正常服务的情��c�?/p>

mixi的Web应用�E�序�q�用中也有这个问题，��D��无法��d��memcached服务器�? 但由于��用了新的分布式方法，现在可以轻而易丑֜��d��memcached服务器了�? �q�种分布式方法称�?Consistent Hashing�?/p>

Consistent Hashing

关于Consistent Hashing的思想�Q�mixi株式会社的开发blog�{�许多地斚w��介绍�q�， �q�里只简单地说明一下�?/p>

mixi Engineers' Blog - わV��ヹ{��な分散で快適キャッシュライフ
ConsistentHashing - ゟ냳゗��テン�?ハッ゗��?/a>

Consistent Hashing的简单说�?/h3>
Consistent Hashing如下所�C�：首先求出memcached服务器（节点�Q�的哈希��|�� q�将光��|�到0�?³²的圆�Q�continuum�Q�上�? 然后用同��L��Ҏ��求出存储数据的键的哈希��|��q�映��到圆上�? 然后从数据映��到的位�|�开始顺旉��查找�Q�将数据保存到找到的�W�一个服务器上�? 如果��过2³²仍然找不到服务器�Q�就会保存到�W�一台memcached服务器上�?/p>

�? Consistent Hashing�Q�基本原�?/p>
从上囄��状态中��d��一台memcached服务器。余数分布式��法�׃��保存键的服务器会发生巨大变化而媄响缓存的命中率，但Consistent Hashing中，只有在continuum上增加服务器的地炚w��时针方向的 �W�一台服务器上的键会受到影响�?/p>

�? Consistent Hashing�Q�添加服务器

因此�Q�Consistent Hashing最大限度地抑制了键的重新分布�? 而且�Q�有的Consistent Hashing的实现方法还采用了虚拟节点的思想�? 使用一般的hash函数的话�Q�服务器的映��地点的分布非常不均匀�? 因此�Q��用虚拟节点的思想�Q��ؓ每个物理节点�Q�服务器�Q? 在continuum上分�?00�?00个点。这样就能抑制分布不均匀�Q? 最大限度地减小服务器增减时的缓存重新分布�?/p>
通过下文中介�l�的使用Consistent Hashing��法的memcached客户端函数库�q�行��试的结果是�Q? 由服务器台数�Q�n�Q�和增加的服务器台数�Q�m�Q�计��增加服务器后的命中率计��公式如下：

(1 - n/(n+m)) * 100

支持Consistent Hashing的函数库

本连载中多次介绍的Cache::Memcached虽然不支持Consistent Hashing�Q? 但已有几个客��L��函数库支持了�q�种新的分布式算法�? �W�一个支持Consistent Hashing和虚拟节点的memcached客户端函数库�? 名�ؓlibketama的PHP库，由last.fm开发�?/p>

libketama - a consistent hashing algo for memcache clients – RJ ブロ�?- Users at Last.fm

至于Perl客户端，�q�蝲�?a >�W?��?/a> 中介�l�过的Cache::Memcached::Fast和Cache::Memcached::libmemcached支持 Consistent Hashing�?/p>

Cache::Memcached::Fast - search.cpan.org
Cache::Memcached::libmemcached - search.cpan.org

两者的接口都与Cache::Memcached几乎相同�Q�如果正在��用Cache::Memcached�Q? 那么��可以方便地替换�q�来。Cache::Memcached::Fast重新实现了libketama�Q? 使用Consistent Hashing创徏对象时可以指定ketama_points选项�?/p>

my $memcached = Cache::Memcached::Fast->new({



servers => ["192.168.0.1:11211","192.168.0.2:11211"],



ketama_points => 150



});

另外�Q�Cache::Memcached::libmemcached 是一个��用了Brain Aker开发的C函数库libmemcached的Perl模块�? libmemcached本��n支持几种分布式算法，也支持Consistent Hashing�Q? 其Perl�l�定也支持Consistent Hashing�?/p>

Tangent Software: libmemcached

�ȝ��

本次介绍了memcached的分布式��法�Q�主要有memcached的分布式是由客户端函数库实现�Q? 以及高效率地分散数据的Consistent Hashing��法。下�ơ将介绍mixi在memcached应用斚w��的一些经验，和相关的兼容应用�E�序�?/p>

5. memcached的应用和兼容�E�序

发表日：2008/7/30
作者：镉K��雅广(Masahiro Nagano)
原文链接�Q?a >http://gihyo.jp/dev/feature/01/memcached/0005

我是Mixi的长野。memcached的连载终于要�l�束了�? �?a >上次为止�Q? 我们介绍了与memcached直接相关的话题，本次介绍一些mixi的案例和实际应用上的话题�Q��ƈ介绍一些与memcached兼容的程序�?

mixi案例研究

mixi在提供服务的初期阶段��׃��用了memcached�? 随着�|�站讉K��量的急剧增加�Q�单�U��ؓ数据库添加slave已无法满��需要，因此引入了memcached�? 此外�Q�我们也从增加可扩展性的斚w��q�行了验证，证明了memcached的速度和稳定性都能满��需要�? 现在�Q�memcached已成为mixi服务中非帔R��要的�l�成部分�?/p>

�? 现在的系�l�组�?/p>

服务器配�|�和数量

mixi使用了许许多多服务器�Q�如数据库服务器、应用服务器、图片服务器�? 反向代理服务器等。单单memcached��有��近200台服务器在运行�? memcached服务器的典型配置如下�Q?/p>

CPU�Q�Intel Pentium 4 2.8GHz
内存�Q?GB
��盘�Q?46GB SCSI
操作�pȝ��Q�Linux�Q�x86_64�Q?/li>

�q�些服务器以前曾用于数据库服务器�{�。随着CPU性能提升、内存�h��g��降，我们�U�极地将数据库服务器、应用服务器�{�换成了性能更强大、内存更多的服务器�? �q�样�Q�可以抑制mixi整体使用的服务器数量的急剧增加�Q�降低管理成本�? �׃��memcached服务器几乎不占用CPU�Q�就��换下来的服务器用作memcached服务器了�?/p>

memcached�q�程

每台memcached服务器仅启动一个memcached�q�程。分配给memcached的内存�ؓ3GB�Q? 启动参数如下�Q?/p>

/usr/bin/memcached -p 11211 -u nobody -m 3000 -c 30720

�׃��使用了x86_64的操作系�l�，因此能分�?GB以上的内存�?2位操作系�l�中�Q? 每个�q�程最多只能��?GB内存。也曄��考虑�q�启动多个分�?GB以下内存的进�E�，但这样一台服务器上的TCP�q�接数就会成倍增加，��理上也变得复杂�Q? 所以mixi��q��一使用�?4位操作系�l��?/p>

另外�Q�虽然服务器的内存�ؓ4GB�Q�却仅分配了3GB�Q�是因�ؓ内存分配量超�q�这个��|�� 有可能��D��内存交换(swap)。连载的�W?��?/a>�? 前坂讲解�q�了memcached的内存存�?#8220;slab allocator”�Q�当时说�q�，memcached启动�? 指定的内存分配量是memcached用于保存数据的量�Q�没有包�?#8220;slab allocator”本��n占用的内存�? 以及��Z��保存数据而设�|�的��理�I�间。因此，memcached�q�程的实际内存分配量要比指定的容量要大，�q�一点应当注意�?/p>

mixi保存在memcached中的数据大部分都比较��。这��P��q�程的大��要�? 指定的容量大很多。因此，我们反复改变内存分配量进行验证， ��认�?GB的大��不会引发swap�Q�这��是现在应用的数倹{�?/p>

memcached使用�Ҏ��和客��L��

现在�Q�mixi的服务将200台左右的memcached服务器作��Z��个pool使用�? 每台服务器的定w��?GB�Q�那么全体就有了��近600GB的巨大的内存数据库�? 客户端程序库使用了本�q�蝲中多�ơ提到�R的Cache::Memcached::Fast�Q? 与服务器�q�行交互。当�Ӟ��~�存的分布式��法使用的是 �W?��?/a>介绍�q�的 Consistent Hashing��法�?/p>

Cache::Memcached::Fast - search.cpan.org

应用层上memcached的��用方法由开发应用程序的工程师自行决定�ƈ实现�? 但是�Q��ؓ了防止�R轮再造、防止Cache::Memcached::Fast上的教训再次发生�Q? 我们提供了Cache::Memcached::Fast的wrap模块�q��用�?/p>

通过Cache::Memcached::Fast�l�持�q�接

Cache::Memcached的情况下�Q�与memcached的连接（文�g句柄�Q�保存在Cache::Memcached包内的类变量中�? 在mod_perl和FastCGI�{�环境下�Q�包内的变量不会像CGI那样随时重新启动�Q? 而是在进�E�中一直保持。其�l�果��是不会断开与memcached的连接，减少了TCP�q�接建立时的开销�Q�同时也能防止短旉��内反复进行TCP�q�接、断开而导致的TCP端口资源枯竭�?/p>

但是�Q�Cache::Memcached::Fast没有�q�个功能�Q�所以需要在模块之外 ��Cache::Memcached::Fast对象保持在类变量中，以保证持久连接�?/p>

package Gihyo::Memcached;







use strict;



use warnings;



use Cache::Memcached::Fast;







my @server_list = qw/192.168.1.1:11211 192.168.1.1:11211/;



my $fast;  ## 用于保持对象







sub new {



my $self  = bless {}, shift;



if ( !$fast ) {



$fast = Cache::Memcached::Fast->new({ servers => "@server_list });



}



$self->{_fast} = $fast;



return $self;



}







sub get {



my $self = shift;



$self->{_fast}->get(@_);



}

上面的例子中�Q�Cache::Memcached::Fast对象保存到类变量$fast中�?/p>

公共数据的处理和rehash

诸如mixi的主��上的新闻这��L��所有用户共享的�~�存数据、设�|�信息等数据�Q? 会占用许多页�Q�访问次��C��非常多。在�q�种条�g下，讉K��很容易集中到某台memcached服务器上�? 讉K��集中本��n�q�不是问题，但是一旦访问集中的那台服务器发生故障导致memcached无法�q�接�Q? ��׃��产生巨大的问题�?/p>

�q�蝲�?a >�W?��?/a> 中提刎ͼ�Cache::Memcached拥有rehash功能�Q�即在无法连接保存数据的服务器的情况下，会再�ơ计��hash��|��q�接其他的服务器�?/p>

但是�Q�Cache::Memcached::Fast没有�q�个功能。不�q�，它能够在�q�接服务器失败时�Q? 短时间内不再�q�接该服务器的功能�?/p>

my $fast = Cache::Memcached::Fast->new({



max_failures     => 3,



failure_timeout  => 1



});

在failure_timeout�U�内发生max_failures以上�ơ连接失败，��׃��再连接该memcached服务器�? 我们的设�|�是1�U�钟3�ơ以上�?/p>

此外�Q�mixi�q��ؓ所有用户共享的�~�存数据的键名设�|�命名规则， �W�合命名规则的数据会自动保存到多台memcached服务器中�Q? 取得时从中仅选取一台服务器。创��函数库后�Q�就可以使memcached服务器故�? 不再产生其他影响�?/p>

memcached应用�l�验

到此为止介绍了memcached内部构造和函数库，接下来介�l�一些其他的应用�l�验�?/p>

通过daemontools启动

通常情况下memcached�q�行得相当稳定，但mixi现在使用的最新版1.2.5 曄��发生�q�几�ơmemcached�q�程��L��的情��c��架构上保证了即使有几台memcached故障也不会媄响服务，不过对于memcached�q�程��L��的服务器�Q�只要重新启动memcached�Q? ��可以正常运行，所以采用了监视memcached�q�程�q�自动启动的�Ҏ��? 于是使用了daemontools�?/p>

daemontools是qmail的作者DJB开发的UNIX服务��理工具集，其中名�ؓsupervise的程序可用于服务启动、停止的服务重启�{��?/p>

daemontools

�q�里不介�l�daemontools的安装了。mixi使用了以下的run脚本来启动memcached�?/p>

#!/bin/sh







if [ -f /etc/sysconfig/memcached ];then



. /etc/sysconfig/memcached



fi







exec 2>&1



exec /usr/bin/memcached -p $PORT -u $USER  -m $CACHESIZE -c $MAXCONN $OPTIONS

监视

mixi使用了名�?#8220;nagios”的开源监视��Y件来监视memcached�?/p>

Nagios: Home

在nagios中可以简单地开发插�Ӟ��可以详细地监视memcached的get、add�{�动作�? 不过mixi仅通过stats命��o来确认memcached的运行状态�?/p>

define command {



command_name                   check_memcached



command_line                   $USER1$/check_tcp -H $HOSTADDRESS$ -p 11211 -t 5 -E -s 'stats"r"nquit"r"n' -e 'uptime' -M crit



}

此外�Q�mixi��stats目录的结果通过rrdtool转化成图形，�q�行性能监视�Q? �q�将每天的内存��用量做成报表�Q�通过邮�g与开发者共享�?/p>

memcached的性能

�q�蝲中已介绍�q�，memcached的性能十分优秀。我们来看看mixi的实际案例�? �q�里介绍的图表是服务所使用的访问最为集中的memcached服务器�?/p>

�? ��h��?/p>

�? ��量

�? TCP�q�接�?/p>

从上至下依次��求数、流量和TCP�q�接数。请求数最大�ؓ15000qps�Q? ��量辑ֈ�400Mbps�Q�这时的�q�接数已��过�?0000个�? 该服务器没有特别的硬�Ӟ��是开头介�l�的普通的memcached服务器�? 此时的CPU利用率�ؓ�Q?/p>

�? CPU利用�?/p>

可见�Q�仍然有idle的部分。因此，memcached的性能非常高，可以作�ؓWeb应用�E�序开发者放心地保存临时数据或缓存数据的地方�?/p>

兼容应用�E�序

memcached的实现和协议都十分简单，因此有很多与memcached兼容的实现�? 一些功能强大的扩展可以��memcached的内存数据写到磁盘上�Q�实现数据的持久性和冗余�? �q�蝲�W?��?/a> 介绍�q�，以后的memcached的存储层��变成可扩展的（pluggable�Q�，逐渐支持�q�些功能�?/p>

�q�里介绍几个与memcached兼容的应用程序�?/p>

repcached: 为memcached提供复制(replication)功能的patch�?/dd>
Flared: 存储到QDBM。同时实��C��异步复制和fail over�{�功能�?/dd>
memcachedb: 存储到BerkleyDB。还实现了message queue�?/dd>
Tokyo Tyrant: ��数据存储到Tokyo Cabinet。不仅与memcached协议兼容�Q�还能通过HTTP�q�行讉K��?/dd>

Tokyo Tyrant案例

mixi使用了上�q�兼容应用程序中的Tokyo Tyrant。Tokyo Tyrant是��^林开发的 Tokyo Cabinet DBM的网�l�接口。它有自��q��协议�Q�但也拥有memcached兼容协议�Q? 也可以通过HTTP�q�行数据交换。Tokyo Cabinet虽然是一�U�将数据写到��盘的实玎ͼ�但速度相当快�?/p>

mixi�q�没有将Tokyo Tyrant作�ؓ�~�存服务器，而是��它作�ؓ保存键值对�l�合的DBMS来��用�? 主要作�ؓ存储用户上次讉K��旉��的数据库来��用。它与几乎所有的mixi服务都有养I�� 每次用户讉K��面旉��要更新数据，因此负荷相当高。MySQL的处理十分笨重，单独使用memcached保存数据又有可能会丢失数据，所以引入了Tokyo Tyrant�? 但无需重新开发客��L��Q�只需原封不动��C��用Cache::Memcached::Fast卛_��Q? �q�也是优点之一。关于Tokyo Tyrant的详�l�信息，请参考本公司的开发blog�?/p>

mixi Engineers' Blog - Tokyo Tyrantによる耐高負荷DBの構��?/a>

mixi Engineers' Blog - Tokyo (Cabinet|Tyrant)の新��能

�ȝ��

到本�ơ�ؓ止，“memcached全面剖析”�p�d��q��束了。我们介�l�了memcached的基��、内部结构�? 分散��法和应用等内容。读完后如果您能对memcached产生兴趣�Q�就是我们的荣幸�? 关于mixi的系�l�、应用方面的信息�Q�请参考本公司�?a >开发blog�? 感谢您的阅读�?/p>

Blog of JoJo 2009-07-03 12:20 发表评论

每日一�?2009/07/03 How to install NGINX

Blog of JoJo — Fri, 03 Jul 2009 03:28:00 GMT

Nginx (pronounced Engine-X) is a russian open source httpd server originally written by Igor Sysoev back in 2005. Nginx is a very light weight httpd server and reverse proxy. It is estimated that approx. 3 per cent of all web servers run nginx. In Russia the number is as high as 20 percent, including some of their biggest web sites. Nginx is also used by Wordpress.com and 4chan.

Why use Nginx instead of Apache or Lighty? Nginx should be fast. I mean FAST. Fast in a way of over 10000 concurrent requests / sec per server. Now that's fast!

I have wanted to screw 'round with Nginx for a while, so here goes nothing!

How to install Nginx on your Linux box

Nginx can be downloaded from www.nginx.net. Simple web page displays the latest distribution packages and small introduction. Further instructions can be found from Nginx Wiki.

I installed Nginx on my CentOs 5.1 running on VMWare & Macbook. Nginx's version was 0.6.32. The default installation is very straightforward - configure, make & make install. I had to install pcre packages to my box before installing httpd server in order to enable rewrite module. I also used --prefix module to install application where i wanted:

[root@cluster1 nginx-0.6.32]# ./configure --prefix=/opt/nginx-0.6.32
[root@cluster1 nginx-0.6.32]# make
[root@cluster1 nginx-0.6.32]# make install

After this Nginx is ready to serve static files!

How to configure Nginx

When you move to your Nginx installation directory, here's what you see:

drwxr-xr-x 2 root root 4096 Oct 5 23:52 sbin
drwxr-xr-x 2 root root 4096 Oct 5 23:52 html
drwxr-xr-x 2 root root 4096 Oct 5 23:52 conf

Sbin directory has only nginx executable file which starts up httpd. Html directory is same as htdocs directory in Apache - copy your files here in order to serve 'em to the world! Conf-file has all configuration files.

When you start up your nginx (just go to sbin and type ./nginx in order to start your web server!) you get few more directories:

drwx------ 2 nobody root 4096 Oct 5 23:52 proxy_temp
drwxr-xr-x 2 root root 4096 Oct 5 23:52 logs
drwx------ 2 nobody root 4096 Oct 5 23:52 fastcgi_temp
drwx------ 2 nobody root 4096 Oct 5 23:52 client_body_temp

In the conf-directory you can see the following files:

-rw-r--r-- 1 root root 3610 Oct 5 23:52 win-utf
-rw-r--r-- 1 root root 2726 Oct 5 23:52 nginx.conf.default
-rw-r--r-- 1 root root 2726 Oct 5 23:52 nginx.conf
-rw-r--r-- 1 root root 2991 Oct 5 23:52 mime.types.default
-rw-r--r-- 1 root root 2991 Oct 5 23:52 mime.types
-rw-r--r-- 1 root root 2223 Oct 5 23:52 koi-win
-rw-r--r-- 1 root root 2837 Oct 5 23:52 koi-utf
-rw-r--r-- 1 root root 909 Oct 5 23:52 fastcgi_params.default
-rw-r--r-- 1 root root 909 Oct 5 23:52 fastcgi_params

The most important file of them all is of course nginx.conf. The default configuration looks like this after installation:

#user nobody;
worker_processes 1;

#error_log logs/error.log;
#error_log logs/error.log notice;
#error_log logs/error.log info;

#pid logs/nginx.pid;

events {
worker_connections 1024;
}

These are default configuration parameters to set user and logging preferences. If you are your box to run many different applications it is a good idea to change default user to something else, like "nginx" or "www_user".

Worker_connections parameter sets the maximum number of connections each worker can handle. This is quite good default value.

The following part defines base settings for the http access:

http {
include mime.types;
default_type application/octet-stream;

You should not tamper round with mime types because you will likely end up with screwed up web server!

If you want to, you can also change default log format in the following part.

#log_format main '$remote_addr - $remote_user [$time_local] $request '
# '"$status" $body_bytes_sent "$http_referer" '
# '"$http_user_agent" "$http_x_forwarded_for"';

#access_log logs/access.log main;

TCP nopush setting means that HTTP response hearders are all sent in one packet. Sendfile setting means that Nginx ignores the details of the file it is sending and uses kernel sendfile support instead. Keepalive setting defines how long server waits for users packets. This should be changed only to few seconds on busy sites. Gzip compression saves bandwith on site, depending what kind of packets server is sending.

sendfile on;
#tcp_nopush on;

#keepalive_timeout 0;
keepalive_timeout 65;

#gzip on;

The following server part is just like server settings on Apache HTTPD and if you have tampered 'round with Apache before this is quite straightforward to you.

server {
listen 80;
server_name localhost;

#charset koi8-r;

#access_log logs/host.access.log main;

location / {
root html;
index index.html index.htm;
}

#error_page 404 /404.html;

# redirect server error pages to the static page /50x.html
#
error_page 500 502 503 504 /50x.html;
location = /50x.html {
root html;
}

Example how to configure virtual host on Nginx:

# another virtual host using mix of IP-, name-, and port-based configuration
#
#server {
# listen 8000;
# listen somename:8080;
# server_name somename alias another.alias;

# location / {
# root html;
# index index.html index.htm;
# }
#}

These were basic examples of Nginx and what one can do with it. I stripped some configuration examples but here you can see the basics. Later we're going to configure Nginx to use PHP and we're going thru how to use mod_rewrite with Nginx.

Blog of JoJo 2009-07-03 11:28 发表评论

每日一�?2009/06/11 NginX + Apache

Blog of JoJo — Thu, 11 Jun 2009 03:48:00 GMT

cat httpd-vhosts.conf
--------------------------------------------------------------------------------------------
#
# Virtual Hosts
#
# If you want to maintain multiple domains/hostnames on your
# machine you can setup VirtualHost containers for them. Most configurations
# use only name-based virtual hosts so the server doesn't need to worry about
# IP addresses. This is indicated by the asterisks in the directives below.
#
# Please see the documentation at
#
# for further details before you try to setup virtual hosts.
#
# You may use the command line option '-S' to verify your virtual host
# configuration.

#
# Use name-based virtual hosting.
#
NameVirtualHost *:8080

#
# VirtualHost example:
# Almost any Apache directive may go into a VirtualHost container.
# The first VirtualHost section is used for all requests that do not
# match a ServerName or ServerAlias in any block.
#

DocumentRoot /usr/local/site/webroot/mydomain1.com
ServerName mydomain1.com
ErrorLog "/var/log/apache_log/mydomain1.com-error_log"
CustomLog "|/usr/local/site/apache/bin/rotatelogs /var/log/apache_log/apache_accesslog/mydomain1.com-access_log.%Y%m%d 86400 -360" common

Options -Indexes FollowSymLinks
AllowOverride None
Options ExecCGI
#Options None
Order allow,deny
Allow from all

#AuthType basic
#AuthName "private area"
#AuthBasicProvider file
#AuthUserFile /usr/local/site/webroot/mydomain1.com/.htpasswd
#Require valid-user
#Options Indexes FollowSymLinks
#AllowOverride All
#Order deny,allow
ErrorDocument 404 '/?c=interact.image&f=show'

RedirectMatch 404 /".svn(/|$)

DocumentRoot /usr/local/site/webroot/mydomain2.com
ServerName mydomain2.com
ErrorLog "/var/log/apache_log/hkogop-error_log"
CustomLog "|/usr/local/site/apache/bin/rotatelogs /var/log/apache_log/apache_accesslog/mydomain2.com-access_log.%Y%m%d 86400 -360" common

Options -Indexes FollowSymLinks
AllowOverride None
Order allow,deny
Allow from all

#AuthType basic
#AuthName "private area"
#AuthBasicProvider file
#AuthUserFile /usr/local/site/webroot/mydomain1.com/.htpasswd
#Require valid-user
#Options -Indexes FollowSymLinks
#AllowOverride All
#Order deny,allow
ErrorDocument 404 '/?c=interact.image&f=show'

RedirectMatch 404 /".svn(/|$)

DocumentRoot /usr/local/site/webroot/mydomain3.com
ServerName mydomain3.com
ErrorLog "/var/log/apache_log/stage-hkogop-error_log"
CustomLog "|/usr/local/site/apache/bin/rotatelogs /var/log/apache_log/apache_accesslog/mydomain3.com-access_log.%Y%m%d 86400 -360" common

Options -Indexes FollowSymLinks
AllowOverride All
Order allow,deny
Allow from all

#AuthType basic
#AuthName "private area"
#AuthBasicProvider file
#AuthUserFile /usr/local/site/webroot/mydomain3.com/.htpasswd
#Require valid-user
#Options -Indexes FollowSymLinks
#AllowOverride All
#Order deny,allow

RedirectMatch 404 /".svn(/|$)

DocumentRoot /usr/local/site/webroot/mydomain4.com
ServerName mydomain4.com
ErrorLog "/var/log/apache_log/mydomain4.com-error_log"
CustomLog "|/usr/local/site/apache/bin/rotatelogs /var/log/apache_log/apache_accesslog/mydomain4.com-access_log.%Y%m%d 86400 -360" common

Options -Indexes FollowSymLinks
AllowOverride None
Order allow,deny
Allow from all

#AuthType basic
#AuthName "private area"
#AuthBasicProvider file
#AuthUserFile /usr/local/site/webroot/mydomain4.com/.htpasswd
#Require valid-user
#Options -Indexes FollowSymLinks
#AllowOverride All
#Order deny,allow

Order Deny,Allow
Deny from All
Satisfy All

RedirectMatch 404 /".svn(/|$)

cat nginx.conf
--------------------------------------------------------------------------------------------
user mdrop;
worker_processes 1;
master_process on;
daemon off;

error_log logs/error.log;
#error_log logs/error.log info;

#pid        logs/nginx.pid;

events {
    worker_connections 1024;
}

http {
    include       mime.types;
    default_type application/octet-stream;

    log_format main '$remote_addr - $remote_user [$time_local] $request '
                      '"$status" $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';

    access_log logs/access.log main;

    sendfile        on;
    tcp_nopush     on;
    tcp_nodelay     on;
    #keepalive_timeout 0;
    keepalive_timeout 65;

        gzip on;
        gzip_types text/html text/css ;
        gzip_comp_level 3;
        gzip_proxied any;
        gzip_vary on;

    server {
        listen       80;
        server_name _*;

        #charset koi8-r;

        #access_log logs/access.log ;


        location ~* ".(jpg|jpeg|gif|css|png|js|ico|html|inc|mp3|xml|swf)$ {
            root   /usr/local/site/webroot/$host/;
            index index.html index.htm index.php;
    }

        location / {
                proxy_pass   http://127.0.0.1:8080;
        proxy_set_header Host $host;
        proxy_set_header   X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_pass_header Server;

        client_max_body_size       8m;
        client_body_buffer_size    128k;

        proxy_connect_timeout      90;
        proxy_send_timeout         90;
        proxy_read_timeout         90;

        proxy_buffer_size          4k;
        proxy_buffers              64 32k;
        proxy_busy_buffers_size    64k;
        proxy_temp_file_write_size 64k;

        }

        #error_page 404              /404.html;

        # redirect server error pages to the static page /50x.html
        #
        error_page   500 502 503 504 /50x.html;
        location = /50x.html {
            root   html;
        }

        # deny access to .htaccess files, if Apache's document root
        # concurs with nginx's one
        #
        location ~ /".ht {
            deny all;
        }
        location ~ /".svn {
            deny all;
        }

        location ~ /"sql {
            deny all;
        }

    }

    # another virtual host using mix of IP-, name-, and port-based configuration
    #
    #server {
    #    listen       8000;
    #    listen       somename:8080;
    #    server_name somename alias another.alias;

    #    location / {
    #        root   html;
    #        index index.html index.htm;
    #    }
    #}

    # HTTPS server
    #
    #server {
    #    listen       443;
    #    server_name localhost;

    #    ssl                  on;
    #    ssl_certificate      cert.pem;
    #    ssl_certificate_key cert.key;

    #    ssl_session_timeout 5m;

    #    ssl_protocols SSLv2 SSLv3 TLSv1;
    #    ssl_ciphers ALL:!ADH:!EXPORT56:RC4+RSA:+HIGH:+MEDIUM:+LOW:+SSLv2:+EXP;
    #    ssl_prefer_server_ciphers   on;

    #    location / {
    #        root   html;
    #        index index.html index.htm;
    #    }
    #}

}

Blog of JoJo 2009-06-11 11:48 发表评论

每日一�?2009/06/09 How to disable directory browsing using .htaccess - Apache Web Server

Blog of JoJo — Tue, 09 Jun 2009 02:49:00 GMT

Apache web server allow directory browsing by default. It’s always good to disable directory browsing in security aspect. To disable directory browsing in apache web server you need to edit the httpd.conf or .htaccess

Disable directory browsing using .htaccess:-

Open your .htacces file
Look for Options Indexes
If Options Indexes exists modify it to Options -Indexes or else add Options -Indexes as a new line
The directory browsing feature should be disable by now

Disable directory browsing using httpd.conf:-

Open your httpd.conf, normally it’s located at /usr/local/apache/conf or /etc/httpd.conf
Go to your own Virtual Host settings and look for “Options Indexes”
Change the Indexes to -Indexes if Option Indexes exists or else add the Options -Indexes line
Restart your apache web server.
The directory browsing feature should be disable by now

Disable directory browsing in CPanel Share Hosting enviroment:-

Login to your CPanel
Click on Index Manager
Directory will be list down. Click on the directory name which you want to disable the directory browsing
Select No Index and click Save
The directory browsing feature should be disable by now

Once you disable directory browsing, visitor will not able to browse your directory by accessing the directory directly (if there is no index.html file). This will protect your files from exposing to the public.

http://ubuntuforums.org/archive/index.php/t-234876.html

Blog of JoJo 2009-06-09 10:49 发表评论

每日一�?2009/06/06 linux服务器配�|�之Sendmail配置

Blog of JoJo — Sat, 06 Jun 2009 11:22:00 GMT

今天我们来配�|�一下简单的sendmail服务。。。呵��c��、、真的简单的配置。。�?br />
rpm -q sendmail

�q�需安装�q�三个包
sendmail-cf-8.12.8-4.i386

sendmail-devel-8.12.8-4.i

sendmail-doc-8.12.8-4.i38

安装好后�Q�我开始配�|�文�Ӟ��Q�，�Q�，

修改/etc/mail/local-hosts-name文�g
[root@localhost named]# cat /etc/mail/local-host-names
# local-host-names - include all aliases for your machine here.
xuwini.com

更改/etc/mail/sendmail.mc文�g�Q�修改下列地方：
DaemonPortsOptions=Port=smtp,Addr=127.0.0.1, Name=MTA 更改为：
DaemonPortsOptions=Port=smtp,Addr=yourip或�?.0.0.0, Name=MTA
然后m4 /etc/mail/sendmail.mc > /etc/mail/sendmail.cf

修改 /etc/rc.d/rc.local
加入一�?nbsp;/usr/sbin/saslauthd -a shadow

用户��理
认证的配�|�：修改/etc/mail/sendmail.mc中的字段�Q�取�?#8220;TRUST_AUTH_MECH”一行和下一�?#8220;define”处的注释。然后m4 /etc/ mail/sendmail.mc>/etc/mail/sendmail.cf�?nbsp;
[root@localhost named]# chkconfig --list saslauthd 开启认�?nbsp;
saslauthd 0:off 1:off 2:off 3:off 4:off 5:off 6:off
[root@localhost named]# chkconfig --level 35 saslauthd on

建立用户帐号
[root@localhost named]# groupadd mailuser
[root@localhost named]# adduser -g mailuser -s /bin/bash xuwin
[root@localhost named]# adduser -g mailuser -s /sbin/nologin xxx
[root@localhost named]# passwd xuwin
[root@localhost named]# passwd xxx 密码都是123

【修�?etc/aliases文�g实现邮�g转发和邮件列表：
admin: xxx 为邮件用户xxx讄��别名admin
testgroup: xuwin,xxx 实现��发发给testgroup的邮件发�l�xuwin �?nbsp;xxx 以上2个可以分别测�?nbsp;
#newaliases �?nbsp; -------对于我们��单的邮�g体系没什么大的用处，个�h觉得

讉K��控制讄��
更改/etc/mail/accesss文�g�Q�增加：
[root@localhost named]# cat /etc/mail/access
# Check the /usr/share/doc/sendmail/README.cf file for a description
# of the format of this file. (search for access_db in that file)
# The /usr/share/doc/sendmail/README.cf is part of the sendmail-doc
# package.
#
# by default we allow relaying from localhost...
localhost.localdomain RELAY
localhost RELAY
127.0.0.1 RELAY
xuwin.com RELAY
完成后makemap hash /etc/mail/access.db < /etc/mail/access�q�行数据库更新�?br />

#service sendmail restart

已经成功�q�入。。。�?br /> 我们试着来写一份简单的信。。�?br /> 那么我在服务器上收信看看。。。。晕倒。。把密码打出啦。。�?br /> [root@localhost root]# telnet localhost 25
Trying 127.0.0.1...
Connected to localhost.
Escape character is '^]'.
220 localhost.localdomain ESMTP Sendmail 8.12.8/8.12.8; Sun, 10 Aug 2008 20:47:0
6 +0800
mail from: root@xuwin.com
250 2.1.0 root@xuwin.com... Sender ok
rcpt to: xuwin@xuwin.com
250 2.1.5 xuwin@xuwin.com... Recipient ok
data
354 Enter mail, end with "." on a line by itself
test
hi.baidu.com/proxuwin
xuwin.com
.
250 2.0.0 m7ACl6B7004271 Message accepted for delivery
quit
221 2.0.0 localhost.localdomain closing connection
Connection closed by foreign host.
��查日志[root@localhost root]# tail /var/log/maillog

你如果想在客��h��上收发邮�Ӟ��那么�q�需跟着我做。。呵��c��。。上面算是成功了�Q�我们看看接下来会不会成功。。。。期待。�?br />
��imap是否安装rpm -q imap
安装rpm -ivh imap-*.rpm

[root@localhost root]# chkconfig imap on
[root@localhost root]# service xinetd restart
停止 xinetd�Q?nbsp; ��定  ]
启动 xinetd�Q?nbsp; ��定  ]
[root@localhost root]# grep imap /etc/services
imap            143/tcp         imap2           # Interim Mail Access Proto v2
imap            143/udp         imap2
imap3           220/tcp                         # Interactive Mail Access
imap3           220/udp                         # Protocol v3
imaps           993/tcp                         # IMAP over SSL
imaps           993/udp                         # IMAP over SSL

有错误。。。那么就仔细��查一下，我们刚刚的配�|?br /> 看了一下，我把�|�络服务重启了一下。。不知道行不行。。。呵�?br /> 我们�l�箋。。。。我估计是imap没配�|�好�Q�因为可以发送的。。。�?br /> 你们看。。。没出错。。完全是可行的。。。。这个就是我们刚刚发的。。。�?br /> 。。。。功夫不负有心�h 啊。。找到原因了。。。呵��c��?nbsp;/sbin/chkconfig imap on。。。。。。是imap没启动。。。晕倒。。�?br />
收到信了把。。。�?br />
当然我们不可能在一台服务器上那么瞎搞，一般都是两��C��个域�q�行邮�g交互。。。方法跟�q�个是一��L��。。大家可以试试。。。呵��c��。。�?br />
教程到此�Q�不好意思，��费大家那么多的旉��在找错误上。。。�?/strong>

Blog of JoJo 2009-06-06 19:22 发表评论

欧美一级大片在线视频,亚洲色图视频网,一区二区三区黄色

每日一�?2009/07/03 memcached完全剖析

1. memcached的基���

memcached是什么？

memcached的特�?/h2> memcached作�ؓ高速运行的分布式缓存服务器�Q�具有以下的特点�?/p> 协议����?/li> ��Z��libevent的事件处�?/li> 内置内存存储方式 memcached不互盔R��信的分布式

内置内存存储方式

memcached不互盔R��信的分布式

安装memcached

用客��L���q�接

使用Cache::Memcached

使用Cache::Memcached�q�接memcached

保存数据

获取数据

删除数据

增一和减一操作

�ȝ��

Slab Allocation的主要术�?/h3> Page 分配�l�Slab的内存空��_��默认�?MB。分配给Slab之后�Ҏ��slab的大���切分成chunk�?/p> Chunk 用于�~�存记录的内存空间�?/p> Slab Class 特定大小的chunk的组�?/p>

在Slab中缓存记录的原理

使用Growth Factor�q�行调优

内存存储的�ȝ��

3.memcached的删除机制和发展方向

memcached在数据删除方面有效利用资�?/h2>

数据不会真正从memcached中消�?/h3> 上次介绍�q�， memcached不会释放已分配的内存。记录超时后�Q�客��L�����无法再看见该记录（invisible�Q�透明�Q�， 其存储空间即可重复��用�?/p>

Lazy Expiration

LRU�Q�从�~�存中有效删除数据的原理

memcached的最新发展方�?/h2> memcached的roadmap上有两个大的目标。一个是二进制协议的�{�划和实玎ͼ�另一个是外部引擎的加载功能�?/p>

二进制协议的格式

HEADER中引人注目的地方

外部引擎支持

���单API设计的成功的关键

�ȝ��

4. memcached的分布式���法

memcached的分布式

memcached的分布式是什么意思？

Cache::Memcached的分布式�Ҏ��

�Ҏ��余数计算分散

Consistent Hashing

支持Consistent Hashing的函数库

�ȝ��

5. memcached的应用和兼容�E�序

mixi案例研究

服务器配�|�和数量

memcached�q�程

memcached使用�Ҏ��和客��L��

通过Cache::Memcached::Fast�l�持�q�接

公共数据的处理和rehash

memcached应用�l�验

通过daemontools启动

监视

memcached的性能

兼容应用�E�序

Tokyo Tyrant案例

�ȝ��

每日一�?2009/07/03 How to install NGINX

每日一�?2009/06/11 NginX + Apache

每日一�?2009/06/09 How to disable directory browsing using .htaccess - Apache Web Server

Disable directory browsing using .htaccess:-

Disable directory browsing using httpd.conf:-

Disable directory browsing in CPanel Share Hosting enviroment:-

每日一�?2009/06/06 linux服务器配�|�之Sendmail配置

1. memcached的基��

memcached的特�?/h2>
memcached作�ؓ高速运行的分布式缓存服务器�Q�具有以下的特点�?/p>

协议��?/li>
��Z��libevent的事件处�?/li>
内置内存存储方式

memcached不互盔R��信的分布式

用客��L��q�接

Slab Allocation的主要术�?/h3>
Page

分配�l�Slab的内存空��_��默认�?MB。分配给Slab之后�Ҏ��slab的大��切分成chunk�?/p>
Chunk

用于�~�存记录的内存空间�?/p>
Slab Class

特定大小的chunk的组�?/p>

数据不会真正从memcached中消�?/h3>
上次介绍�q�， memcached不会释放已分配的内存。记录超时后�Q�客��L��无法再看见该记录（invisible�Q�透明�Q�，其存储空间即可重复��用�?/p>

memcached的最新发展方�?/h2>
memcached的roadmap上有两个大的目标。一个是二进制协议的�{�划和实玎ͼ�另一个是外部引擎的加载功能�?/p>

��单API设计的成功的关键

4. memcached的分布式��法