国产精品午夜视频,亚洲免费小视频,97超碰成人

扚w��清除Squid�~�存的小工具

void — Fri, 26 Jun 2009 02:17:00 GMT

很实用的一个清除squid�~�存的小工具�Q?br /> http://www.wa.apana.org.au/~dean/squidpurge/

wget http://www.wa.apana.org.au/~dean/sources/purge-20040201-src.tar.gz
tar zxvf purge-20040201-src.tar.gz
cd purge
make
[root@cache purge]# ./purge -help
### Use at your own risk! No guarantees whatsoever. You were warned. ###

$Id: purge.cc,v 1.17 2000/09/21 10:59:53 cached Exp $
Usage: purge   [-a] [-c cf] [-d l] [-(f|F) fn | -(e|E) re] [-p h[:p]]
                [-P #] [-s] [-v] [-C dir [-H]] [-n]

-a     display a little rotating thingy to indicate that I am alive (tty only).
-c c   squid.conf location, default "/usr/local/squid/etc/squid.conf".
-C dir base directory for content extraction (copy-out mode).
-d l   debug level, an OR of different debug options.
-e re single regular expression per -e instance (use quotes!).
-E re single case sensitive regular expression like -e.
-f fn name of textfile containing one regular expression per line.
-F fn name of textfile like -f containing case sensitive REs.
-H     prepend HTTP reply header to destination files in copy-out mode.
-n     do not fork() when using more than one cache_dir.
-p h:p cache runs on host h and optional port p, default is localhost:3128.
-P #   if 0, just print matches; otherwise OR the following purge modes:
           0x01 really send PURGE to the cache.
           0x02 remove all caches files reported as 404 (not found).
           0x04 remove all weird (inaccessible or too small) cache files.
        0 and 1 are recommended - slow rebuild your cache with other modes.
-s     show all options after option parsing, but before really starting.
-v     show more information about the file, e.g. MD5, timestamps and flags.

1.清除URL中包含jackbillow.com的所有缓�?br /> ./purge -p 127.0.0.1:80 -P 1 -se 'jackbillow.com'

2.清除 URL �?#8220;.mp3”�l�尾的缓存文�Ӟ��例如�Q?a target="_blank">http://www.jackbillow.com/abc/test.mp3
./purge -p 127.0.0.1:80 -P 1 -se '\.mp3$'

void 2009-06-26 10:17 发表评论

void — Fri, 26 Jun 2009 02:16:00 GMT

公司的网站��用Squid 2.6STABLE2作缓存加速服务器�Q�缓存的命中率一直不好，最好也只能辑ֈ�90%�Q�折腾了�怹��Q�终于发现媄响最大的原来只是一个小参数�Q�不�q�期间也学到了不��东西~

起初�Q�考虑�~�存命中率不高，考虑是不是给Squid的内存不够，所以就加大了内存配�|�，2G内存的机器给Squid 1G用，��试了两天，�l�果基本没有什么大的改变；于是调整refresh_pattern的参敎ͼ�增大内容�~�存旉��Q�测试了两天�Q�效果也不理惟�?/p>

从kxn的文章中知道可以使用Expires模块让Apache�l�文件指定缓存时��_��期望可以提高�~�存性能�Q�于是在服务器上�Q?br /> ExpiresActive On
ExpiresDefault A2592000
�l�果�W�二天一早发现缓存命中率竟然比前一天还下降�?个百本点�Q�有�Ҏ��了~

于是��cachemgr配置��h��Q�详�l�地��查squid的运行状况，发现1G的内存缓存实际只用了不到300M�Q�所以显然不是内存不够的问题�?/p>

��Z��充分利用内存�Q�将maximum_object_size_in_memory调大�?28KB�Q�让其可以缓存更大的文�g�Q�而不是默认的8KB。顺手将ufs换成aufs�Q�启用异步IO�?/p>

之后情况�E�有改善�Q?个小时之后，内存的占用达��C��1G�Q�但命中率�ƈ没有明显上升�?/p>

于是又调整了内存的覆盖策略（memory_replacement_policy�Q�，听从kxn的教�Ԍ��使用lru�Q�发现变化不大，也许是我们的讉K��量还不大的原因吧�?/p>

�q�时候缓存命中率仍然�?0%以下徘徊。是不是我们的网站结构媄响只能达到这么高呢？但是�|�站�l�构我没有办法改变，所以还是要从其他方面入手来解决问题�?/p>

于是使用Cache Manager 仔细的查看各个统计数据，当看到In-Memory and In-Transit Objects��目�Ӟ��发现一个问题，那就是所有的�|�页文�g都显�C�NOT_IN_MEMORY�Q�这��比较奇怪了�Q�问什么访问量最大的�|�页文�g竟然没有被缓存到内存呢？是因为文件太大还是因为文件请求的数量太少�Q�所以才没有被缓存呢�Q�于是找了一个页面作��试�Q��用工��h��看了�q�回的大��，只有40K多一些，�?我的maximum_object_size_in_memory最大�?28KB�q�有相当大的差距�Q�所以不可能是这个原因。于是有使用ab�E�序对这个页面做�?000�ơ请求，心想�q�下��M��~�存了吧。可是查看缓存内容，依然没有�Q�而且不但内存中没有，��p��盘上也没有�Q?/p>

��x��得出�l�论�Q�一定是什么原因阻止了Squid对这些网��进行缓存。仔�l�的��查In-Memory and In-Transit Objects中的内容�Q�发现IN_MEMORY 状态的对象基本都是jpg和gif囑փ�文�g�Q�html,css�{�文本文件内容则都没有缓存�?/p>

�q�两�U�文件有什么不同吗�Q�记忆中Squid也没有对�q�些文�g�c�d��的设定呀�Q�refresh_pattern�Ҏ��有的静态文件的讄��也都是一致的�Q�所以差异不应该来源于squid本��n——也��是因�ؓ�q�种记忆使得我后来多费了许多的功夫~

在Apache上找��C��文本文�g与图像文件之间设�|�的差异——deflate压羃。是不是所有��用deflate压羃的内定w��不会�~�存呢？使用同样的squid软�g版本及配�|�文�Ӟ��相同的Apache软�g版本和配�|�，快速的搭徏了一套测试环境。squid只有1収ͼ�重徏其磁盘缓冲区�Q�重新启�?squid�Q�观察内存中对象的变化。果�Ӟ��对于deflate压羃的内容，squid内存中没有缓存，��盘也找不到。停止apache的deflate�?能，重新��h��面�Q�立卛_��squid的内存中查到了内容的�~�存�Q�这么看来是squid和deflate不太兼容了？

好吧�Q�先��品环境Apache的deflate停掉�Q�过了一�D�|��_��有两台squid的缓存命中了提高��C��94%�Q�虽然只提升�?个百分点�Q�但是这充分验证了squid和deflate不兼容的观点�?/p>

然而，事情到此才刚刚开始！

��N��Squid真的无法�~�存deflate压羃的页面吗�Q�好吧google一下，squid+deflate�Q�在squid的邮件列表中扑ֈ�了一�?讨论deflate的东西，属于比较古老的吧，说因为deflate压羃之后�Q�会产生Content-Encoding: gzip�q�样的HTTP头部�Q�属于HTTP/1.1的内容，而Squid�q�不完全兼容HTTP/1.1之类的，需要用Transfer-Encoding 之类的代替，可是mod_deflate和mod_gzip产生的头部就是Content-Encoding�Q�怎么办？

��Z��解决�q�个问题�Q�引入了另一个Apache的模块，mod_headers�Q�用它来改写HTTP应答的头部，��Content-Encoding更改�l�Transfer-Encoding�Q�可是，很自然的�Q�页面一片�ؕ码！说明此�\不通啊�Q?/p>

又以Content-Encoding为关键字�Q�快速的搜烦了一下squid 2.6STABLE2的源代码�Q�也没有发现几个地方用到�q�个东西�Q�无果�?/p>

�l�箋Google之，squid+can’t cache+Content-Encoding扑ֈ�一��文章，其中�?#8217;SQUID would never bother to cache ANYTHING that had
a “Vary:” header on it.’ 看来Squid�~�存内容与Vary: 头部有关�p�R��再�ơ检查一下HTTP��h��q�回的头部内容，发现对于deflate压羃的内容，拥有”Vary: Accept-Encoding”�q�样一个头部，而没有经�q�deflate压羃的内容则没有�q�个头部�Q�这�ơ看来问题比较清楚了�Q�因为deflate压羃�?加了Vary: Accept-Encoding�q�个头部�Q�导致了内容无法被squid�~�存�?/p>

那么��N��真的没有办法让squid�~�存deflate压羃之后的内容吗�Q?/p>

��Z��上面的经验，很自然的惛_��使用mod_headers模块的功能将Vary头抹掉Squid不就可以�~�存了吗�Q�后来一惻I��q�样会有其它问题�Q?1)如果用户��览器不支持gzip压羃功能�Q�那么将无法正常的浏览网��；2)其它可能很重要的Vary内容也没有了�Q�可能会��D��更大的隐患。那么这�U�办�?不行�?/p>

�q�有其它的办法吗�Q�再�ơ的快速搜索了Squid的源文�g中关于Vary的内容，在Changelog中找��C��q�么一条：
- Full ETag/Vary support, caching responses which varies with request details (browser, language etc).
也就是说已经完全支持带ETag/Vary头部的内容缓存了。这一条出现在Changes to squid-2.6.STABLE1�Q�也��是说在Squid2.6STABLE1��已�l�完全实��C��q�个功能�Q�那�?.6STABLE2应该没有问题�Q�会�?会是2.6STABLE2的BUG呢，查询了一�?.6�p�d��的所有Changelog�Q�没有提到此故障的信息。推断我们的故障要么�׃��个未知BUG��D��Q?要么是自己配�|�不当。BUG的问题我无法��认�Q�只能先从配�|�入手�?/p>

找来一�?.6STABLE2带的默认配置文�g�Q�搜索Vary�Q�第一条：
# TAG: cache_vary
# Set to off to disable caching of Vary:in objects.
#
#Default:
# cache_vary on
��N��我的配置文�g是off不成�Q�赶紧检查，发现�q�真是off�Q�sign�Q�原来就是这个问题折��我�Q�改成on�Q�将Apache的Deflate配置启用�Q�再观察内存对象�Q�发现静态网��늜�的被�~�存了！

郁闷了许久，�l�于可以村֏�气了�?/p>

�q�了一会儿�Q�再查看Squid的状态，发现�~�存命中率没有下降，�E�_��?4%左右�?/p>

也许Squid�q�有什么可挖掘的空间吧�Q�改天接着折腾�Q?/p>

后记�Q�Squid对Vary和Etag的支持属�?.6的一��主要改�q�，�q�一�Ҏ��改�q�Squid对HTTP/1.1标准的支持。在��Squid升�� ?.6之前�Q�也看过他的Changelog�Q�但当时�q�不明白Vary到底有什么用途，�q�么一折腾�Q�明白了不少。看来应该把HTTP/1.1的标准再好好研读一下�?/p>

本文来自CSDN博客�Q��{载请标明出处�Q�http://blog.csdn.net/chinalinuxzend/archive/2007/09/12/1781563.aspx

void 2009-06-26 10:16 发表评论

Squid上徏立SSL代理转发

void — Thu, 28 Aug 2008 11:33:00 GMT

今天��试了一下在squid上徏一个ssl代理转发.其实也蛮�Ҏ��?

https_port 443 cert=/etc/squid/SSL.CRT key=/etc/squid/SSL.KEY defaultsite=ssl.php-oa.com
cache_peer ssl.php-oa.com parent 80 o no-query no-digest originserver name=www
cache_peer_homain www .php-oa.com

其实真的很容�?是吧.有个https_port和cache_peer加上那个ssl的地址基本��好�?记的https_port要加defaultsite.不加会下面错

The following error was encountered:

Invalid Request

Some aspect of the HTTP Request is invalid. Possible problems:

Missing or unknown request method

Missing URL

Missing HTTP Identifier (HTTP/1.0)

Request is too large

Content-Length missing for POST or PUT requests

Illegal character in hostname; underscores are not allowed

�?/p>

可以使用下面命��o可以生成��试用的证书�Q?/p>

openssl req -new -keyout key.pem -nodes -x509 -days 365 -out cert.pem

如果要生成一个证书请求用于申��h��式证书请用下面两个命令：

1.生成�U�钥 openssl genrsa -out key.pem 1024
2.生成待签名证�?openssl req -new -out req.csr -key key.pem

然后��req.csr文�g中的内容提交�l�证书颁发机构�?/p>

void 2008-08-28 19:33 发表评论

void — Thu, 07 Aug 2008 16:52:00 GMT

　　1�?/span>初始化你�?squid.conf 里配�|�的 cache 目录

　　#squid/sbin/squid -z //�W�一�ơ启动squid服务时必��输入此命��o

　　如果有错误提�C�，��h��查你�?cache目录的权限�?/p>

　　2、对你的squid.conf 排错�Q�即验证 squid.conf �?语法和配�|��?/span>

　　#squid/sbin/squid -k parse

　　如果squid.conf 有语法或配置错误�Q�这里会�q�回提示你，如果没有�q�回�Q�恭喜，可以��试启动squid�?/p>

　　3、在前台启动squid�Q��ƈ输出启动�q�程�?/span>

　　#squid/sbin/squid -N -d1

　　如果有到 ready to server reques�Q�恭喜，启动成功�?/p>

　　然后 ctrl + c�Q�停止squid�Q��ƈ以后台运行的方式启动它�?/p>

　　4、启动squid在后台运行�?/span>

　　#squid/sbin/squid -s

　　�q�时候可�?ps -A 来查看系�l�进�E�，可以看到俩个 squid �q�程�?/p>

　　5、停�?squid

　　#squid/sbin/squid -k shutdown

　　�q�个不用解释吧�?/p>

　　6、重引导修改�q�的 squid.conf

　　#squid/sbin/squid -k reconfigure

　　�q�个估计用的时候比较多�Q�当你发��C��的配�|�有不尽你意的时候，可以随时修改squid.conf�Q�然后别忘记对你�?squid.conf排错�Q�然后再执行此指令，卛_��让运行中squid重新按照你的squid.conf 来运行�?/p>

　　7、把squid��d��到系�l�启动项

　　�~�辑 /etc/rc.d/rc.local

　　��d��如下行： /usr/local/squid/sbin/squid -s

　　当然�Q��ƈ不是每个人都喜欢�q�种启动方式�Q�你可以用你最习惯的方�?或者把它安装�ؓ服务�?/p>

　　再来点其他的�?/p>

　　1、修改cache �~�存目录的权限�?/span>

　　#chown -R squid:squid /home/cache

　　我的cache�~�存目录�?/home/cache,squid执行用户和用��L��?squid�Q�squid�?/p>

　　2、修改squid 日志目录的权�?/span>

　　#chown -R squid:squid /usr/local/squid/var/logs

　　�q�一步�ƈ不是适合每一个��用squid的用�?意�ؓ让squid有权限在该目录进行写操作 �?/p>

　　例如生成 access.log cache.log store.log

　　3、查看你的日志文��?/span>

　　#more /usr/local/squid/var/logs/access.log | grep TCP_MEM_HIT

　　该指令可以看到在squid�q�行�q�程中，有那些文件被squid�~�存到内存中�Q��ƈ�q�回�l�访问用戗��?/p>

　　#more /usr/local/squid/var/logs/access.log | grep TCP_HIT

　　该指令可以看到在squid�q�行�q�程中，有那些文件被squid�~�存到cache目录中，�q�返回给讉K��用户�?/p>

　　#more /usr/local/squid/var/logs/access.log | grep TCP_MISS

　　该指令可以看到在squid�q�行�q�程中，有那些文件没有被squid�~�存�Q�而是现重原始服务器获取�ƈ�q�回�l�访问用戗��?/p>

　　关于 TCP_XXXX �{�参数及代表的信息，请参看www.chinaunix.org彭勇华《squid中文权威指南�?3.2.1 章节�?/p>

　　当然�Q�本例中的蓝色文字是可以修改为其他的参数�Q�例如你的域�?www.xxxx.com �Q�同样可以看到access.log里关于该域名的行�?/p>

　　4、squid -k rotate 轮换squid的日志文�?var/log/squid,Squid代理服务器日志文�?/span>

　　的增镉K��度是惊人的,很容易点球满��盘�I�间��D��pȝ��不能正常工作,甚至是死�?��Z��解决日志文�g增长太快的问�?squid采用�?轮换"的方�?在squid.conf中可以通过logfile_rotate来设�|�文件轮换的个数,�?

　　logfile_rotate 10 ,轮换的工作一般用crontab定时器完在周期性的日志轮换,例如每周六凌�?:00�q�行日志轮换,则执行如下命�? crontab -e

　　0 2 * * 6 squid -k rotate

　　��脓�?Squid默认的错误提�C�Z��息�ؓ英文,对于英文不好的用��h��?实在不方�?�?etc/squid/squid.conf里添加如�?

　　error_directory /usr/share/squid/errors/Simplify_Chinese 卛_��昄��中文的错误提�C?/p>

void 2008-08-08 00:52 发表评论

void — Thu, 07 Aug 2008 03:40:00 GMT

#文�g防盗�?br /> acl legalreferer referer_regex ^http://www.linuxbyte.org ^http://[a-z].*\.linuxbyte\.org �Q�受保护的站点和允许的域名）
acl fileurl url_regex -i \.rar$ \.zip$ \.iso$ \.bmp$ \.png$ \.gif$ \.jpg$ \.jpeg$ �Q�受保护的文件名后缀�Q?br /> http_access deny !legalreferer fileurl

#对多媒体文�g的防盗链,能让播放器在�U�播�?但不能盗�?
acl legalplayer browser -i ^windows-media-player ^RealMedia ^Mozilla ^foobar2000 ^nsplayer ^contype$ ^rma
acl mfurl url_regex -i \.wma$ \.wmv$ \.mp3$ \.mp4$ \.flv$ \.avi$ \.asf$ \.mpg$ \.mpeg$ \.rmvb$ \.rm$
http_access allow legalplayer mfurl
http_access deny !legalreferer mfurl

void 2008-08-07 11:40 发表评论