DLevin — Thu, 13 Aug 2015 08:28:00 GMT

问题起因

依然是在使用GemFire的集��中�Q�我们发现偶��会出现一些GemFire的Function执行特别慢，�q�且��过了两分钟�Q��ؓ了保证数据的一致性，我们在写之前需要先拿一个Lock�Q�因��Z��能每个Key都对应一个Lock�Q�因而我们��用了Guava的Stripe Lock�Q�关于Stripe Lock可以参�?a href="http://www.aygfsteel.com/DLevin/archive/2013/12/25/407990.html">�q�里�Q�，而且�q�个Lock本��n我们指定�?分钟的超时时��_��因而如果写��过两分钟，我们��׃��收到Exception�Q�。这个问题其实已�l�困��C��我们好几�q�了�Q�刚前段旉��Q�我们发现长旉��的Stop-The-World GC会引赯��个问题，而且�q�种时候很多时候会引�v那个节点从集��中退出，�q�不是所有的�q�种错误都有GC的问题，我特地查了GC的日志，有些�q�种写超�q�两分钟的情况下�Q�GC一直处于非常健��L��状态，而且查了GemFire的日志和我们自己的日志，也没有发��C�Q何异常。由于我们每个数据保留两分䆾拯��Q�也��是说每�ơ数据写都要写两个节点，两分钟对CPU来说可以做太多的事情�Q�因而只有IO才能在某些时候��生这�U�问题，在问题发生的时候也没有��M��overflow数据�Q�而且本地操作�Q�即使对IO来说2分钟也是一个非帔R��的时间了�Q�因而我们只能怀疑这是写另一个节点引��L��Q�对另一个节点，它是在同一个Data Center中，而且基本是在同一个Chasis内部�Q�因而它们之间小�?M的数据量通信也不太可能花�?分钟的时��_��所以剩下的我们��只能怀疑网�l�的问题了，比如数据丢包、网�l�抖动、网�l�流量太大一起传输变慢等�Q�但是我们没有找��C�Q何相关的问题。所以我们很长一�D�|��间素手无�{�，只能怪GemFire闭源�Q�我们不知道�q�两分钟是不是GemFire自己内部在做一些不��Z�h知的事情�Q�因而太忙了而每来得及处理我们的写请求。虽然我一直觉得不��在处理什么炒作，两分钟都没有响应�Ҏ��无法解释的通，更何况GemFire节点之间�q�没有报告有��M��异常�Q�或者像以前发现的一个节点向Locator举报另一个节�Ҏ��有响应的问题�Q�Locator自己也能很正常的向那个节点发送新的成员信息（View�Q�，因而看��h��向是�q�个节点虽然�׃��两分钟多来写一个数据，但是它还是有响应的，有点“假死”的赶脚�?br />

问题发现

�q�个问题�q�么几年以来时不时的��׃��发生�Q�而且因�ؓ以前��q��旉��太多了，而且也没有找��C�Q何出错的地方�Q�现在烦性不去花太多旉��在上面了�Q�更何况�q�个它很长时间才发生一�ơ，�q�且今年以来��׃��直没发生�q�，直到前几周出��C��ơ，我有点不信邪的重新去看这个问题，依然没有扑ֈ��M��可疑的地方，GC日志、应用程序日志、GemFire自己的日志、网�l�、CPU使用情况�{�所有的都是正常的，除了问题发生的那个时刻，应用�E�序没有��M��日志�Q�另外在问题发生之前出现�q�Log4J日志文�g的Rolling�Q�我们��用RollingFileAppender�Q��ƈ且只保留20个日志文�Ӟ��Q�但是Log4J日志文�gRoll的日志出��C��断结�Q�在开始要Roll到真正完成Roll中间�q�有几行GemFire自��n的日志，此时我�ƈ没有觉得�q�个是有很大问题的，因�ؓ我始�l�觉得Log4J除了它自己提到��^均对性能�?0%的媄响以外，它就是一个简单的把日志写到文件的�q�程�Q�不会媄响的整个应用�E�序本��n�Q�因为它太简单了�Q�直��C��天这个问题再�ơ出玎ͼ�依然没有��M��其他斚w��的收��P��所有的地方都显�C�正常状态，甚至我们之前发现的网卡问题今天也没有发生�Q�然而同��h��出问题的两分钟没有出现应用程序日志，日志文�gRoll的日志和上次�c�M��Q�开始Roll到结束出现GemFire日志的交叉�?

最�q�一�ơ发生的日志

[info 2015/08/12 01:56:07.736 BST …] ClientHealthMonitor: Registering client with member id …

log4j: rolling over count=20971801

log4j: maxBackupIndex=20

[info 2015/08/12 01:56:12.265 BST …] ClientHealthMonitor: Unregistering client with member id …

……

[info 2015/08/12 01:56:23.773 BST …] ClientHealthMonitor: Registering client with member id …

log4j: Renaming file logs/….log.19 to logs/….log.20

一周前发生的日�?/legend>

[info 2015/08/04 01:43:45.761 BST …] ClientHealthMonitor: Registering client with member id …

log4j: rolling over count=20971665

log4j: maxBackupIndex=20

……

[info 2015/08/04 01:45:25.506 BST …] ClientHealthMonitor: Registering client with member id …

log4j: Renaming file logs/….log.19 to logs/….log.20

看似�q�个是一个规律（套用同事的一句话�Q�一�ơ发生时偶然�Q�两�ơ发生就是科学了�Q�。然而此时我其实依然不太�怿�Log4J�?#8220;凶手”�Q�因为我一直觉得Log4J是一个简单的日志输出框架�Q�它要是出问题也只是它自��q��问题�Q�是局部的�Q�而这个问题的出现明显是全局的，直到我突然脑子一闪而过�Q?strong>日志打印的操作是synchronized�Q�也��是说在日志文�gRoll的时候，所有其它需要打日志的线�E�都要等待直到Roll完成�Q�如果这个Roll�q�程��过�?分钟�Q�那么就会发生我们看到的Stripe Lock��时�Q�也��是发生了程�?#8220;假死”的状态�?/strong>重新查看Log4J打印日志的方法调用栈�Q�它会在两个地方用synchronized�Q�即同一个Category�Q�Logger�Q�类实例�Q?br />

  public void callAppenders(LoggingEvent event) {
        int writes = 0;
        for(Category c = this; c != null; c=c.parent) {
            // Protected against simultaneous call to addAppender, removeAppender,
            synchronized(c) {
                if(c.aai != null) {
                    writes += c.aai.appendLoopOnAppenders(event);
                }
                if(!c.additive) {
                    break;
                }
            }
        }
。。�?br />     }

以及同一个Appender在doApppend�Ӟ��

  public synchronized void doAppend(LoggingEvent event) {
      。。�?br />      this.append(event);
    }

而Roll的过�E�就是在append�Ҏ��中，�q�一步分析，在下面两句话之间�Q�他们分别花费了��过100s和超�q?1s的时��_��

log4j: maxBackupIndex=20
。。�?/div>

log4j: Renaming file logs/….log.19 to logs/….log.20

而这两句之间只包含了两个File.exists()�Q�一个File.delete()�Q�一个File.rename()操作�Q?/div>

  public void rollOver() {
。。�?br />      if(maxBackupIndex > 0) {
        // Delete the oldest file, to keep Windows happy.
        file = new File(fileName + '.' + maxBackupIndex);
        if (file.exists())
            renameSucceeded = file.delete();
        for (int i = maxBackupIndex - 1; i >= 1 && renameSucceeded; i--) {
            file = new File(fileName + "." + i);
            if (file.exists()) {
                target = new File(fileName + '.' + (i + 1));
                LogLog.debug("Renaming file " + file + " to " + target);
                renameSucceeded = file.renameTo(target);
            }
        }
。。�?br />      }
    }

NFS��单性能��试和分�?/h2>因而我对NFS的性能作了一些简单测试：

只有一个线�E�时�Q�在NFS下rename性能�Q?/div>

1 file: 3ms

10 files: 48ms

20 files: 114ms

相比较，在本地磁盘rename的性能�Q?/div>

1 file: 1ms

3 files: 1ms

10 files: 3ms

对NFS和本地磁盘写的性能�Q�模拟日志，每行都会flush�Q�：

	NFS	LOCAL
1 writer, 11M	443ms	238ms
1 writer, 101M	2793ms	992ms
10 writers, 11M	~4400ms	~950ms
10 writers, 101M	~30157ms	~5500ms

一些其他的�l�计�Q?/div>

100同时�?

Create 20 files spend: 301ms

Renaming 20 files spends: 333ms

Delete 20 files spends: 329ms

1000同时�?

Create 20 files spend: 40145ms

Renaming 20 files spends: 39273ms

而在1000个同时写的过�E�中�Q�重命名�Q?/strong>

Rename file: LogTest1.50 take: 36434ms

Rename file: LogTest1.51 take: 39ms

Rename file: LogTest1.52 take: 34ms

也就是说在这个模拟过�E�中�Q�一个文件的rename��过36s�Q�而向我们有十几台机器同时使用相同的NFS�Q��ƈ且每台机器上都跑二三十个�E�序�Q�如果那�D�|��间同时有上万个的日志写，可以预计辑ֈ�100s情况是可能发生的�?/div>
关于NFS性能的问题，在《构建高性能WEB站点》的书（330��）中也有涉及。简单的介绍�Q�NFS由Sun�?984�q�开发，是主��异构��^台实现文件共享的首选方案。它�q�没有自��q��传输协议�Q�而是使用RPC�Q�Remote Procedure Call�Q�协议（应用层）�Q�RPC协议默认底层��Z��UDP传输�Q�但是自己实现在丢包时的重传机制�Q�而且NFS服务器采用多�q�程模型�Q�默认进�E��ؓ4�Q�但是一般都会调优增加服务进�E�数�Q�然�?#8220;不管怎么对NFS�q�行性能优化�Q�NFS注定不适合作�ؓI/O密集型文件共享方案，但可以作��Z��般用途，比如提供站点内部的资源共享，它的优势在于�Ҏ��搭徏�Q�而且可以减少不必要的数据冗余�?#8221;
可以使用命��o�Q?#8220;nfsstat -c”获取对NFS服务器的操作的简单统计，具体可以参考《构建高性能WEB站点》的相关章节�Q�里面还有更详细的对NFS服务器性能的测试�?/div>

�ȝ��
从这个事件我�ȝ��了两件事情：
1. 日志的媄响可能是全局性的�Q�因而要非常��心�Q�一个耗时的操作可能引��L��序的“假死”�Q�因而要非常��心�?/div>
2. 虽然把日志打印在NFS上，对大量的日志文�g查找会方便很多，但是�q�是一个很耗性能的设计，特别是当大量的程序共享这个NFS的时候，因而要��量避免�?/div>

DLevin 2015-08-13 16:28 发表评论

亚洲男人天堂网,91麻豆精品久久久久蜜臀,人成免费电影一二三区在线观看

问题起因

问题发现

NFS���单性能���试和分�?/h2>因而我对NFS的性能作了一些简单测试：

�ȝ��

NFS��单性能��试和分�?/h2>因而我对NFS的性能作了一些简单测试：