使用Erlang语言也写一个测试和前面大同异的测试，?00万个q发q接用户情况下，是惌察一下极显情况下的表现?br />
q个试使用了优U的Erlang界的明星框架
试Erlang服务?/h2>
q行在VMWare Workstation 9中，64位Centos 6.4pȝQ分?4.9G内存左右Q双?个线E，服务器安装Erlang/OTP R16BQ最新版本支持异步代码热加蝲Q很赞?/p>
下蝲安装
本系l已l提前安装JDKQ只需要安装Erlang好了?/p>
安装依赖
yum install build-essential m4
yum install openssl
yum install openssl-devel
yum install unixODBC
yum install unixODBC-devel
yum -y install openssl make gcc gcc-c++ kernel-devel m4 ncurses-devel openssl-devel
yum install xsltproc fop
源代码安?/p>
#wget https://elearning.erlang-solutions.com/binaries/sources/otp_src_R16B.tar.gz
#tar xvf otp_src_R16B.tar.gz
cd otp_src_R16B
./configure --prefix=/usr/local/erlang --enable-hipe --enable-threads --enable-smp-support --enable-kernel-poll
make
make install
d到环境变量中(/etc/profile)
export ERL_HOME=/usr/local/erlang export PATH=$ERL_HOME/bin:$PATH
保存生效
source /etc/profile
试q程创徏
q里拯《ErlangE序设计》一书提供的processes.erl源码Q稍作修攏V?
创徏一百万个进E，看看大概p多少旉?/p>
[yongboy@base erlang]$ erl +P 10240000
Erlang R16B (erts-5.10.1) [source] [64-bit] [smp:4:4] [async-threads:10] [hipe] [kernel-poll:false]
Eshell V5.10.1 (abort with ^G)
1> processes:max(200000).
Maxmium allowed process is 16777216 Process spawn time=1.1 (2.68) microseconds ok
2> processes:max(200000).
Maxmium allowed process is 16777216 Process spawn time=1.7 (2.33) microseconds ok
3> processes:max(200000).
Maxmium allowed process is 16777216 Process spawn time=1.55 (2.12) microseconds ok
4> processes:max(1000000).
Maxmium allowed process is 16777216 Process spawn time=2.97 (3.967) microseconds ok
5> processes:max(1000000).
Maxmium allowed process is 16777216 Process spawn time=2.4 (2.729) microseconds ok
6> processes:max(1000000).
Maxmium allowed process is 16777216 Process spawn time=2.19 (2.735) microseconds ok
7> processes:max(10000000).
Maxmium allowed process is 16777216 Process spawn time=3.328 (4.2777) microseconds ok
8> processes:max(10000000).
Maxmium allowed process is 16777216 Process spawn time=3.144 (3.1361) microseconds ok
9> processes:max(10000000).
Maxmium allowed process is 16777216 Process spawn time=3.394 (3.2051) microseconds ok
恩，创徏1000万个q程Q每一个进E花?.4微秒(μs)的CPU旉Q相当于4.3微秒(μs)的消耗时?亦即消耗的真实旉),在一定量的区间内Q其值变化，可以看做是一个常量?/p>
初始化小问题
Cowboy初始化需要事?/h3>
我们做的单程序，使用了非常受Ƣ迎的cowboy框架Q其启动函数:
cowboy:start_http(my_http_listener, 100,
[{port, 8000}],
[{env, [{dispatch, Dispatch}]}]
),
Cowboy默认支持1024个连接，服务器端输出Q?/p>
online user 1122 online user 1123 停滞于此Q后l的q接只能排队{候了?/p>
q里讄支持无限个连接好了?/p>
{max_connections, infinity}
话说QCowboy为Erlang世界的明星品，l对值得一试！
Erlang默认创徏q程限制
Erlang在我的机器上默认允许创徏的线E也是有限的Q?/p>
erlang:system_info(process_limit).
262144
?6万个Q不够用。在启动脚本(start.sh)处添加允许创建的最大线E支持：(x)
#!/bin/sh
erl +K true +P 10240000 -sname testserver -pa ebin -pa deps/*/ebin -s htmlfilesimple\
-eval "io:format(\"Server start with port 8000 Success!~n\")."脚本启动后现在在erl shell中测试一下：(x)
erlang:system_info(process_limit).
16777216
数量完全够用了?/p>
开启erlang的epoll属?/h3>
+K true | false 是否开启kernel pollQ就是epollQ?
+K true | false 是否开启kernel pollQ就是epollQ?
不开启，试q程中，在内存完好情况下Q经怼(x)有连接失败情c(din)?/p>
使用cowboy_req:compact降低内存占用
一旦你从request对象中获取到_的信息，以后不再获取光加属性时Q调?strong>compact/1函数可去除无用属性，起到节省内存作用?
E序里面调用如下Q?/p>
init(_Any, Req, State) -> NowCount = count_server:welcome(),
io:format("online user ~p :))~n", [NowCount]),
output_first(Req),
Req2 = cowboy_req:compact(Req),
{loop, Req2, State, hibernate}.
在本例中_测压羃内存效果不明显，因ؓ(f) Q测试端输出的HTTP头部压根没有几个?/p>
Cowboy无法处理没有header的HTTPh
q里需要牢讎ͼ也不能算是BUGQ前面的client2.c源码Q就未曾讄HTTP Header元数据，需要做些简单修改，修改之后的测试端E序文g名ؓ(f)client5.c, 可以到这?下蝲client.c?/p>
Cowboy处理长连?/h2>
Cowboy很脓(chung)心的提供?code>cowboy_loop_handler behaviour。在init/3函数中，可以q入休眠状态，节省内存Q消息到达时Q被唤醒Q值得一赞！ 其定义如下：(x) 注意hibernate?strong>timeout参数Q按照实际需求返回即可?/p>
htmlfile_handlerC代码如下Q?
100万ƈ发连接达?/h2>
试q程跌跌撞撞的，虽然q中间因为内存问题抛q的异常Q但也达?00Wq接的数?/p>
online user 1022324 :))
online user 1022325 :))
online user 1022326 :))
online user 1022327 :))
online user 1022328 :))
online user 1022329 :))
online user 1022330 :))
online user 1022331 :))
online user 1022332 :))
online user 1022333 :))
online user 1022334 :))
online user 1022335 :))
online user 1022336 :))
online user 1022337 :))
online user 1022338 :))
可以看到状态信?
一下：(x)
14987952K = 14636M
14987952/1022338 = 14.7K/Connection
未启动时的内存情况：(x)
total used free shared buffers cached
Mem: 14806 245 14561 0 12 60
-/+ buffers/cache: 172 14634
Swap: 3999 0 3999
启动后的内存占用情况Q?/p>
total used free shared buffers cached
Mem: 14806 435 14370 0 12 60
-/+ buffers/cache: 363 14443
Swap: 3999 0 3999
用户量达?022338数量后的内存一览：(x)
total used free shared buffers cached
Mem: 14806 14641 165 0 1 5
-/+ buffers/cache: 14634 172
Swap: 3999 1068 2931
可以看到Q当前内存不够用了，需要虚拟内存配合了?/p>
查看一下当前进E的内存占用
ps -o rss= -p `pgrep -f 'sname testserver'`
4869520
q样v来，pȝ为每一个进E持?4869520/1022338 = 4.8K 内存? q个值只是计物理内存，实际上连虚拟内存都占用了Q估计在4.8K-6.8K之间吧?/p>
和C语言相比Q内存占用相当大Q我虚拟机器分配?5G内存Q也仅仅处理辑ֈ100万的q接Q已l接q极限时Q会(x)发现陆陆l箋的有q接p|?/p>
不得不说的代码热加蝲
q行时系l的代码热加载功能，在这个实例中Q通过vi修改了htmlfile_handler.erl文gQ主要修改内容如下：(x)
io:format("online user ~p :))~n", [NowCount]),
......
io:format("offline user ~p :(( ~n", [NowCount]).
执行makeQ编?/p>
[root@base htmlfilesimple]# make
==> ranch (get-deps)
==> cowboy (get-deps)
==> htmlfilesimple (get-deps)
==> ranch (compile)
==> cowboy (compile)
==> htmlfilesimple (compile)
src/htmlfile_handler.erl:5: Warning: record status is unused
src/htmlfile_handler.erl:29: Warning: variable 'Reason' is unused
Compiled src/htmlfile_handler.erl
很好Q非常智能的rebarQ自动只~译?strong>htmlfile_handler.erl一个文Ӟ然后通知Erlang的运行环境进行代码热替换吧?/p>
(testserver@base)4> code:load_file(htmlfile_handler). 查看日志输出控制収ͼ可以看到已经生效Q同时也保存着到状态数据等?/p>
非常利于q行时调试，即不伤害在线状态数据，又能x修改Q赞Q但生环境下，一般都是版本切换，OTP的版本切换，试或马上修改bugӞ着实有些复杂?/p>
结
和C相比Q处理相同的事情Q?00万ƈ发连接）Q及(qing)其简单，但Erlang?x)需要更多的内存Q廉L(fng)内存可以满Q只是我的搭建在Vmware中的虚拟机器已经辑ֈ了它所要求的极限?
完整的源代码Q可点击q里下蝲?/p>
在服务端Q连接达C定数量，诸如50WӞ有些隐藏很深的问题，׃断的抛出来? 通过查看dmesg命o(h)查看Q发现大?strong>TCP: too many of orphaned sockets错误Q也很正常，下面C需要调整tcp socket参数的时候了?/p>
W一个需要调整的是tcp_rmemQ即TCPd~冲区，单位为字节，查看默认?/p>
cat /proc/sys/net/ipv4/tcp_rmem
4096 87380 4161536
默认gؓ(f)87380 byte ≈ 86KQ最ؓ(f)4096 byte=4KQ最大gؓ(f)4064K?/p>
W二个需要调整的是tcp_wmemQ发送缓冲区Q单位是字节Q默认?/p>
cat /proc/sys/net/ipv4/tcp_wmem
4096 16384 4161536
解释同上
W三个需要调整的tcp_memQ调整TCP的内存大，其单位是，1늭?096字节。系l默认|(x)
cat /proc/sys/net/ipv4/tcp_mem
932448 1243264 1864896
tcp_mem(3个INTEGER变量)Qlow, pressure, high
- lowQ当TCP使用了低于该值的内存面数时QTCP不会(x)考虑释放内存?/li>
- pressureQ当TCP使用了超q该值的内存面数量ӞTCP试图E_其内存用，q入pressure模式Q当内存消耗低于low值时则退出pressure状态?/li>
- highQ允许所有tcp sockets用于排队~冲数据报的面量，当内存占用超q此|pȝ拒绝分配socketQ后台日志输?#8220;TCP: too many of orphaned sockets”?/li>
一般情况下q些值是在系l启动时Ҏ(gu)pȝ内存数量计算得到的? Ҏ(gu)当前tcp_mem最大内存页面数?864896Q当内存?1864896*4)/1024K=7284.75MӞpȝ无法ؓ(f)新的socketq接分配内存Q即TCPq接被拒绝?/p>
实际试环境中，据观察大概在99万个q接左右的时?零头不算)Q进E被杀死，触发out of socket memory错误Qdmesg命o(h)查看获得Q。每一个连接大致占?.5K内存Q下面给方式）Q大致可的此时内存占用情况Q?90000 * 7.5 / 1024K = 7251M)?/p>
q样和tcp_mem最大页面值数量比较吻合，因此此g需要修攏V?/p>
三个TCP调整语句?
echo "net.ipv4.tcp_mem = 786432 2097152 3145728">> /etc/sysctl.conf
echo "net.ipv4.tcp_rmem = 4096 4096 16777216">> /etc/sysctl.conf
echo "net.ipv4.tcp_wmem = 4096 4096 16777216">> /etc/sysctl.conf
备注Q?Z节省内存Q设|tcp诅R写~冲区都?K大小Q?code>tcp_mem三个值分别ؓ(f)3G 8G 16GQ?code>tcp_rmem?code>tcp_wmem最大g?6G?/p>
目标达成
l过若干ơ的试Q最l达到目标，1024000个持久连接?024000数字是怎么得来的呢Q两台物理机器各自发?4000个请求，两个配置?G左右的centos试端机?l定7个桥接或NATq接)各自发出640007 = 448000。也是
1024000 = (64000) + (64000) + (640007) + (64000*7), ׃用了16个网卡（物理|卡+虚拟|卡Q?
l端输出
......
online user 1023990
online user 1023991
online user 1023992
online user 1023993
online user 1023994
online user 1023995
online user 1023996
online user 1023997
online user 1023998
online user 1023999
online user 1024000
在线用户目标辑ֈ1024000个！
服务器状态信?/h2>
服务启动时内存占用：(x)
total used free shared buffers cached
Mem: 10442 271 10171 0 22 78
-/+ buffers/cache: 171 10271
Swap: 8127 0 8127
pȝ辑ֈ1024000个连接后的内存情况（执行三次 free -m 命o(h)Q获取三ơ结果）Q?/p>
total used free shared buffers cached
Mem: 10442 7781 2661 0 22 78
-/+ buffers/cache: 7680 2762
Swap: 8127 0 8127
total used free shared buffers cached
Mem: 10442 7793 2649 0 22 78
-/+ buffers/cache: 7692 2750
Swap: 8127 0 8127
total used free shared buffers cached
Mem: 10442 7804 2638 0 22 79
-/+ buffers/cache: 7702 2740
Swap: 8127 0 8127
q三ơ内存用分别是7680,7692,7702Q这ơ不取^均|取一个中{偏上的|定ؓ(f)7701M。那么程序接?024000个连接，共消耗了 7701M-171M = 7530M内存Q?7530M*1024K / 1024000 = 7.53KQ?每一个连接消耗内存在?.5K左右Q这和在q接辑ֈ512000时所计算较ؓ(f)d?
虚拟行Centos内存占用Q不太稳定，但一般相差不大，以上数|仅供参考?/p>
执行top -p
top - 17:23:17 up 18 min, 4 users, load average: 0.33, 0.12, 0.11
Tasks: 1 total, 1 running, 0 sleeping, 0 stopped, 0 zombie
Cpu(s): 0.2%us, 6.3%sy, 0.0%ni, 80.2%id, 0.0%wa, 4.5%hi, 8.8%si, 0.0%st
Mem: 10693580k total, 6479980k used, 4213600k free, 22916k buffers
Swap: 8323056k total, 0k used, 8323056k free, 80360k cached
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
2924 yongboy 20 0 82776 74m 508 R 51.3 0.7 3:53.95 server 执行vmstateQ?/p>
vmstat
procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu-----
r b swpd free buff cache si so bi bo in cs us sy id wa st
0 0 0 2725572 23008 80360 0 0 21 2 1012 894 0 9 89 2 0 获取当前socketq接状态统计信息：(x)
cat /proc/net/sockstat
sockets: used 1024380
TCP: inuse 1024009 orphan 0 tw 0 alloc 1024014 mem 2
UDP: inuse 11 mem 1
UDPLITE: inuse 0
RAW: inuse 0
FRAG: inuse 0 memory 0
获取当前pȝ打开的文件句柄：(x)
sysctl -a | grep file
fs.file-nr = 1025216 0 1048576
fs.file-max = 1048576
此时McM于下面查询操作都是一个慢Q等待若q时间还不见得执行完毕?/p>
netstat -nat|grep -i "8000"|grep ESTABLISHED|wc -l
netstat -n | grep -i "8000" | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'
以上两个命o(h)在二三十分钟q去了，q未执行完毕Q只好停止?/p>
结
本次从头到尾的测试，所需要有的linuxpȝ需要调整的参数也就是那么几个，汇M下：(x)
echo "* - nofile 1048576" >> /etc/security/limits.conf
echo "fs.file-max = 1048576" >> /etc/sysctl.conf
echo "net.ipv4.ip_local_port_range = 1024 65535" >> /etc/sysctl.conf
echo "net.ipv4.tcp_mem = 786432 2097152 3145728" >> /etc/sysctl.conf
echo "net.ipv4.tcp_rmem = 4096 4096 16777216" >> /etc/sysctl.conf
echo "net.ipv4.tcp_wmem = 4096 4096 16777216" >> /etc/sysctl.conf
其它没有调整的参敎ͼ仅仅因ؓ(f)它们暂时Ҏ(gu)ơ测试没有带来什么媄响，实际环境中需要结合需要调整类gSO_KEEPALIVE、tcpmax_orphans{大量参数?br />
本文代表一ơ实践，不之处Q欢q批评指正?/p>
试端程序需要增加绑定本机IP和本地端口的功能Q以可能的向外发出更多的tcph。需要对client1.c重构Q增加参C递? 下面是client2.c的代?
若不指定端口Q系l会(x)随机挑选没有用到的端口，可以节省些心力?/p>
~译Q?/p>
gcc -o client2 client2.c -levent
参数解释
- -h 要连接的服务器IP地址
- -p 要连接的服务器端?/li>
- -m 本机IP地址需要绑定的随机端口数量
- -o 本机所有可用的IP地址列表Q注意所有IP地址都应该可?/li>
q行Q?/p>
./client2 -h 192.168.190.230 -p 8000 -m 64000 -o 192.168.190.134,192.168.190.143,192.168.190.144,192.168.190.145,192.168.190.146,192.168.190.147,192.168.190.148,192.168.190.149,192.168.190.150,192.168.190.151
太长了，每次执行都要_脓(chung)q去Q直接放在一个client2.sh文g中，执行很单方便多了?/p>
#!/bin/sh
./client2 -h 192.168.190.230 -p 8000 -m 64000 -o 192.168.190.134,192.168.190.143,192.168.190.144,192.168.190.145,192.168.190.146,192.168.190.147,192.168.190.148,192.168.190.149,192.168.190.150,192.168.190.151
保存Q赋值可q行:
chmod +x client2.sh
启动试Q?/p>
sh client2.sh
W三个遇到的问题Qfs.file-max的问?/h2>
试端程序client2.c在发出的数量大于某个|大概?0万时Q是Q通过dmesg命o(h)查看?x)得到大量警告信息?x)
[warn] socket: Too many open files in system
此时Q就需要检?strong>/proc/sys/fs/file-max参数了?
查看一下系l对fs.file-max的说?/p>
/proc/sys/fs/file-max
This file defines a system-wide limit on the number of open files for all processes. (See also setrlimit(2), which can be used by a process to set the per-process limit,
RLIMIT_NOFILE, on the number of files it may open.) If you get lots of error messages about running out of file handles, try increasing this value:
echo 100000 > /proc/sys/fs/file-max
The kernel constant NR_OPEN imposes an upper limit on the value that may be placed in file-max.
If you increase /proc/sys/fs/file-max, be sure to increase /proc/sys/fs/inode-max to 3-4 times the new value of /proc/sys/fs/file-max, or you will run out of inodes.
file-max表示pȝ所有进E最多允许同时打开所有的文g句柄敎ͼpȝU硬限制。Linuxpȝ在启动时Ҏ(gu)pȝg资源状况计算出来的最佳的最大同时打开文g数限Ӟ如果没有Ҏ(gu)需要，不用修改Q除非打开的文件句柄数过此倹{?/p>
在ؓ(f)试机分?G内存Ӟ对应的fs.file-maxgؓ(f)386562Q很昄打开的文件句柄很受限Q?8万个左右?
很显Ӟ无论是测试端q是服务端，都应该将此D大些Q一定要大于{于/etc/security/limits.conf送所讄的soft nofile和soft nofile倹{?
注意ulimit -nQ仅仅设|当前shell以及(qing)由它启动的进E的资源限制?/p>
备注Q以上参敎ͼh包含和被包含的关pR?
当前?x)话修改Q可以这么做Q?/p>
echo 1048576 > /proc/sys/fs/file-max
但系l重启后消失?/p>
怹修改Q要d?/etc/sysctl.conf 文g中：(x)
fs.file-max = 1048576
保存q之生效：(x)
sysctl -p
再测Q就不会(x)出现此问题了?
一?G内存机器试机，分配7个网卡，可以做到不占用虚拟内存，对外发出64000 * 7 = 448000个对外持久请求。要完成100万的持久q接Q还得再惛_法?/p>
最l测试端l成如下Q?/p>
- 两台物理机器各自一个网卡，每个发出64000个请?/li>
- 两个6G左右的centos试端机?l定7个桥接或NATq接)各自发出64000*7 = 448000h
- ׃用了16个网卡（物理|卡+虚拟|卡Q?/li>
- 1M ≈ 1024K ≈ 1024000 = (64000) + (64000) + (64000*7) + (64000*7)
- p费16G内存Q?6个网?物理+虚拟)Q四台测试机
备注Q?
下面p完成1M持久q接的目标，但在服务端还?x)遇到最后一个问题?/p>
试一个非常简单服务器如何辑ֈ100万（1M=1024Kq接Q的q发q接Qƈ且这些连接一旦连接上服务器，׃?x)断开Q一直连着?
环境受限Q没有服务器Q刚开始都是在自己的DELLW记本上试Q凭?6G内存Q和优秀的vmware workstation虚拟机配合，另外q得外借别拟机使用Q最l还得搭上两?G内存的台式机Q安装centosQ，最l才完成1Mq发q接d?
- 试E序也很陋，一个C语言所写服务器E序Q没有Q何业务存在，收到h后发送一些头部，不断开q接
- 试端程序也是用C语言所写，发送请求，然后{待接收数据Q仅此而已
- 服务器端/试端内存都受限(8G不够使用)Q要惛_?024K的目标，需要放弃一些东西，诸如业务不是那么完整
- 一台分?0G内存Centos服务器，两台分配6G内存Centos试端，两台2G内存Centos试?/li>
- 假如热心的?zhn)可以提供丰富的服务器资源Q那再好不q了?/li>
- 理论?00万的q发q接QIO密集型）Q加上业务，40G-50G的内存大概能够保?/li>
说明
以前也做q类似的工作Q量不大Q没记录下来Q一些压力测试和调优Q随着旉逝，早已忘记。这ơ是从零开始，基本上所有过E都?x)记录，一步一步，每一步都?x)遇到问题，q且l出相关解决问题的方法，最l完成目标?
Z方便Q服务器端程序和客户端测试程序，都是使用C语言Q不用像JAVA一样需要预先指定内存，感觉ȝ。用较为原始的语言来写Q可以避免不必要的调优工作。这中间Q可能会(x)I插Java代码的思考方式?/p>
可能需要懂点LinuxQCQJavaQ假如?zhn)有更好的做法Q或者徏议，L(fng)接告知，谢谢?/p>
Linuxpȝ
试端和服务器端都选用较ؓ(f)熟?zhn)?4位Centos 6.4Q?2位系l最多支?G内存Q太受限。IO密集型应用，对CPU要求不是很高。另外服务器保安装上gccQ那可以开工了?
所有端pȝ一旦安装完之后Q默认不做Q何设|?/p>
服务器端E序
服务器端E序依赖libev框架Q需要提前编译，然后存放到相应位|。下面是具体服务器端代码Q?
~译
gcc server.c -o server ../include/libev.a -lm
q行
./server -p 8000
在源码中默认指定?000端口Q可以通过-pq行指定新的端口? 开启了8000端口q行监听hQhttp协议处理cM于htmlfile chunked块编码传输?/p>
试服务器端E序
试E序使用libevent框架Q因其用简单，提供丰富易用接口Q但需要提前下载，手动安装Q?/p>
wget https://github.com/downloads/libevent/libevent/libevent-2.0.21-stable.tar.gz
tar xvf libevent-2.0.21-stable.tar.gz
cd libevent-2.0.21-stable
./configure --prefix=/usr
make
make install
注意make和make install需要root用户?/p>
试端程?/h3>
client1.c 源码Q?/p>
备注Q这部分代码参考了A Million-user Comet Application with Mochiweb, Part 3 Q根据需要有所修改?/p>
~译
gcc -o client1 client1.c -levent
q行
./client1
可能?4位系l会(x)遇到找不?strong>libevent-2.0.so.5情况Q需要徏立一个Yq接
ln -s /usr/lib/libevent-2.0.so.5 /lib64/libevent-2.0.so.5
卛_自动q接IP地址?92.168.190.133:8000的服务器端应用?
W一个遇到的问题Q文件句柄受?/h2>
试端程序输?/strong>
看看试端程序client1输出的错误信息：(x)
Chunks: 798 Bytes: 402990 Closed: 0
Req: 192.168.190.133 -/test/900
Req: 192.168.190.133 -/test/1000
Chunks: 998 Bytes: 503990 Closed: 0
[warn] socket: Too many open files
[warn] socket: Too many open files
[warn] socket: Too many open files
服务器端E序输出
服务器端最后一条日志ؓ(f)
online user 1018
两边都遇C文g句柄打开的情c(din)?
在服务器端查看已l连接，q且端口号ؓ(f)8000的所有连接数量：(x)
netstat -nat|grep -i "8000"|wc -l
1019
但与服务器端输出数量对不上，增加所有已l徏立连接的选项Q?/p>
netstat -nat|grep -i "8000"|grep ESTABLISHED|wc -l
1018
那么剩下的一条数据到底是什么呢Q?/p>
netstat -nat|grep -i "8000"|grep -v ESTABLISHED
tcp 0 0 0.0.0.0:8000 0.0.0.0:* LISTEN 也就是server.c监听的端口，数量上对的上?
在测试服务器端，查看试q程打开的文件句柄数?/p>
lsof -n|grep client1|wc -l
1032
再次执行
ulimit -n
1024
也是是client1应用E序共打开?em>1032个文件句柄，而不?em>1024Qؓ(f)什么？
把当前进E所有打开的文件句柄保存到文g中，慢慢研究
lsof -n|grep client1 > testconnfinfo.txt
导出的文件可以参考：(x)
除了W一行，我特意添加上供友善阅ȝ头部列定义，也就?032行信息，但是需要注意头部：(x)
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
client1 3088 yongboy cwd DIR 253,0 4096 800747 /home/yongboy/workspace/c_socket.io_server/test
client1 3088 yongboy rtd DIR 253,0 4096 2 /test_conn
client1 3088 yongboy txt REG 253,0 9697 799991 /home/yongboy/workspace/c_socket.io_server/test/test_conn_1
client1 3088 yongboy mem REG 253,0 156872 50404 /lib64/ld-2.12.so
client1 3088 yongboy mem REG 253,0 1922152 78887 /lib64/libc-2.12.so
client1 3088 yongboy mem REG 253,0 145720 76555 /lib64/libpthread-2.12.so
client1 3088 yongboy mem REG 253,0 47064 69491 /lib64/librt-2.12.so
client1 3088 yongboy mem REG 253,0 968730 26292 /usr/lib/libevent-2.0.so.5.1.9
client1 3088 yongboy 0u CHR 136,2 0t0 5 /dev/pts/2
client1 3088 yongboy 1u CHR 136,2 0t0 5 /dev/pts/2
client1 3088 yongboy 2u CHR 136,2 0t0 5 /dev/pts/2
client1 3088 yongboy 3u REG 0,9 0 4032 anon_inode
client1 3088 yongboy 4u unix 0xffff88007c82f3c0 0t0 79883 socket
client1 3088 yongboy 5u unix 0xffff880037c34380 0t0 79884 socket
client1 3088 yongboy 6u IPv4 79885 0t0 TCP 192.168.190.134:58693->192.168.190.133:irdmi (ESTABLISHED)
client1 3088 yongboy 7u IPv4 79889 0t0 TCP 192.168.190.134:58694->192.168.190.133:irdmi (ESTABLISHED)
client1 3088 yongboy 8u IPv4 79891 0t0 TCP 192.168.190.134:58695->192.168.190.133:irdmi (ESTABLISHED)
client1 3088 yongboy 9u IPv4 79893 0t0 TCP 192.168.190.134:58696->192.168.190.133:irdmi (ESTABLISHED)
可以看到文g句柄是从0u开始，0u上面?个（5个mem + 3个启动）q程Q?032 - 8 = 1024个文件句柄，q样和pȝ限制的值吻合了?
root用户~辑/etc/security/limits.conf文gdQ?/p>
* soft nofile 1048576
* hard nofile 1048576
- soft是一个警告|而hard则是一个真正意义的阀|过׃(x)报错?/li>
- soft 指的是当前系l生效的讄倹{hard 表明pȝ中所能设定的最大?/li>
- nofile - 打开文g的最大数?/li>
- 星号表示针对所有用P若仅针对某个用户dIDQ请替换星号
注意Q?
1024K x 1024 = 1048576K = 1MQ?百万多一炏V?/strong>
备注Q测试端和服务器端都需要作此设|，保存退出，然后reboot卛_生效?
W一个问题，p样克服了。再ơ运?/client1试E序Q就不会(x)出现受打开文g句柄的限制。但大概在测试端打开对外28200个端口时Q会(x)出现E序异常Q直接退出?/p>
D错?/p>
q个也是E序没有处理端口不够用的异常Q但可以通过增加端口q行解决?
备注Q?
但测试端单机最多只能打开6万多个连接，是一个问题，如何克服Q下一解x问题Qƈ且还?x)遇到文件句柄的受限问题?/p>