/proc/sys/fs/file-max為系統(tǒng)總打開文件數(shù)限制,而ulimit -a看到的是單個進程限制,應該設置這個值。
ulimit -n 4096可以將其設置為4096
不過要想系統(tǒng)重啟后仍然有效,需要將此命令加入/etc/profile
查看某一個進程的最大打開文件數(shù) lsof -p pid ¦ wc -l
Too many open files 問題再現(xiàn)
在之前的“linux文件描述符1024限制”一文中我們用命令ulimit -HSn 65536對句柄數(shù)做了修改,但最近發(fā)現(xiàn)Too many open files 問題有來了,用lsof -p $java_pic|wc -l發(fā)現(xiàn)跑到1200左右就出現(xiàn)大量的此類問題,于是通過網(wǎng)上一篇比較詳細的介紹 ,更加徹底的了解了問題引起的原因!
一種是在搜索的時候出現(xiàn),多半是由于索引創(chuàng)建完畢之后被移動過,如果創(chuàng)建索引的時候不出現(xiàn)該錯誤,搜索的時候也一般是不會出現(xiàn)的。如果出現(xiàn)了,有兩種處理辦法,一種是修改合并因子和最小合并因子,并且使用
IndexWriter.Optimize() 優(yōu)化索引,這樣會將索引文件數(shù)量減少到文件系統(tǒng)限制之內(nèi);另外一種辦法是修改操作系統(tǒng)的打開文件數(shù)量限制。方法如下:
1. 按照最大打開文件數(shù)量的需求設置系統(tǒng), 并且通過檢查/proc/sys/fs/file-max文件來確認最大打開文件數(shù)已經(jīng)被正確設置。
如果設置值太小, 修改文件/etc/sysctl.conf的變量到合適的值。 這樣會在每次重啟之后生效。 如果設置值夠大,跳過下步。
2. 在/etc/security/limits.conf文件中設置最大打開文件數(shù), 下面是一行提示:
另外一種情況是在創(chuàng)建索引的時候,也有兩種可能,一種是 合并因子太小,導致創(chuàng)建文件數(shù)量超過操作系統(tǒng)限制,這時可以修改合并因子,也可以修改操作系統(tǒng)的打開文件數(shù)限制;另外一種是合并因子受虛擬機內(nèi)存的限制,無法調(diào)整到更大,而 需要索引的doc 數(shù)量又非常的大,這個時候就只能通過修改操作系統(tǒng)的打開文件數(shù)限制來解決了。
net.ipv4.tcp_fin_timeout = 30
# Decrease the time default value for tcp_keepalive_time connection
net.ipv4.tcp_keepalive_time = 1800
# Turn off tcp_window_scaling
net.ipv4.tcp_window_scaling = 0
# Turn off the tcp_sack
net.ipv4.tcp_sack = 0
#Turn off tcp_timestamps
echo "1800">/proc/sys/net/ipv4/tcp_keepalive_time
echo "0">/proc/sys/net/ipv4/tcp_window_scaling
echo "0">/proc/sys/net/ipv4/tcp_sack
echo "0">/proc/sys/net/ipv4/tcp_timestamps