Resin網頁伺服器執行lsof -i:8080 命令出現大量的ESTABLISHED連接

 Resin服務的端口為8080,執行lsof -i:8080 命令出現大量的ESTABLISHED連接:

然後執行netstat -n | awk '/^tcp/ {++y[$NF]} END {for(w in y) print w, y[w]}' 命令發現存在大量狀態為TIME_WAIT的連接:

簡單來說,
ESTABLISHED表示正在進行網絡連接的數量,
TIME_WAIT表示表示等待系統主動關閉網絡連接的數量,
CLOSE_WAIT表示被動等待程序關閉的網絡連接數量,因此TIME_WAIT跟服務器的配置有關,而CLOSE_WAIT跟程序進行網絡連接有關了,通常是程序沒有主動關閉網絡連接所致。

上圖中顯然TIME_WAIT的數量太多了,需要對服務器進行配置。對/etc/sysctl.conf 文件做如下設置(包含每個配置項的說明):

//*对于一个新建连接,内核要发送多少个 SYN 连接请求才决定放弃,不应该大于255,默认值是5,对应于180秒左右时间   
net.ipv4.tcp_syn_retries=2 
#net.ipv4.tcp_synack_retries=2 
//表示当keepalive起用的时候,TCP发送keepalive消息的频度。缺省是2小时,改为300秒 
net.ipv4.tcp_keepalive_time=1200 
net.ipv4.tcp_orphan_retries=3 
//表示如果套接字由本端要求关闭,这个参数决定了它保持在FIN-WAIT-2状态的时间 
net.ipv4.tcp_fin_timeout=30   
//表示SYN队列的长度,默认为1024,加大队列长度为8192,可以容纳更多等待连接的网络连接数。 
net.ipv4.tcp_max_syn_backlog = 4096 
//表示开启SYN Cookies。当出现SYN等待队列溢出时,启用cookies来处理,可防范少量SYN攻击,默认为0,表示关闭 
net.ipv4.tcp_syncookies = 1 

//表示开启重用。允许将TIME-WAIT sockets重新用于新的TCP连接,默认为0,表示关闭 
net.ipv4.tcp_tw_reuse = 1 
//表示开启TCP连接中TIME-WAIT sockets的快速回收,默认为0,表示关闭
net.ipv4.tcp_tw_recycle = 1 

//减少超时前的探测次数   
net.ipv4.tcp_keepalive_probes=5   
//优化网络设备接收队列   
net.core.netdev_max_backlog=3000
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22

修改保存之後執行/sbin/sysctl -p讓參數生效即可。這裡需要說明幾點:
(1) net.ipv4.tcp_tw_reuse和net.ipv4.tcp_tw_recycle的開啟都是為了回收處於TIME_WAIT狀態的資源,net.ipv4.tcp_fin_timeout這個時間可以減少在異常情況下服務器從FIN-WAIT -2轉到TIME_WAIT的時間,net.ipv4.tcp_keepalive_*一系列參數,是用來設置服務器檢測連接存活的相關配置。

(2)如果客戶端訪問是NAT網絡,不要開啟net.ipv4.tcp_tw_recycle或者在服務端關閉time stamp (echo 0 /proc/sys/net/ipv4/tcp_timestamps),參考這篇文章:不要在linux上啟用net.ipv4.tcp_tw_recycle參數【經驗總結】tcp_tw_recycle參數引發的故障
(3) Windows服務器的解決方法請參考這篇文字:在Windows上遇到非常多TIME_WAIT連線時應如何處理

另外如果出現大量的CLOSE_WAIT說明程序在進行網絡連接的時候沒有主動關閉連接,比如使用HttpClient調用網絡連接的時候,當出現錯誤的時候沒有調用abort()方法,或者網絡連接結束之後沒有調用close方法等等,具體在源代碼中進行排查即可

留言

這個網誌中的熱門文章

10.29 Slow HTTP Denial of Service Attack (Slowloris)

在CentOS 8 Stream安裝NTP Client與設定時區

Update Pattern of TrendMicro AntiVirus Software - ServerProtect