MongoDB最大連接數(shù)設(shè)置失效的異常分析過程與解決方法

背景介紹：

查詢MongoDB配置參數(shù)，可以知道關(guān)于最大連接數(shù)的參數(shù)是maxConns。但是連接實(shí)例后，查看支持的最大連接數(shù)，還是默認(rèn)的819。

說明：最大連接數(shù)是由maxConn (maxIncomingConnections)和操作系統(tǒng)單個(gè)進(jìn)程能打開的最大文件描述符數(shù)總量的80%決定的，取兩個(gè)之間的最小值。默認(rèn)單個(gè)進(jìn)程能打開的最大文件描述符數(shù)為1024，1024*80% = 819.2 取整數(shù)819。所以最大可以支持的并發(fā)連接數(shù)為819。

案例重現(xiàn)

以下為本次測(cè)試MongoDB案例配置的參數(shù)。

啟動(dòng)后查看最大連接數(shù)。

運(yùn)行命令：db.serverStatus().connections

Current表示當(dāng)前到實(shí)例上正在運(yùn)行的連接數(shù)。

Available表示當(dāng)前實(shí)例還可以支持的并發(fā)連接數(shù)。

也就是說此實(shí)例最大能支持的并發(fā)連接數(shù)為：Current+available=3+816=819.

所以設(shè)置的maxConns參數(shù)無效。所以設(shè)置的maxConns參數(shù)無效！所以設(shè)置的maxConns參數(shù)無效！所以設(shè)置的maxConns參數(shù)無效！

答案求索

此時(shí)查看查看網(wǎng)上相關(guān)資料，大部分集中在 Linux系統(tǒng)最大文件描述符數(shù)。查看我們系統(tǒng)配置，此時(shí)已經(jīng)是65535了。不是系統(tǒng)最大文件描述符數(shù)限制的了。

轉(zhuǎn)個(gè)彎，因?yàn)槲覀兪菫椴僮飨到y(tǒng)是 centos 7 ，所以我們的mongodb服務(wù)是透過systemctl來管理的。那如果是通過service 命令來管理此服務(wù)呢?

測(cè)試1 測(cè)試用service來管理mongodb 服務(wù) 對(duì)最大連接數(shù)的影響

（1） 在/etc/init.d目錄下創(chuàng)建名為mongodbtest0903的服務(wù)；

（2） 服務(wù)的配置如下：

（3） 賦予執(zhí)行權(quán)限，然后開啟服務(wù)

（4） 此時(shí)查看連接數(shù)為2500（為maxConns參數(shù)值）

（5） 關(guān)閉 mongodb 服務(wù)

以上說明用service 來管理服務(wù)，最大連接數(shù)參數(shù)起作用了。

測(cè)試2 如果直接用Mongodb command打開呢？

（1） 直接開啟

（2）此時(shí)查看連接數(shù)為2500（為maxConns參數(shù)值）

（3）關(guān)閉此服務(wù)

以上說明直接開啟Mongodb服務(wù)，最大連接數(shù)參數(shù)起作用了。

通過service和 mongodb命令啟動(dòng)服務(wù)，最大連接數(shù)都是設(shè)置的參數(shù)，而通過systemctl來開啟此服務(wù)就變成了默認(rèn)的819.

探究

我們來具體分析下systemctl 開啟的 mongodb 服務(wù)（此服務(wù)定義為mongodbtest0903）。

（1）查看此服務(wù)的所有配置細(xì)節(jié)的命令

systemctl show mongodbtest0903.service

部分細(xì)節(jié)如下

此時(shí) LimitNOFILE=4096

（2） 查看此服務(wù)的進(jìn)程，以及此進(jìn)程下的資源限制

進(jìn)程的資源限制

終于看到了 資源限制是1024。

問題1：為什么經(jīng)過systemctl 啟動(dòng)的mongodb服務(wù)變成了默認(rèn)的819.

回答：因?yàn)閟ystemctl 啟動(dòng)的服務(wù)進(jìn)程其最大文件描述符數(shù)變成了1024. 1024*80% = 819.2 取整數(shù)819.

問題2：為什么系統(tǒng)設(shè)置的最大是65525 而 systemctl 變成了1024.

在Centos7系統(tǒng)中，使用Systemd替代了之前的SysV。/etc/security/limits.conf文件的配置作用域縮小了。/etc/security/limits.conf的配置，只適用于通過PAM認(rèn)證登錄用戶的資源限制，它對(duì)systemd的service的資源限制不生效。

其實(shí)仔細(xì)查看/etc/security/limits.conf文件的注釋，說明了對(duì)系統(tǒng)服務(wù)不生效。

解決方案

解決方案，知道了問題所在，針對(duì)此問題尋找解決方案相對(duì)容易了。

解決方案1：針對(duì)單個(gè) systemctl 管理的服務(wù)。

在/lib/systemd/system中找到具體的服務(wù)，增加

# (open files)
LimitNOFILE=64000

命令。 修改后為：

重啟服務(wù)，此時(shí)連接查看最大連接數(shù)為2500，到達(dá)設(shè)置的參數(shù)。

解決方案2 網(wǎng)上有種方案是對(duì)systemd全局修改。此方案本作者沒有驗(yàn)證，轉(zhuǎn)述如下，意思是修改/etc/systemd/system.conf 即可：

全局的配置，放在文件/etc/systemd/system.conf和/etc/systemd/user.conf。 同時(shí)，也會(huì)加載兩個(gè)對(duì)應(yīng)的目錄中的所有.conf文件/etc/systemd/system.conf.d/*.conf和/etc/systemd/user.conf.d/*.conf
其中，system.conf是系統(tǒng)實(shí)例使用的，user.conf用戶實(shí)例使用的。一般的sevice，使用system.conf中的配置即可。systemd.conf.d/*.conf中配置會(huì)覆蓋system.conf。

DefaultLimitCORE=infinity

DefaultLimitNOFILE=100000

DefaultLimitNPROC=100000

注意：修改了system.conf后，需要重啟系統(tǒng)才會(huì)生效。

因?yàn)榉?wù)器上systemctl會(huì)管理多種服務(wù)，為減少對(duì)其它服務(wù)的影響，建議在單個(gè)服務(wù)上修改，集采用第一種方案。

其他相關(guān)知識(shí)

（1）mysql 服務(wù)也會(huì)遇到類似問題；

（2）* nofiles - soft limit on the number of file descriptors a process may have；

（3）*soft limit與hard limit的不同：soft limit是真正生效的限制值，而hard limit僅僅是soft limit調(diào)整范圍的一個(gè)上限。

連接數(shù)優(yōu)化：

通過serverStatus查詢連接數(shù)：

mongo> db.serverStatus().connections

每個(gè)連接都是一個(gè)線程，需要一個(gè)Stack，Linux下缺省的Stack設(shè)置一般比較大：

shell> ulimit -a | grep stack stack size (kbytes, -s) 10240

至于MongoDB實(shí)際使用的Stack大小，可以用如下命令確認(rèn)（單位：K）：

shell> cat /proc/$(pidof mongod)/limits | grep stack | awk -F 'size' '{print int($NF)/1024}'

如果Stack過大（比如：10240K）的話沒有意義，簡(jiǎn)單對(duì)照命令結(jié)果中的Size和Rss：

shell> cat /proc/$(pidof mongod)/smaps | grep 10240 -A 10

所有連接消耗的內(nèi)存加起來會(huì)相當(dāng)驚人，推薦把Stack設(shè)置小一點(diǎn)，比如說1024：

shell> ulimit -s 1024

注：從MongoDB1.8.3開始，MongoDB會(huì)在啟動(dòng)時(shí)自動(dòng)設(shè)置Stack。

總結(jié)

以上就是這篇文章的全部?jī)?nèi)容了，希望本文的內(nèi)容對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，如果有疑問大家可以留言交流，謝謝大家對(duì)腳本之家的支持。