我們的一個(gè)web項(xiàng)目，由于新上城市增多，導(dǎo)致訪問量增大，DB壓力增大，作為提供接口的業(yè)務(wù)方，最近被下游反饋大量請求“502”。
502，bad gateway，一般都是upstream（這里就是php）出錯(cuò)，對于php，造成502的原因常見的就是腳本執(zhí)行超過timeout設(shè)置時(shí)間，或者timeout設(shè)置過大，導(dǎo)致php進(jìn)程長時(shí)間不能被釋放，沒有空閑worker進(jìn)程來接客。
我們的項(xiàng)目就是php執(zhí)行時(shí)間設(shè)置過短導(dǎo)致的，對于這種情況，可以先適當(dāng)增大php的執(zhí)行時(shí)間，先保證清除502，優(yōu)化的事情畢竟要花更多的時(shí)間。
控制php執(zhí)行時(shí)間的選項(xiàng)有兩個(gè)，在php.ini中 max_execution_time 和php-fpm中 request_terminate_timeout，其中 request_terminate_timeout 可以覆蓋 max_execution_time，所以如果不想改全局的php.ini，那只改php-fpm的配置就可以了。
下邊我就來詳細(xì)的分析一下為什么php腳本執(zhí)行超出設(shè)置時(shí)間會導(dǎo)致nginx返回502。
先來布景，讓問題復(fù)現(xiàn)：
nginx和php分別只啟動一個(gè)worker，方便追蹤。
php-fpm的request_terminate_timeout設(shè)置為3S。
測試腳本test.php
go go go：
在瀏覽器訪問www.v.com/test.php，3S后如期出現(xiàn)...404？？？what？？？
出師不利啊，趕緊看看nginx的配置文件
這個(gè)location配置是當(dāng)發(fā)生5xx錯(cuò)誤時(shí)跳轉(zhuǎn)到一個(gè)好看點(diǎn)的界面，但是我在/usr/share/nginx/html下并沒有50x.html這個(gè)文件。所以搞了個(gè)404出來。這不是很影響我判斷問題的準(zhǔn)確性？直接注釋掉！再次訪問，等待3S，終于'正常'的界面出來了。
環(huán)境好了，下邊就上套路，按照web問題的排查套路走一遍，先看看錯(cuò)誤日志吧：
nginx:
報(bào)錯(cuò)都是 recv() failed (104: Connection reset by peer。
recv時(shí)失敗了，連接被重置了。為啥連接被重置了？難道一言不合。
我們在看看php-fpm的錯(cuò)誤日志：
（注意php-fpm中php_admin_value[error_log]選項(xiàng)指定php的錯(cuò)誤日志，會覆蓋php.ini中的。但是這里不是看php的錯(cuò)誤，而是看php-fpm的錯(cuò)誤。php-fpm的錯(cuò)誤日志由php-fpm.conf中的error_log選項(xiàng)指定。）
每一次請求都是產(chǎn)生2個(gè)WARNING和1個(gè)NOTICE：
WARNING：腳本執(zhí)行超時(shí)了，終止了。
WARNING：子進(jìn)程收到SIGTERM信號退出了。
NOTICE：啟了一個(gè)新的子進(jìn)程（因?yàn)槲以O(shè)置的pm.min_spare_servers = 1）
看來如果php的worker進(jìn)程執(zhí)行超時(shí)，不僅終止腳本執(zhí)行，而且worker進(jìn)程也會退出?？磥韓ginx的報(bào)錯(cuò)連接被重置是因?yàn)閜hp的worker進(jìn)程退出了（在TCP連接中一方如果斷掉的話會發(fā)送RST給另一方）
通過日志已經(jīng)可以知道php腳本執(zhí)行超時(shí)，worker子進(jìn)程退出，導(dǎo)致nginx報(bào)錯(cuò)Connection reset by peer，下邊我們通過strace來看看php和nginx的情況：
php：
1.accept一個(gè)nginx的連接請求（socket，bind，listen都在master中完成 ），可以看到nginx的端口是47039，從FD0中讀取數(shù)據(jù)，就是從標(biāo)準(zhǔn)輸入中，這個(gè)是fast-cgi協(xié)議規(guī)定的。accept之后的已連接描述符是3。
2.從FD3中讀取nginx傳遞過來的數(shù)據(jù)，fastcgi協(xié)議格式，接收了856字節(jié)。為什么read5次呢？
因?yàn)閒astcgi協(xié)議數(shù)據(jù)包是8字節(jié)對齊，由包頭和包體組成。并且都是會先發(fā)一個(gè)request數(shù)據(jù)包，包含一些請求ID，版本，typpe等信息（包頭包體各占8字節(jié)），再發(fā)一個(gè)params數(shù)據(jù)包，傳遞get參數(shù)和環(huán)境變量（包頭8字節(jié)，包體變長），最后發(fā)送一個(gè)沒有包體只有包頭的params數(shù)據(jù)包，表示參數(shù)發(fā)送結(jié)束（包頭8字節(jié)）。所以前3個(gè)read用來讀出request包的包頭和包體，還有params包的包頭，第四個(gè)read是讀取真正的數(shù)據(jù)，最后一個(gè)read是讀取最后一個(gè)params包的包頭。所以nginx傳遞的數(shù)據(jù)應(yīng)該是8+8+8+856+8=896字節(jié)（和下邊nginx的傳輸bytes能對應(yīng)上）。注意如果是post方式，還會發(fā)送stdin數(shù)據(jù)包。
3.設(shè)置休眠20S，就是php程序中的sleep(20)，之后由于進(jìn)程被終止了，所以后邊就沒啦。strace程序也退出啦。
nginx：
1.accept到瀏覽器的請求，可以看到瀏覽器端的端口是56434，IP是192.168.1.105，已建立連接的FD是3。
2.從FD3中接收數(shù)據(jù)，HTTP協(xié)議。
3.創(chuàng)建一個(gè)socket，F(xiàn)D21，用于和php建立連接。
4.連接到FD21，可以看到連接的是本機(jī)的9000端口，這里nginx和php-fpm使用IP socket連接方式，nginx和php-fpm部署在一臺機(jī)器上可以考慮unix domain socket。
5.向FD21寫入數(shù)據(jù)，fast-cgi協(xié)議格式，我們看到寫入的長度是896，和上邊的php接收的長度是對應(yīng)的。
6.recvfrom函數(shù)從FD21中返回 ECONNRESET (Connection reset by peer)
7.向FD9中寫入錯(cuò)誤信息，可以推斷FD9就是nginx錯(cuò)誤日志的文件描述符。
8.關(guān)閉和FD21的連接。
9.向FD3寫入502 Bad Gateway，就是返回給瀏覽器的信息。
10.向FD8寫入一條訪問日志，可以推斷FD8就是nginx訪問日志的文件描述符。
來驗(yàn)證一下nginx訪問日志和錯(cuò)誤日志的推斷?？梢钥吹降拇_是FD8，F(xiàn)D9，并處于寫入模式。
那么在這個(gè)過程中整個(gè)網(wǎng)絡(luò)包的傳輸我們不妨也看一下：
通過tcpdump抓包，用神器看比較方便。
因?yàn)橹幌肟磏ginx和php的通訊，在上邊又知道nginx的端口是47039，可以通過tcp.srcport==47039過濾出對應(yīng)的包。
可以看到nginx和php-fpm數(shù)據(jù)交互的過程：47039->9000建立三次握手，接著向9000發(fā)送數(shù)據(jù)，9000回復(fù)ACK，3S后9000回復(fù)RST。沒毛病。
注意：
SYN，F(xiàn)IN各占一個(gè)序列號
ACK，RST不占序列號（28，29兩個(gè)包的reqnum和acknum都是相同的）
序列號是每一字節(jié)加1（29包發(fā)送896字節(jié)，同時(shí)29包seq為4219146879，30包的ack為4219147775，正好相差896）
RST不需要回復(fù)。
以上就是本文的全部內(nèi)容，希望對大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
