颱風季尾聲伺服器日誌檢視:5xx 錯誤與爬蟲中斷盤點

颱風季尾聲伺服器日誌檢視:5xx 錯誤與爬蟲中斷盤點

作者:平白設計編輯部|發布與最後查證:2026-09-27|適用:台灣(中華民國)|技術資訊,不保證搜尋排名

九月底颱風季接近尾聲,過去一兩個月因風雨導致的短暫停電或主機重啟,可能在伺服器日誌留下大量 5xx 錯誤。這些中斷若剛好碰上搜尋引擎爬蟲造訪,會影響索引狀態。本文整理排查流程,從 access log 篩選異常時段、比對 Search Console 報告到確認 CDN 行為,協助你盤點網站健康度。這是技術檢查步驟,不保證收錄恢復速度。

文章重點

  • 從伺服器日誌篩選 500 至 504 狀態碼集中時段
  • 比對 Search Console 涵蓋範圍報告的伺服器錯誤
  • 確認停機期間是否回傳 503 與 Retry-After 標頭
  • 檢視 Cloudflare 等 CDN 在源站斷線時的快取設定

回顧颱風季的停機與解析異常

九月颱風季末是盤點網站穩定度的好時機。過去幾個月若遇強風豪雨,機房可能短暫停電,或 DNS 解析因上游節點異常而延遲。這些狀況通常只維持數十分鐘到幾小時,但足以讓爬蟲遇到連線失敗。建議先列出這段期間的維運紀錄,再與日誌交叉比對。

停機不一定會直接導致排名下滑,但若頻率過高,搜尋引擎會降低抓取預算。尤其是首頁或重要分類頁反覆回傳錯誤,影響更明顯。排查時可同步確認靜態資源路徑是否正常,例如參考改版後 favicon 路徑怎麼抽樣的做法,逐一核對關鍵檔案的可及性。

除了主機本身,也要留意網域註冊商或 DNS 服務商的公告。有時問題出在上游而非你的伺服器。將這些外部因素納入時間軸,能幫助你判斷 5xx 錯誤的真正來源,避免誤判為程式缺陷或資料庫崩潰。

牆壁插座旁的電源線特寫
颱風後先撈出 5xx 集中的時段跟網址

從 access log 篩選 5xx 集中時段

進入伺服器後,先定位 access log 的位置,常見路徑如 /var/log/nginx/ 或 /var/log/apache2/。用指令篩選狀態碼介於 500 到 504 的紀錄,並按小時彙整數量。若某幾個時段出現尖峰,就代表當時系統有異常。這一步只需基本終端機操作即可完成。

篩選時建議加入 User-Agent 條件,區分一般使用者與爬蟲流量。搜尋引擎機器人遇到 5xx 時的反應與瀏覽器不同,它們會記錄錯誤並在稍後重試。若爬蟲專屬的錯誤比例偏高,需優先處理。具體指令可參考下方範例,依實際環境調整參數。

找出集中時段後,對應系統日誌查看原因。可能是 PHP-FPM 連線滿載、資料庫鎖死或憑證更新失敗。把每個事件記錄下來,形成一份時間表,後續比對 Search Console 時會非常實用。這屬於例行維護,就像檢查改版後 og:locale 怎麼抽樣一樣,是確保資訊正確的基礎工作。

grep -E '" 5[0-9]{2} ' /var/log/nginx/access.log \
  | awk '{print $4}' \
  | cut -d: -f1,2 \
  | sort | uniq -c | sort -rn

grep 'Googlebot' /var/log/nginx/access.log \
  | grep -E '" 5[0-9]{2} ' \
  | wc -l

比對 Search Console 涵蓋範圍報告

打開 Search Console 的「涵蓋範圍」或「網頁索引」報告,切換到錯誤分頁,尋找標示為「伺服器錯誤 (5xx)」的網址。將這些網址與剛才整理的日誌時間表比對,確認兩者是否吻合。若日誌有紀錄但報告未顯示,可能是爬蟲尚未造訪該頁面。

若報告中的錯誤數量在颱風過後持續增加,代表部分頁面仍未正常回應。這時可使用「檢查網址」工具輸入受影響的連結,觀察即時抓取結果。若已恢復正常,點擊要求驗證,通知系統重新評估。此動作不會立即修復索引,但能啟動複查流程。

比對過程中,也別忽略警告層級的項目。某些 5xx 雖被歸類為警告,但若發生在核心轉換頁面,影響不容小覷。建議將所有受影響網址匯出成清單,逐一確認目前的 HTTP 狀態碼,確保沒有遺漏任何仍在報錯的路徑。

機房交換器上閃爍的紅色指示燈
停機沒給 503 標頭爬蟲可能直接記成壞頁

CDN 快取行為與源站斷線應對

使用 Cloudflare 或其他 CDN 時,源站斷線不代表使用者一定看到錯誤頁面。若 CDN 已快取該資源,且設定允許提供過期內容(Stale-While-Revalidate),訪客仍能正常瀏覽。但爬蟲的行為可能不同,需確認 CDN 對搜尋引擎機器人的快取規則是否有特別限制。

當源站完全無法連線,CDN 通常會回傳 521 或 522 等專屬錯誤碼。這些狀態碼對搜尋引擎而言仍屬 5xx 類別,長期存在會影響索引。因此不能因為有 CDN 就忽視源站的可用性。建議在 CDN 控制台設定警報,一旦源站錯誤率上升即刻通知管理員。

恢復上線後,可透過 CDN 的清除快取功能,強制重新抓取最新內容。特別是那些在停機期間被快取為錯誤頁面的網址,必須手動刷新。同時檢查 SSL 憑證是否因重啟而失效,確保 HTTPS 連線正常,避免衍生其他安全性警告。

常見 5xx 狀態碼與排查方向
狀態碼 意義 排查重點
500 內部伺服器錯誤 檢查應用程式日誌與資料庫連線
502 錯誤的閘道 確認反向代理與後端服務是否正常
503 服務暫時無法使用 檢視負載與維護模式設定
504 閘道逾時 調整超時參數或優化慢查詢

可以先做

  • 匯出近兩個月的 access log 並篩選 5xx 紀錄
  • 比對 Search Console 錯誤報告與日誌時段
  • 確認停機維護時是否正確回傳 503 狀態碼
  • 檢查 CDN 在源站斷線時的快取與回傳規則

不要當成已完成

  • 不要把送出驗證請求當作索引已恢復
  • 不要忽略爬蟲專屬的 5xx 錯誤比例
  • 不要在未備份的情況下直接覆寫伺服器設定檔
  • 不要把單一日的日誌當作整體趨勢來解讀

常見問題

5xx 錯誤會立刻導致網頁從搜尋結果消失嗎?

不會立刻消失。搜尋引擎會給予短暫寬限期,若錯誤持續數天以上才可能暫時移除索引。儘速恢復並要求驗證即可。

如何區分是爬蟲還是使用者觸發的 5xx?

在 access log 中過濾 User-Agent 欄位,比對含有 bot 或 crawler 字樣的請求,就能分離出爬蟲流量進行分析。

Retry-After 標頭應該設定多久?

依預計停機時間而定。若維護兩小時,可設為 7200 秒;若不確定,使用 HTTP 日期格式指定確切恢復時間較穩妥。

CDN 回傳 521 算不算伺服器錯誤?

對搜尋引擎而言,521 屬於 5xx 範疇,表示源站拒絕連線。若長時間出現,仍會影響索引狀態,需優先排除。

重點摘要

  1. 颱風季末應盤點日誌中的 5xx 集中時段
  2. 比對 Search Console 報告確認爬蟲是否受阻
  3. 長時間停機務必回傳 503 與 Retry-After 標頭
  4. 檢查 CDN 快取規則避免源站斷線影響索引

撰文:SEO顧問MARS