robots.txt 設定錯誤怎麼辦？解封、驗證與防呆清單

robots.txt 設定錯誤時，先確認檔案是否真的封鎖重要路徑，再修正規則、清除相關快取，最後用 Search Console 重新檢查。robots.txt 的主要用途是管理爬蟲存取，不是讓網頁退出 Google 索引；如果目標是阻止頁面出現在搜尋結果，應評估可被爬取的 noindex 或存取控制。

先用 5 分鐘判斷是不是 robots.txt 問題

1. 直接開啟 本站 robots.txt，確認回應不是 404、403 或 5xx。
2. 尋找是否有針對 Googlebot 或 User-agent: * 的 Disallow: /。
3. 檢查重要內容、CSS、JavaScript 與圖片路徑是否被過度封鎖。
4. 比對最近的主機、CDN、快取或 SEO 外掛變更時間。
5. 在 Search Console 的網址檢查中確認「檢索是否允許」及 Google 上次檢索結果。

Google 的 robots.txt 指南明確說明：robots.txt 主要用來管理檢索流量，不能當成可靠的移除索引方法。即使 URL 被 robots.txt 阻擋，Google 仍可能從外部連結發現並顯示該 URL，只是無法讀取頁面內容。

緊急解封的正確順序

1. 備份現況，再做最小修正

先保存目前檔案內容、HTTP 狀態、更新時間與快取狀態。只修正造成封鎖的規則，不要在事故中順便重寫整份檔案。若全站被 Disallow: / 擋住，可在確認需求後移除該規則或把允許範圍縮到真正不需要檢索的路徑。

2. 確認 Googlebot 取得的是新版

檢查主機快取、頁面快取、CDN 與安全設備是否仍回傳舊內容。用一般瀏覽器與命令列分別取得 robots.txt，確認狀態碼、內容與 Content-Type 一致。不要只看 WordPress 後台顯示。

3. 分開處理「允許檢索」與「允許索引」

若頁面應被 Google 讀取但不應出現在搜尋結果，應讓爬蟲可以存取頁面上的 noindex。Google 的 robots meta 規格提醒：頁面若先被 robots.txt 阻擋，爬蟲就看不到其中的索引規則。若你正面臨大批頁面被排除，可接著參考大量頁面被 noindex 的分類流程。

修正後如何驗證

• HTTP：robots.txt 回傳 200，內容為預期版本。
• 重要路徑：首頁、主要服務頁、文章及必要資源沒有被錯誤封鎖。
• 網址檢查：檢索允許、頁面可取得，且沒有持續 5xx。
• 站內訊號：內部連結、canonical 與 sitemap 都指向要保留的 URL。
• 觀察期：記錄修正日期，持續查看檢索與索引狀態，不把短期波動誤判成修正失敗。

如何避免再次全站封鎖

把 robots.txt 納入版本控管或至少保留可追溯的前後版本；每次變更前檢查重要 URL；部署後從外部重新抓取；並針對 Disallow: /、重要資源路徑與 5xx 設定警示。需要排定修正先後時，可套用SEO 優化優先順序框架，先處理會阻止檢索與轉換的問題。

常見問題

修正 robots.txt 後，排名會立刻恢復嗎？

不一定。修正代表爬蟲重新取得內容的條件恢復，但 Google 仍需要再次檢索、處理與評估頁面。應觀察網址檢查、索引涵蓋與實際搜尋表現，而不是承諾固定天數。

可以用 robots.txt 處理重複內容嗎？

不建議把 robots.txt 當成 canonical 工具。相似或重複 URL 應依情況使用永久轉址、正確 canonical、內部連結與 sitemap 一致性來整合訊號。

需要把 Search Console 異常轉成可執行的修復順序？可從屏柏企業首頁聯絡方士軒（SEO顧問 MARS），討論網站檢索、索引與內容健檢。