Google 說網頁遭 robots.txt 封鎖?分清禁止檢索與禁止索引

Search Console 顯示重要頁面受到 robots.txt 限制,或新增文章一直無法檢索時,先確認 Google 讀到的規則與真正受影響的網址。robots.txt 控制爬蟲可否抓取,不等同於「禁止搜尋結果出現」。本教學適合能管理網站公開內容與 robots.txt 的維護者;修改前請先備份原設定。

先確認受到影響的網址

在 Search Console 選擇正確的網站資源,用網址檢查工具查看一個需要公開的完整網址,記錄檢索狀態與 Google 提示,再執行即時測試。請分辨報表中的歷史資料與目前測試結果;即時測試通過也不保證立刻被收錄。先前未使用過工具,可參考站內單一網址檢查教學。

檢查 robots.txt 的公開內容

在無痕視窗開啟該網址所屬網域根目錄的 https://example.com/robots.txt,將範例網域改成自己的網域。確認內容與預期相符,並注意 HTTP 與 HTTPS、主網域與子網域可能有不同規則。逐行查找適用於 Googlebot 的 User-agent、Disallow 與 Allow,尤其留意不小心限制整個網站或特定目錄的規則。robots.txt 的來源可能是主機、CDN 或內容管理系統,先確認來源再修改。

使用 Google 的 robots.txt 說明與 Search Console 的 robots.txt 報告,確認 Google 可讀取檔案及解讀規則;不要只憑瀏覽器看到文字,就認定 Google 已採用最新版本。

只調整真正擋住公開頁面的規則

先保存目前檔案或設定,釐清哪些路徑應公開、哪些路徑有其他保護需求,再在測試環境驗證最小變更。不要為了讓某一頁可檢索就直接清空 robots.txt:既有規則可能管理大量不必要的爬蟲流量。完成後重新讀取正式網址,檢查目標路徑與鄰近路徑是否符合預期,再用 Search Console 即時測試;Google 更新快取或重新檢索需要時間。

robots.txt 與 noindex 有何不同?

robots.txt 阻擋抓取時,Google 仍可能從其他連結發現該網址;它不是保密或確保網址不出現在搜尋結果的方式。若公開頁面希望不列入搜尋結果,可依需求設定 HTML robots meta 或 X-Robots-Tag 的 noindex,並允許 Google 抓取該頁以讀取指示。私密資料應使用登入與存取控制,不依賴 robots.txt。詳見 Google 的 noindex 文件。

檢查結果與回復方式

預期結果是 robots.txt 可正常讀取、目標公開頁面的規則不再阻擋,且即時檢查顯示 Google 可以抓取;搜尋收錄仍由 Google 決定,不能保證。若其他路徑被誤放行或檢索異常,立即還原先前備份,重新檢查公開的 robots.txt 與實際頁面,再查明是否有快取或其他設定來源覆蓋。

相連文章

臉書留言

一般留言

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *