頁面設了 noindex 卻仍出現在 Google?檢查 robots.txt 與實際回應
替測試頁加了 noindex,搜尋結果卻仍出現網址,可能是 Google 尚未重新抓取,也可能是 robots.txt 阻擋抓取,讓 Googlebot 看不到指令。robots.txt 限制抓取;noindex 要求支援此規則的搜尋引擎不要收錄。兩者都不是保密機制。
先決定頁面是否應公開
若內容包含客戶資料或測試帳密,立即依權限管理流程限制存取或移除敏感內容;noindex 不能阻止任何人直接開啟網址。若只是公開頁不希望出現在搜尋結果,先記錄完整網址、目前搜尋結果與變更時間。
比對 robots.txt、HTML 與標頭
開啟該網址所屬協定與主機名稱的 /robots.txt,確認適用 Googlebot 的規則是否阻擋目標路徑。先保存原檔並確認設定來源;若由外掛或平台產生,從該系統調整,避免手改後被覆寫。
開啟頁面原始碼,搜尋 robots 或 googlebot,確認 HTML meta 指令包含 noindex。PDF 等非 HTML 資源則檢查 HTTP 回應標頭 X-Robots-Tag: noindex。HTML 與標頭都可能提供指令,也要留意衝突。瀏覽器開發者工具 Network 可檢查最終頁面與各次重新導向的狀態及標頭;以無痕視窗重測,避免只看到管理員專屬回應。
在 Search Console 網址檢查輸入完全相同的正式網址,查看已知索引資料並執行即時測試;兩者反映的時間不同。檢查抓取是否允許,以及 Google 看見的 HTML,參考單一網址檢查教學。Google 官方文件指出 Googlebot 必須能抓取頁面才能看到 noindex。若目標被封鎖,管理者評估後只解除必要的封鎖並保留 noindex;不要刪除整份 robots.txt。
實際指令範例與判讀
HTML 文件的 head 區段可出現以下標籤;這是範例,實際操作應使用目前 SEO 外掛或網站平台提供的頁面設定,避免和自動產生的標籤衝突。
<meta name="robots" content="noindex">
若需對 PDF 等非 HTML 資源設定,由網站伺服器或服務平台針對該資源回傳下列標頭;不是把文字加進 PDF 內容。
X-Robots-Tag: noindex
在 Network 選取最終回應的 Headers 查看 Response Headers。HTML 請以檢視原始碼及 Search Console 回傳的 HTML 核對,瀏覽器元素面板的動態 DOM 不一定等於搜尋引擎收到的原始回應。若在 301 的標頭找到 noindex,但最終 200 頁面沒有,不能因此假定最終頁已受控。若頁面受到登入或 robots.txt 阻擋,先釐清公開目的與抓取限制,不要直接開放機密頁。
追蹤結果與復原
修正後確認公開回應仍含 noindex 且 Googlebot 可抓取,再要求重新檢索並追蹤索引狀態。即時測試成功不等於已從索引移除,結果更新可能需要時間。急需暫時隱藏時可依 Google 官方移除工具流程處理,並保留長期措施。若誤設到應收錄頁面,回復原有 SEO 或伺服器設定、移除不應有的 noindex,確認公開回應後再要求重新檢索;用事前記錄還原精確的 robots.txt 規則。









臉書留言
一般留言