先分清三個目標

測試站讓團隊在正式推出前檢查頁面、表格與購物流程,但未完成的價格、測試客戶資料或舊宣傳字句亦可能被人分享。先把目標分成三項:限制未授權人士接觸內容、避免測試頁面出現在搜尋結果、正式推出後讓公開網站可被搜尋器讀取。單靠 robots.txt 不能同時達成三項。負責人應列出需要進入測試站的同事、外判人員及測試服務,並決定哪些資料根本不應複製到測試環境。推出當日由誰撤除限制,也應在開始測試前寫清楚。

真正需要保密的測試站,應在整個環境前設登入或網絡存取限制,包括圖片、檔案及可直接打開的網址。可行時給每位測試者獨立權限,並使用虛構或已妥善去識別的測試資料。難猜的網址不是保安措施;連結可能經轉發訊息、瀏覽紀錄、分析工具或引薦資訊流出。搜尋設定也不會阻止知道網址的人瀏覽內容。如外部測試員只需短期進入,應定下期限及撤權方法。用未登入的乾淨瀏覽器直接測試內頁與檔案,才可確認限制覆蓋全站。

若客戶或測試設備必須免登入預覽,可在可公開存取的 HTML 頁面使用 noindex meta 標記,或以 X-Robots-Tag 回應標頭向支援的搜尋器表明不要收錄。Google 說明搜尋器必須能讀取頁面,才看得到這項指示。因此 noindex 是搜尋結果控制,並非保密措施;其他搜尋器的處理亦可能不同。此類預覽站不應放客戶私隱資料。檢查每種頁面樣板,也要考慮 PDF 等非 HTML 檔案。請直接查看深層頁面和檔案的回應,不能只憑首頁的 CMS 設定判斷全站。

避免 robots.txt 陷阱

robots.txt 用來告訴願意遵守規則的搜尋器哪些網址可抓取。Google 明確指出,它不是阻止網頁出現在搜尋結果的方法:被禁止抓取的網址仍可能因外部連結而被發現,甚至以沒有摘要的形式顯示。若同時以 robots.txt 禁止抓取,又在同一頁加 noindex,Googlebot 便看不到 noindex。團隊以為已發出撤收錄指示,實際卻把指示藏起來。需要保密的內容應使用存取控制;可公開預覽但不想被收錄的頁面才使用可被讀取的 noindex。每個網域適用哪種方法,應清楚記錄。

測試站可能與正式站共用圖片,亦可能在不同主機名稱下複製相同頁面,所以必須連同頁面回應、導覽連結、網站地圖、結構化資料及 canonical 指向一起檢查。即使沒有提交測試站的網站地圖,公開的工作記錄或電郵連結仍可能讓網址被發現。反過來說,正式站若在內部連結或 canonical 中誤指測試站,也會造成推出問題。canonical 不能充當保安工具,也不能取代 noindex。公開站應一致指向預期的正式網址;樣板、資訊流及頁面資料中不應殘留測試主機名稱。

例如零售商準備中英雙語新目錄,測試站有未定稿的優惠橫額及價格 PDF。公司讓代理商與採購同事登入,並把測試訂單與真客戶帳戶分開。其後以登出狀態直接查看首頁、英語商品頁、繁體中文商品頁及 PDF,確認全部受限制。若公司改為免登入的客戶預覽,就要先移除敏感記錄,再於 HTML 和 PDF 回應加入適用的 noindex,並核實實際輸出。兩種安排對應不同業務需要,轉換時必須明確作出決定,不能把其中一種控制誤當另一種。

正式推出時有序撤除限制

建立推出矩陣,列出測試及正式主機名稱,並為每種頁面樣板和檔案選一個代表網址。切換前記下未登入訪客會收到甚麼回應、有沒有 noindex 標記或標頭、robots.txt 是否容許預期的抓取,以及網址是否應出現在網站地圖。正式站上線後,檢查其回應已移除只供預覽使用的 noindex,而且公開頁面不再需要測試站登入;測試站本身仍應受保護,直到下線。部署後要查實際 HTTP 回應及渲染結果,因為建置設定、代理標頭或 CDN 快取可能保留舊指示。

Google Search Console 的網址審查工具可協助查看 Googlebot 收到的內容,網頁索引報告亦可追蹤 noindex 情況。這些報告只反映 Google 的觀察,不能保證新頁面立即出現在結果。若測試網址已被收錄,應按官方移除指引處理,並檢查現時伺服器實際回應;改動標記不會即時更新搜尋結果。指定負責人在推出後重查代表網址,記錄觀察日期。驗收重點是預期公開的正式頁面可讀取、沒有意外阻擋,而測試站仍受控。自然流量或排名屬另一項結果,不應從技術檢查推斷。

推出清單應可供回退。保存推出前的回應檢查、設定負責人,以及錯誤主機名稱外露時如何恢復限制。若緊急回退至舊網站,應重新檢查兩個主機名稱的 noindex 與登入狀態,不能假設舊設定仍在。若由外判網頁團隊交接,業主應索取具體網址及觀察到的回應,而不是一句「SEO 已完成」。簡單的紀錄表可列出網址、存取結果、搜尋指示、預期狀態及檢查日期;日後樣板或代理設定改變時更新。這樣才有可核實的交付物,也方便調查問題。

設計審批用的測試站與模擬真實操作的測試站,也有不同風險。付款服務、表格通知及分析工具即使在不被搜尋收錄的頁面,仍可能產生實際效果。應使用測試憑證及安全的通知目的地,標記內部測試記錄,並確認測試表格不會誤寄電郵給真顧客或建立真訂單。這些操作控制不能取代存取限制,但可防止另一類事故。推出當日要查實核准版本實際使用的環境設定與服務端點。網站完全沒有出現在 Google,也可能把測試提交送進正式系統。交接紀錄應包括搜尋狀態及整合路由兩種檢查。

推出後仍要有人負責。測試主機名稱可能留存數月,下一次活動又再使用。應把它列入資產紀錄,寫明存取負責人、憑證責任、資料保留規則及預計下線日。外判合作完結時應撤除其帳戶,同時保留足夠的推出檢查證據。若預覽站要長期開放作示範,便須定期確認沒有敏感內容、過期優惠或失效的 noindex 回應。每次頁面樣板或託管層改動,重查代表網址比事後追查便宜。負責人能說清每個主機名稱為何可進入、送出甚麼搜尋指示及日後如何處理,這項決定才算完整。記錄亦比單靠最初設定者的記憶可靠。

推出前核對

  • 私人測試頁與檔案是否全部受保護?
  • 公開預覽的 noindex 是否可讓搜尋器讀取?
  • 正式頁面是否已移除測試站登入及不收錄限制?

資料來源及延伸閱讀