robots.txt 應否放行 AI 爬蟲？香港網站的實務取捨

robots.txt 可向守規則的爬蟲表達允許或禁止抓取的路徑，但不是存取控制、不能保證 AI 引用，也無法約束所有客戶端。香港網站應分清搜尋索引、即時檢索與訓練用途，按法律、合約與業務目標決定放行範圍，並定期測試重要 URL 沒有被誤封鎖。

這篇適合誰

適合網站負責人、技術 SEO、法務／資訊保安需要對齊爬蟲政策的香港團隊。若目標是 GEO／AI 能見度，技術放行只是條件之一；內容與實體仍要可核實。見AI 搜尋技術基礎。

先分三種 AI 相關存取

1. 搜尋索引：如 Googlebot，影響傳統搜尋與部分 AI 摘要候選。
2. 即時／搜尋型助手爬蟲：用於回答時檢索公開網頁（名稱與行為因產品而異）。
3. 訓練或其他用途爬蟲：可能用於模型資料或其他目的；是否放行屬政策選擇。

訓練與即時搜尋的分別見訓練資料與即時搜尋。

robots.txt 能做與不能做

決策前要問的五條

• 哪些路徑含登入後、個人或合約敏感資料？
• 業務是否希望出現在 AI 答案與搜尋摘要？
• 法務／客戶合約對爬取與訓練有何要求？
• 現有 Allow／Disallow 是否誤傷 CSS、API 或重要服務頁？
• 誰負責審批與每季覆核 bots 清單？

實作檢查清單

1. 用純文字編輯 robots.txt，避免錯誤語法令規則失效。
2. 抽查首頁、服務頁、指南與 sitemap 中的 URL 是否被誤 Disallow。
3. 確認 Search Console／伺服器日誌中的重要爬蟲狀態。
4. 記錄每次 bot 政策變更的日期、原因與批准人。
5. 內容更新後，用實際抓取驗證 HTML 可讀。
6. 對齊 CDN／WAF 規則，避免「robots 允許但邊緣節點全擋」。

可與Sitemap 檢查、技術 GEO一併審核。

llms.txt 與其他補充檔

llms.txt 等新興慣例最多作補充說明，不能取代可索引 HTML、robots 與真實內容。網站建設清單見網站建設。

治理：誰批准、多久覆核

建議每季或產品／合約變更時覆核：bot 清單、敏感路徑、sitemap 一致性、抽樣抓取結果。變更要有書面原因，避免「某人從網上複製範本」直接上線。

常見錯誤

• 複製海外範本，封鎖搜尋型爬蟲卻放行無關路徑
• 把 robots.txt 當成資安邊界
• 以為寫了 Allow 就等於「已做 GEO」
• sitemap、noindex、密碼門與 CDN 規則互相矛盾
• Disallow 了整個網站資源目錄導致渲染失敗

限制與下一步

爬蟲名稱、用途與遵守程度會改變；不遵守 robots.txt 的客戶端仍可能存在。政策應與法律意見及合約一同檢視，本文不構成法律建議。完整診斷見Audit。

放行爬蟲只表示願意被抓取；是否被引用仍取決於查詢、內容、實體與競爭來源。