robots.txt怎麼寫:建立一個 UTF-8 純文字檔,放在網站根目錄,用 User-agent 指定對象,用 Disallow 與 Allow 指定哪些路徑可不可以被檢索,需要時再加上 Sitemap 網址。要記得它管的是「檢索」,不是「隱藏」,被擋住的網址仍可能出現在搜尋結果。這篇依 Google 官方文件,整理格式規則、4 個基本指令、兩組官方範例與上線後的測試方法。
發布日:2026-11-17|更新日:2026-11-17|作者:優勢方舟
本文導讀
網站有些路徑,其實不需要搜尋引擎的機器人進去逛,例如購物車、站內搜尋的結果頁、後台的登入入口。這時候就會用到一個很小的檔案:robots.txt。
它的格式不複雜,但幾個小地方寫錯,效果會和預期完全相反。下面照 Google 官方文件,一項一項看。
robots.txt怎麼寫?先弄清楚它管什麼、不管什麼
robots.txt 是一份放在網站上的文字檔,用來告訴檢索器(crawler,也就是自動讀取網頁的程式)哪些網址可以讀、哪些不要讀。
Google 的說明把重點放在「控管檢索器可存取的檔案」。換句話說,它處理的是機器人要不要進門,不是這個網址會不會出現在搜尋結果。Search Console 的 robots.txt 報表說明裡也寫明:robots.txt 用於阻止檢索,不能阻止內容出現在搜尋結果中;要防止索引,應使用 noindex。

所以如果你要處理的是「這個頁面不要出現在 Google」,robots.txt 並不是正確的工具。如果是「這些路徑不用讓機器人白跑」,才是它的用途。把兩件事分開,後面的寫法才不會出錯。
放在哪裡、什麼格式:5 條基本規則
官方文件對檔案本身的要求很具體,可以整理成 5 條:
1. 位置:必須放在網站主機的根目錄,例如 www.example.com/robots.txt,不能放在子目錄。
2. 檔名:必須叫 robots.txt,每個網站只能有一個。
3. 編碼:UTF-8 純文字檔。官方不建議用文書處理軟體編輯,因為可能夾帶彎引號等不相容的字元。
4. 適用範圍:只適用於發布該檔案的主機、通訊埠與通訊協定。子網域,或 https 與 http,各自需要各自的檔案。
5. 大小寫:路徑會區分大小寫,disallow: /file.asp 不適用於 /FILE.asp。

4 個基本指令:官方範例逐行讀
robots.txt 由「群組」組成,每個群組先指定對象,再列出規則。常用的指令有 4 個:
User-agent:指定這組規則給哪個檢索器。每組至少要有一個,星號 * 代表所有檢索器。官方特別註明,AdsBot 這類檢索器必須明確指名。
Disallow:不允許檢索的路徑,要以斜線 / 開頭;指向目錄時,要以斜線結尾。
Allow:用來覆寫 Disallow,允許檢索被禁止目錄底下的特定子目錄或頁面。
Sitemap:選用,可以有多個,必須是完整網址。官方的說法是,Allow 與 Disallow 指出可以或不可以檢索的內容,Sitemap 則指出 Google 應該檢索的內容。
官方的基本範例如下:
User-agent: Googlebot
Disallow: /nogooglebot/
User-agent: *
Allow: /
Sitemap: https://www.example.com/sitemap.xml
讀法:上面這組只針對 Googlebot,禁止讀取以 /nogooglebot/ 開頭的網址;下面這組對所有檢索器,允許讀取整個網站;末行告訴機器人網站地圖在哪裡。
官方另外示範了三種 user-agent 的寫法,這裡原樣保留,方便對照:
# Example 1: Block only Googlebot
User-agent: Googlebot
Disallow: /
# Example 2: Block Googlebot and Adsbot
User-agent: Googlebot
User-agent: AdsBot-Google
Disallow: /
# Example 3: Block all crawlers except AdsBot
User-agent: *
Disallow: /
三個範例的差別:範例 1 只擋 Googlebot;範例 2 同時擋 Googlebot 與 AdsBot;範例 3 擋掉所有檢索器,但 AdsBot 因為沒有被明確指名,所以不在其中。井字號開頭的是註解,機器人會略過。

以下是我們自己設想的範例,店名與路徑都是虛構的,只用來示範寫法:
User-agent: *
Disallow: /cart/
Disallow: /search/
Allow: /search/help/
Sitemap: https://www.example.com/sitemap.xml
這個例子表示:所有檢索器不要讀購物車與站內搜尋的路徑,但 /search/help/ 這個說明頁例外,可以讀。網站地圖怎麼建立與送出,可以看我們的網站地圖提交步驟。
建立與上傳:5 個動作
官方文件列出的流程,可以整理成這樣:
用純文字編輯器建立檔案,以 UTF-8 儲存;依上面的語法寫群組與規則;上傳到網站根目錄;用私密瀏覽視窗開啟網址,確認內容看得到;再測試語法。
上傳這一步,官方的說法是沒有統一的工具,做法依網站與伺服器架構而定,可以向代管公司詢問。如果用的是 Wix、Blogger 這類平台,可能無法或不需要直接編輯,要改用平台提供的搜尋設定。
上傳之後,官方說明 Google 的檢索器會自動尋找並使用這個檔案,通常不需要額外提交。
上線後測試:Search Console 的 robots.txt 報表
測試語法,官方提供兩種方式:Search Console 的 robots.txt 報表(僅適用於已公開存取的檔案),或用 Google 開放原始碼的 robots.txt 程式庫在本機測試。
報表顯示的內容有:Google 檢查的檔案完整網址、擷取狀態(例如已擷取,或未擷取 – 找不到 (404))、上次檢查的時間、檔案大小,以及剖析問題的數量。官方說明錯誤會讓該檔案的規則無法使用,警告則不影響,Google 會忽略有問題的行,只使用能解析的部分。

如果剛修改規則,想讓重要網址解除封鎖,或是修好了擷取錯誤,可以在報表的檔案清單用更多設定圖示,選「要求重新檢索」。官方也提醒,這不代表會立即重新檢索。
名詞對照:Crawler 是檢索器,Googlebot 是 Google 的檢索器,AdsBot 是廣告檢索器,User-agent 是檢索器名稱,Disallow 是不允許,Allow 是允許,Sitemap 是網站地圖,Noindex 是禁止索引,Root directory 是根目錄,Wildcard 是萬用字元,Comment 是註解,UTF-8 是文字編碼,Search Console 是網站管理工具,Fetch status 是擷取狀態,Recrawl 是重新檢索。
語法對照:User-agent: * 是所有檢索器,Disallow: / 是整個網站都不讀,Allow: / 是整個網站都可以讀,Disallow: /cart/ 是只擋某個目錄,# 後面是註解,Sitemap: 後面接完整網址,https 與 http 是各自獨立的通訊協定,www 與非 www 也是不同的主機。
4 個常見錯誤,寫完先對照
把「整站都擋」寫進正式站。Disallow: / 會讓檢索器不讀整個網站。如果測試站設了這一行,正式上線時要記得改掉,否則機器人讀不到正式站。網站改版或換網址時,都要檢查這一行,可以對照我們的改版前檢查清單。
以為擋了就看不到。前面說過,robots.txt 不能阻止頁面出現在搜尋結果,要避免索引應該用 noindex。
路徑寫錯大小寫或少了斜線。路徑區分大小寫,指向目錄要以斜線結尾。
用文書軟體編輯。可能混進彎引號,官方說明非 UTF-8 的字元會被 Google 忽略,規則因此失效。
robots.txt怎麼寫常見問題
robots.txt 一定要有嗎?
官方說明,若沒有指定規則,預設是允許檢索。所以沒有這個檔案並不會讓網站讀不到,是否需要,取決於有沒有要限制的路徑。
robots.txt 可以讓頁面不出現在 Google 嗎?
不行。Search Console 說明寫明它用於阻止檢索,不能阻止內容出現在搜尋結果,要防止索引應使用 noindex。
放在子資料夾可以嗎?
不行。官方要求放在網站主機的根目錄。子網域與不同通訊協定,要各自有一個檔案。
改好之後,Google 多久會讀到?
官方說明上傳後 Google 的檢索器會自動尋找並使用,通常不需要額外動作,也沒有給出確切時間。想盡快更新,可以在報表請求重新檢索,但不一定立即生效。
怎麼知道寫對了?
先用私密視窗開啟檔案網址確認內容,再看 Search Console 的 robots.txt 報表有沒有剖析問題,錯誤與警告的差別,前面已經整理。
下一步:先看一次自己網站的 robots.txt
現在就可以做:在瀏覽器網址列,輸入你的網址加上 /robots.txt,看看目前寫了什麼。有沒有 Disallow: / 這種整站被擋的設定、有沒有 Sitemap 那一行、有沒有被舊的規則誤擋重要頁面。
如果想請我們一起檢查網站的檢索與整體搜尋優化,可以看SEO 優化服務,或透過聯絡我們,取得網站規劃與報價。
資料來源(查詢日期 2026-11-17)
Google 搜尋中心,如何編寫及提交 robots.txt 檔案(頁面標示更新 2025-11-26)。
Search Console 說明,robots.txt 報表(頁面未標示日期)。