robots.txt 生成器

設定爬蟲名稱、允許與禁止路徑及 sitemap 地址,生成抓取規則。

robots.txt 生成器
0 字元
準備好了,就開始吧

新增輸入,調整選項,即可開始處理。

—
選項
在瀏覽器中執行
未儲存輸入內容

如何使用

01

新增輸入

貼上文字或選擇檔案,也可以先試用範例。

02

選擇選項

設定爬蟲名稱、允許與禁止路徑及 sitemap 地址,生成抓取規則。

03

檢視並匯出

查看處理說明,再複製或下載結果。如需繼續處理,可以切換到其他工具。