外贸网站 Robots.txt 生成器。

保持增长页面可抓取

Robots 规则不能误封产品页、资源页、工具页、行业模板和供应商目录这些需要 Google 曝光的页面。

屏蔽私有和低价值路径

账号、仪表盘、后台、支付、预览、测试环境和内部 API 路径不应与公开 SEO 页面竞争。

增加 sitemap 发现入口

清晰的 Sitemap 指令可以帮助爬虫直接找到生产环境 sitemap。

robots.txt 可以屏蔽所有私有页面吗？

它可以降低抓取概率，但私有页面仍需要权限控制，并在合适场景配合 noindex。

robots.txt 能从 Google 删除 URL 吗？

不能。Robots.txt 控制抓取，不保证移除已索引 URL。已索引页面应使用 noindex 或搜索引擎移除工具。

外贸网站是否应允许 AI 爬虫？

这取决于业务策略。本工具优先保障公开 SEO 资产对搜索引擎可抓取。