AI 能看到
你的网站吗？
人们每天都向 ChatGPT、Claude 和 Perplexity 索要推荐。输入你的网址，逐个爬虫地看清 AI 助手是否被允许进入。我们安全地抓取你的页面——其他内容都不离开你的浏览器。
输入你的网址。获得判定。
或手动粘贴 robots.txt 和 HTML
AI 爬虫判定
| 爬虫 | 它喂给什么 | 判定 | 决定性规则 / 修复 |
|---|
首页检查
Yetty 网站默认欢迎 AI 爬虫，自动提供 llms.txt 和结构化数据，并在你哪天改变主意时给你一键屏蔽。
每个 AI 答案背后的
那些爬虫
OpenAI / ChatGPT
GPTBot 收集训练数据，OAI-SearchBot 构建 ChatGPT 搜索，ChatGPT-User 在用户问起你时实时访问。
Anthropic / Claude
ClaudeBot 抓取，Claude-SearchBot 为搜索建立索引，Claude-User 在实时对话中获取页面。
Perplexity
PerplexityBot 构建答案索引；Perplexity-User 在引用你时实时获取你的页面。
Google-Extended
并非独立的爬虫——一个 robots.txt 开关，决定 Google 是否可将你的内容用于 Gemini。
数据集机器人
CCBot（Common Crawl）喂养许多 AI 模型训练所用的数据集；Bytespider 是 ByteDance 的；meta-externalagent 是 Meta 的。
Applebot-Extended
Apple 用于 Apple Intelligence 训练的开关——与 Google-Extended 思路相同。
大家还问
我如何知道 ChatGPT 能否看到我的网站？
检查你的 robots.txt 中 OpenAI 使用的爬虫：GPTBot、OAI-SearchBot 和 ChatGPT-User。如果某条 Disallow 规则屏蔽了它们（或在 User-agent 星号下用 Disallow 加斜杠屏蔽了所有人），ChatGPT 就读不到你的页面。把你的网址输入这个检查器（或粘贴你的 robots.txt），你会得到每个爬虫的判定，以及决定它的确切规则。
我该屏蔽 GPTBot 这类 AI 爬虫吗？
取决于你的目标。如果你出售内容本身，屏蔽训练爬虫可能说得通。但对大多数企业而言，AI 助手是日益增长的客户来源：当 ChatGPT 或 Perplexity 推荐你时，那些流量是免费的。屏蔽 AI 爬虫意味着你在那些答案里根本不存在。
robots.txt 会影响 ChatGPT 和 Perplexity 的答案吗？
会。OpenAI、Anthropic 和 Perplexity 都声明其爬虫遵守 robots.txt。如果你的文件屏蔽了它们的机器人，你的页面就无法被抓取用于浏览式回答或搜索索引，于是被引用的是竞争对手而不是你。Google-Extended 同样控制 Google 是否可将你的内容用于 Gemini。
更多免费工具：
robots.txt 测试器 ·
llms.txt 生成器 ·
所有免费工具
想让整层都自动完成？ 查看自动驾驶般的 SEO