
- 月访问量
- 34,675
- 2026-09
- 月流量增速 +6.9%
CrawlerCheck - 检查搜索引擎与 AI 爬虫能否访问你的页面
CrawlerCheck 检查指定 URL,显示受支持的搜索引擎和 AI 用户代理是允许访问还是被阻止。它会分析 robots.txt、meta robots 标签和 X-Robots-Tag HTTP 标头,并报告爬虫访问情况。输入以 https:// 开头的 URL,即可检查首页或具体页面。

核心能力
爬虫访问报告
显示受支持的爬虫用户代理对指定 URL 是允许访问还是被阻止。输入页面 URL 后,CrawlerCheck 会检查其 robots.txt 指令、meta robots 标签和 X-Robots-Tag HTTP 标头。
搜索引擎爬虫检查
检查 Googlebot、Bingbot 等搜索引擎爬虫能否访问页面。输入页面 URL,即可查看网站指令和标头对各爬虫访问的影响。
AI 爬虫检查
检查 ChatGPT-User、Claude 和 Perplexity 等受支持的 AI 爬虫是获准访问还是被阻止。提交页面 URL,即可查看 robots.txt、meta robots 标签和 HTTP 标头反映的访问情况。
定价
CrawlerCheck 免费提供,所给页面未列出付费方案。使用它即可检查 URL 的爬虫访问情况;无需比较方案。
使用场景
检查页面的爬虫访问情况
需要确认首页或其他页面能否被爬取时,输入 URL 并运行检查。CrawlerCheck 根据页面的 robots.txt 规则、meta robots 标签和 X-Robots-Tag 标头,报告受支持的搜索引擎和 AI 爬虫是获准访问还是被阻止。
比较搜索与 AI 爬虫访问
不同爬虫可能收到不同的抓取指令时,可用 CrawlerCheck 测试页面 URL。报告会显示受支持的搜索引擎和 AI 用户代理分别是获准访问还是被阻止,便于查看各爬虫的访问规则。
使用限制
输入的待检查 URL 必须包含 https:// 协议;不含该协议的 URL 会被表单拒绝。
适用人群
需要检查客户或托管网站爬虫访问规则的 SEO 专业人员
需要确认搜索引擎和 AI 爬虫能否访问特定页面的网站管理员
常见问题
如何检查 Googlebot 是否被网站阻止?
输入要检查的 URL 并运行 CrawlerCheck。它会分析 robots.txt、meta robots 标签和 HTTP 标头,并报告 Googlebot 能否抓取该页面或是否被阻止。
可以比较 Bingbot 和 Googlebot 的访问情况吗?
可以。检查页面 URL 后,可查看 Googlebot、Bingbot 和其他受支持搜索爬虫的访问情况。报告可能显示哪些爬虫获准访问,哪些受到阻止。
可以检查 ChatGPT 或 Perplexity 等 AI 爬虫吗?
可以。CrawlerCheck 会报告 ChatGPT-User、Claude 和 Perplexity 等受支持 AI 爬虫的访问情况,并检查页面的 robots.txt 规则、meta robots 标签和 HTTP 标头。
可以检查首页以外的页面吗?
可以。输入具体页面的 URL,例如产品页或更深层的内容页。检查结果会报告你提交的这个 URL 的爬虫访问情况。
评论