站长工具在线使用
robots.txt 检测
读取并展示网站的 robots.txt，检查是否可访问。
示例：cxwz.com
查询超时，请稍后重试
使用方法
输入网址，读取目标站点的 robots.txt，查看允许和禁止规则。
结果怎么看
只读取该文件，不抓取整站；robots 是爬虫约定，不是强制屏蔽。
容易输错的地方
不要带路径；有些站点会拦截请求；规则要按爬虫名称匹配。
常见问题
能阻止页面被收录吗？
不能完全阻止。robots 只是约定，真正不想收录应使用 noindex。
为什么读不到？
可能文件不存在、站点拦截，或地址不是站点根目录。