利用百度查看网站Robots协议的方法【百科全说】

相信很多小伙伴都有在使用百度，那么在其中我们怎么去查看网站Robots协议呢？方法很简单，下面小编就来为大家介绍。

方法一：

1. 通过输入网址“https://www.baidu.com/”，进入百度搜索引擎页面。
2. 接着，在搜索框中输入任意内容搜索，当出现“由于该网站的robots.txt文件存在限制指令（限制搜索引擎抓取），系统无法提供该页面的内容描述 - 了解详情”这段文字时，点击其中的“了解详情”。
3. 进入了解详情页面后，找到“输入网站”，在其下文本框中输入我们想要了解的网站的网址，这里小编以输入“https://www.baidu.com/”为例。输完后，点击“检测”。
4. 然后其下方就会出现很多脚本语言（如下图红框所圈处），下面小编就来为大家解释一下这些语言的意思。
5. “User-agent: Baiduspider”：显示了搜索爬虫的名称，即为“Baiduspider”。同时，代表设置的规则对百度爬虫是有效的。如果出现多个“User-agent:”，则说明有多个爬虫被限制了。
“Disallow: /baidu”：这里显示的是不允许抓取的目录。如果有“/”，则表示所有页面都不允许抓取。
当然，其他的测试链接还有显示“Allow”的可能性，那么是什么意思呢？
“Allow: /s?”：它是用来将某些限制排除的，一般不会单独使用，会和“Disallow”一起出现。
方法二：
在浏览器搜索框中输入网址“https://ziyuan.baidu.com/robots/index”。
方法三：
1. 在百度搜索引擎（https://www.baidu.com/）搜索框中输入“百度资源”并搜索，在搜索结果中进入下图红框所圈结果。
2. 在百度资源页面中，点击页面上端的“网站支持”，然后再在其中找到并点击“Robots”。
3. 然后就会出现下图所示的Robots文件检测页面。
以上就是小编为大家介绍的利用百度查看网站Robots协议的方法，希望能帮到你~

利用百度查看网站Robots协议的方法

方法一：

方法二：

方法三：

相关推荐