Robots是什么意思

一、Robots是什么意思?

Robots是一个英文单词，对英语比较懂的朋友相信都知道，Robots的中文意思是机器人。而我们通常提到的主要是Robots协议，这也是搜索引擎的国际默认公约。

二、Robots协议是什么?

Robots协议通常被称为是爬虫协议、机器人协议，主要是在搜素引擎中会见到，其本质是网站和搜索引擎爬虫的沟通方式，用来指导搜索引擎更好地抓取网站内容，而不是作为搜索引擎之间互相限制和不正当竞争的工具。

百度为什么称360违反Robots协议呢?主要是因为百度认为360搜素对自身产生了竞争，百度不希望自己旗下的贴吧，文库，知道，百科等网站产品，被360搜素收录，并且在Robots协议中标注屏蔽360搜素，而360直接绕过了robots协议继续采集百度旗下产品网站的信息，因此被百度起诉。

简单的说，任何网站只要在其robots协议中加入禁止某搜索引擎访问，那么该搜索引擎就无权收录该网站的内容。而robots的重要性在于，一个网站有权利可以存在于互联网中，但又不被指定的搜索引擎索引放到搜索结果中，因为搜索引擎在互联网上就像国王，网站就是每个人的小家，而robots协议则是对抗国王的最后利器，正所谓“风能进雨能进国王不能进”。

在网站中，Robots协议是一个记事本文件，我们只要将Robots.txt文件放置在网站跟目录，里边可以标注，哪些网站目录不希望被搜索引擎抓取即可，其格式如下图所示：

赞 (0)

相关推荐

  • 利用百度查看网站Robots协议的方法

    利用百度查看网站Robots协议的方法

    相信很多小伙伴都有在使用百度,那么在其中我们怎么去查看网站Robots协议呢?方法很简单,下面小编就来为大家介绍.方法一:1. 通过输入网址"https://www.baidu.com/&q ...

  • war robots（进击战争机器人）怎么获得金币？

    war robots(进击战争机器人)是一款机器人对战的手游,里面可以用金币购买机器人或者是强力武器,那么我们怎么获得金币呢?一起来看看吧 操作方法 01 首先我们打开游戏,然后在主界面中点击一下左边 ...

  • war robots攻略

    近日有人问小编war robots攻略,小编整理了一下,希望能帮助到大家. 操作方法 01 第一,考墙单射,绝大部分人都知道 02 第二,导弹并不是要看到人才可以发射,在墙里太考外站的可以直接射他. ...

  • 撰写robots.txt的注意事项

    搜索引擎通过一种程序robots.txt(又称spider),自动访问互联网上的网页并获取网页信息.robots.txt(统一小写)是一种存放于网站根目录下的ASCII编码的文本文件,它通常告诉网络搜 ...

  • centos中wget的使用方法

    对于 Linux 用户来说，几乎每天都在使用它。 下面为大家介绍几个有用的 CentOS wget 小技巧，可以让你更加高效而灵活的使用CentOS wget。 CentOS wget 使用技巧 $ ...

  • linux wget 命令用法详解(附实例说明)

    Linux wget是一个下载文件的工具，它用在命令行下。对于Linux用户是必不可少的工具，尤其对于网络管理员，经常要下载一些软件或从远程服务器恢复备份到本地服务器。如果我们使用虚拟主机，处理这样的 ...

  • Windows配置heritrix3做网络爬虫开发实例

    一、引言： 最近在忙某个商业银行的项目，需要引入外部互联网数据作为参考，作为技术选型阶段的工作，之前已经确定了中文分词工具，下一个话题就是网络爬虫的选择，目标很明确，需要下载一些财经网站的新闻信息，然 ...

  • wget 命令行下载工具使用方法详解

    wget是在Linux下开发的开放源代码的软件，作者是Hrvoje Niksic，后来被移植到包括Windows在内的各个平台上。 它有以下功能和特点： win环境下的wget.exe 下载： wge ...

  • 竞争对手指引的seo路

    做SEO不能死脑筋的硬搬套路，毕竟我们接手的站点都不相同，所推的产品也不同，所以在这种时候我们做的比较实用的方法就是分析竞争对手。 一般情况下，竞争对手已经在搜索引擎上有了良好的排名，而我们还没什么排 ...