robot.txt是做什么的？有什么用处？如何编写？
robot.txt它是一个文件，通过这个文件中的文本来告诉搜索引擎，哪个目录，哪个页面不愿意被收录。例如，你网站的后台，一些有密码保护的内容你不希望被搜索引擎收录。你就可以利用robot.txt，来做到不让搜索引擎收录。
代码示例：
- 01
#Disallow Directory admin user-agent:* Disallow:/admin/ Disallow:/*.jpg$
全面解析：
- 01
第一行的这段代码：“#Disallow Directory admin”（第一个字符“#”，意思就是这一行是注释，可以随意写，主要的作用就是提醒自己，例如我还可以写“#Zhu shi”）。
- 02
第二行的这段代码：“user-agent:*”（这一行代码是死定的，意思就是要告诉搜索引擎“你要注意了！，下面就是我要告诉你的内容！”。
- 03
第三行的这段代码：“Disallow:/admin/”（这行代码就是要告诉搜索引擎，我不需要你收录admin这个目录。搜索引擎结果中就不会显示你网站的admin目录里的内容了。例如我还可以不想让搜索引擎收录我网站的bbs目录，那我就可以写成“Disallow:/bbs/”，如果是多个目录，一个目录写一行，下一个目录换一行写，以此类推就可以了。）
- 04
第四行的这段代码：“Disallow:/*.jpg$”（这行代码就是要告诉搜索引擎，我不需要你收录以.jpg结尾的所有图片文件。例如我还可以不想让搜索引擎收录我网站的.png格式的图片，那我就可以写成“Disallow:/*.png$”如果是多个文件格式，一个文件格式写一行，下一个文件格式换一行写，以此类推就可以了，）
小结
- 01
写完之后你就可以把他保存成名为robot.txt的文件，用FTP上传到你网站的根目录就可以了！（切记，必须是名为robot.txt的文件）。然后我们就可以等待搜索引擎爬虫来爬到你网站的时候，他就会懂得应该收录你网站的哪个页面，不应该收录你网站的哪个页面了！