快速使用百度站长工具检查和配置Robots

百度站长工具检查和配置Robots http://zhanzhang.baidu.com/robots/index

一、检查当前Robots配置：

1、 首先点击“检测robots.txt”

2、 输入你要查询的网址

3、 按“检测”

4、 按“检测”后就会出现以下内容是当前不允许抓取和允许抓取的列表，像后台文件夹这些应该设置为“不允许抓取”。

若检测结果为上图，表明空间不存在robots.txt表示您允许搜索引擎可以抓取您网站全部的内容包括后台信息。

二、配置Robots

1、 点击“生成robots.txt”

2、 设置“user-agent”为“所有”即允许所有搜索引擎收录网站信息，状态分别有“允许抓取”和“不允许抓取”按你的需要设置好哪个路径是允许搜索引擎收录网站信息的或不收录的。“路径”代表空间中那个路径要做Robots的。

3、 “user-agent”“状态”“路径”这三个都设置好了，可以点击“创建”按钮。这时“robots.txt内容”会自动添加你刚配置好的信息，将你要配置的都创建好后点击“下载”将“robots.txt”下载到本地后上传到服务器网页根目录下即可。