对于网站robot文件，是很多人做网站优化时会做的，很多人不知道要不放置一个robot文件在网站上，在这里合肥网站优化公司认为，只有当您的网站中包含您不想让搜索引擎编入索引的内容时，才需要使用 robots文件。如果您希望搜索引擎将网站上的所有内容编入索引，则不需要 robots.txt 文件。为了能使用 robots.txt 文件，您必须要有对您域的根目录的访问权限（如果您不能确定是否有该权限，请与您的网络托管商核实）。

Robots协议用来告知搜索引擎哪些页面能被抓取，哪些页面不能被抓取；可以屏蔽一些网站中比较大的文件，如：图片，音乐，视频等，节省服务器带宽；可以屏蔽站点的一些死链接。方便搜索引擎抓取网站内容；设置网站地图连接，方便引导蜘蛛爬取页面。当一个搜索引擎(又称搜索机器人或蜘蛛程序)访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，robots.txt 文件可限制抓取网页的搜索引擎蜘蛛对您网站的访问。这些蜘蛛是自动的，它们在访问任意网站的网页之前，都会查看是否存在阻止它们访问特定网页的 robots.txt 文件。搜索机器人会按照该文件中的内容来确定访问的范围;如果该文件不存在，那么搜索机器人就沿着链接抓取。网站robot文件一旦设置好，如果不是特别需要，一般不要随意去更改。

合肥网站优化公司佳达提醒，新手站长在建站的过程中，不可避免的要接触到robot文件，robot文件是对搜索引擎蜘蛛设定的，是告诉抓取的蜘蛛网站里什么东西能抓取，什么东西不能抓取。但也要注意不要出现差错，记得以前做过的一个网站，由于网站在上线前不希望百度来抓取网站的内容，所以就写了个robots.txt。不写还好，一写就出了差错，忙中出乱，网站上线后忘了删除，结果网站迟迟没有收录，等到半个月后才发现是robots文件中的 “Disallow: /”导致蜘蛛一直没有来抓取。后来把robotss.txt删了，才慢慢开始收录，但是网站排名流量上的还是很慢。那么robot文件该如何去书写，已经要将robot文件放在哪里才会对搜索引擎蜘蛛有效呢。尽管robots.txt已经存在很多年了，但是各大搜索引擎对它的解读都有细微差别。Google与百度都分别在自己的站长工具中提供了robots工具。如果您编写了robots.txt文件，建议您在这两个工具中都进行测试，因为这两者的解析实现确实有细微差别。一般我们就把robots.txt文件放置在网站的根目录下。当蜘蛛访问一个网站时，首先会检查该网站中是否存在robots.txt这个文件，如果百度蜘蛛找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。

责编:LEX