robots.txt文件，是每一个搜刮引擎蜘蛛到你的网站之后要探求和访问的第一个文件，robots.txt是你对搜刮引擎订定的一个如 何索引你的网站的规矩。通过该文件，搜刮引擎就可以知道在你的网站中哪些文件是可以被索引的，哪些文件是被拒绝索引的。我们就可以很方便地控制搜刮引擎索引网站内容了。 在许多网站中，站长们都忽略了利用robots.txt文件。

由于许多站长都以为，本身的网站没有什么机密可言，并且本身也不太会利用robots.txt的语法，因此一旦写错了会带来更多的贫苦，还不如不消。 实在如许的做法是不对的。假如蜘蛛在某个网站上访问了一个不存在的URL，那么就会记载下一条404信息（网页不存在），而robots.txt作为蜘蛛访问网站的第一个文件，一旦搜刮引擎找不到这个文件，也会在它的索引办事器上记载下一条404信息。假如如许的404信息过多，那么搜刮引擎蜘蛛就会以为该网站代价较低，从而低落对该网站的“印象分”，这就是我们常常会听到的“低落权重”。

“权重”是一个影响网站在搜刮引擎排名中非常紧张的因素，假如网站的权重高，那么搜刮引擎蜘蛛也会频仍地访问该网站，并且网站排名也好。假如权重低，那么搜刮引擎蜘蛛对付网站的访问次数也相应的要少，同时网站排名较差。而网站的权重是由许多条件所积聚的，404信息就是很紧张的一条，因此不得不器重。 固然在百度的资助文件中，有如许的一句话“请留意，仅当您的网站包罗不盼望被搜刮引擎收录的内容时，才必要利用robots.txt文件。假如您盼望搜刮引擎收录网站上的全部内容，请 勿创建robots.txt文件”。

现实上百度只是担心由于网站治理员不明白robots.txt语法，导致搜刮引擎蜘蛛无法正常抓取网站，才如许写的。创建robots.txt文件照旧必须的，哪怕这个robots.txt文件是一个空缺的文本文档都可以。由于我们的网站究竟不是仅仅会被百度收录，同时也会被其他搜刮引擎收录，上传一个空缺的robots.txt文件，至少不会导致一条404信息的产生。

本文泉源：裕顺网络www.ahyushun.com如有转载请注明出处