当我们网站上有一些文件不想被搜索引擎蜘蛛抓取时，我们需要写个robots.txt文件，以此来告诉蜘蛛，这些文件不能被抓取，但是有的企业认为自己网站上没有不想蜘蛛抓取的内容，所以就忽略了robots.txt文件，那么，这样是不对的。

　　随着搜索引擎越来越智能化，它访问一个新网站时，会首先访问这个网站的robots.txt文件，这也成为搜索引擎蜘蛛访问网站时的一个习惯，这个时候，如果你的网站上没有robots.txt这个文件，反而可能会造成搜索引擎蜘蛛对你的网站页面不能正常的抓取。所以小马建议，即使你的网站内容全都允许搜索引擎蜘蛛抓取，你也应该建立一个robots.txt文件，这代表的是对搜索引擎蜘蛛的友好。

　　二：时常检查robots.txt文件

　　每当我们在做网站的维护时，我们总是围着网站内容和网站外链转悠，每当我们的网站出现问题，我们首先就是对这些地方进行一一排查，而对于robots.txt文件，估计除了当初建立网站时写过外，已经好久都没搭理过了，这样是不对的。

　　当一个黑客攻入我们的网站，它不需要在我们的网站上挂上黑链，链上黄赌毒网站，也不需要在我们的内容页加上指向它网站的隐藏链接，它只需要修改一下我们小小的robots.txt文件，就可以搞定我们了，经常看到有些人在搜索引擎上查询自己网站的收录时，发现出现了异常，于是开始排查，但是外链和内链都没有问题，这个时候，急的真是焦头烂额。这就是忽视了最简单而且最重要的因素----robots.txt文件。

　　三：写robots.txt文件要全面

　　robots.txt文件写作时也是需要规范的，不然就如同虚设，比如我们的网站上有的页面时动态化地址，我们知道这些动态化地址搜索引擎蜘蛛不能很好的抓取，于是我们在robots.txt文件里注明，有些SEOer在注明时会在第二行这样写：Disallow：/*?*，这就是不全面的。

　　我们都知道动态化网址的结尾都是有好多参数的，如?,%等，所以当我们不希望搜索引擎蜘蛛抓取动态网址的页面时，我们就要在robots.txt文件里注明自己网站动态化网址出现的所有参数。不然，搜索引擎蜘蛛还是能够抓取我们网站的动态化网址，我们的robots.txt文件就如同虚设。