网站优化robots.txt和nofollow都可以禁止搜索引擎抓取页面，如果你同时使用了robots.txt文件和robots meta标签，如果robots.txt和meta标签有冲突，googlebot将使用限制更严的。具体来说：

如果你在robots.txt里禁止了某一页，Googlebot永远也不会去索引那一页，也不会读取那一页的任何标识。

如果你在robot.txt中允许，但是在页面中使用 meta 标签对其进行限制，那么Googlebots会访问那一页，读取里面的标签，但不会对其进行索引。