我总是阻止谷歌使用 robots.txt 文件为我的网站建立索引。最近我读到了谷歌员工的一篇文章，他说你应该使用元标签来做到这一点。这是否意味着 Robots.txt 不起作用？由于我正在使用 CMS，我的选择非常有限，并且仅使用 robots.txt 文件会容易得多。我的问题是，如果我继续使用 robots.txt 文件而不是元标记，可能发生的最糟糕的情况是什么。
简单来说，差异如下：
当您想要在目录级别或整个站点进行控制时，请使用 robots.txt 文件。但是，请记住，机器人不需要遵循这些指令。大多数都会，例如 Googlebot，但将任何高度敏感的信息保留在网站的公开访问区域之外会更安全。
与 robots.txt 文件一样，noindex 标记将从搜索结果中排除页面。该页面仍将被抓取，但不会被索引。当您想要在单个页面级别进行控制时，请使用这些标签。
关于爬行和索引之间的区别的旁白：爬行（通过蜘蛛）是搜索引擎的蜘蛛跟踪您的网站的方式；爬行的结果进入搜索引擎的索引。将此信息存储在索引中可以加快相关搜索结果的返回速度 - 无需扫描与搜索相关的每个页面，而是搜索索引（较小的数据库）以优化速度。
如果没有索引，搜索引擎将查看与搜索词相关的每一个数据或信息，我们都有时间在等待搜索结果显示的同时制作和吃几个三明治。该索引使用蜘蛛来保持其数据库最新。
以下是该标签的示例：
<meta name="robots" content="noindex,follow"/>
既然您阅读并理解了上述信息，我想您已经能够自己回答您的问题了；）
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
