不允许通过 robots.txt。 禁止网站的某些部分（例如某些参数）可能是更好的解决方案。它快速、简单且可定制。但是，它也有一些缺点。也就是说，，无法转移到您网站上的任何地方（即使它来自外部来源）。这里的另一个缺点是，即使您告诉 Google 不要访问您网站上的某个页面（或部分），Google 仍然可以将其编入索引。
示例：在 文件中
我们放置 *?不允许低于 100*。这将告诉 Google 不要访问任 WhatsApp 号码 带有此参数的页面。但是，如果它有任何“follow”链接指向带有此参数的 URL，Google 仍然可以对其进行索引。 “Nofollow”内部链接到不良方面。
解决爬行预算问题的一
种选择是“nofollow”所有内部链接，这些链接指向对机器人爬行不重要的方面。不幸的是，“nofollow”标签并不能完全解决问题。重复的内容仍然可 其他人，比如珍妮特·耶伦，不同意 以被索引，并且链接资产仍然会受到影响。 示例：如果我们不希望 Google 访问具有两个或多个方面索引的页面，则向指向这些页面的所有内部链接添加“nofollow”标签将帮助我们到达那里。
完全避免这个问题 显然
如果我们能够完全避免这个问题，我们就应该这样做。如果您当前正在构建或重建导航或网站，我强烈建议您考虑以更改 URL 的方式构建导航（这通常是使用 JavaScript 完成的）。原因很简单：它使浏览和过滤产品变得容易，同时可能只生成一个 URL。
然而这可能会在相反的方
向上走得太远——您必须手动确保关键方面组合（例如黑色连衣裙）具有可索引的着陆页。 这是我在上面以更容易理解的方式概述的表格。 选项 学生手机清单 ： 解决重复内容？ 抓取预算解决方案？ 回收链接资产？ 股权是通过外部链接传递的吗？ 内链是否允许股权流动？ 其他注意事项 “没有索引，请关注” 是的 不 不 是的 是的 规范化 是的 不 是的 是的 是的 只能在相似的页面上使用。
机器人是的 是的 不 不 不
从技术上讲，robots.txt 中阻止的页面仍然可以被索引。 跟踪不良方面的内部链接。 不 是的 不 是的 不 JavaScript 设置 是的 是的 是的 是的 是的 在大多数情况下，需要进行更多的设置工作。
但理想的设置是什么？
首先，重要的是要明白不存在“一刀切的解决方案”。为了实现理想的设置，您很可能需要结合使用上述选项。我将在下面重点介绍一个适用于大多数网站的示例解决方案，但重要的是要了解，您的解决方案可能会根据网站的构建方式、URL 的结构等而有所不同。