什么是 X-robots-tag？
X-Robots-Tag 是一个 HTTP 标头，用于控制搜索引擎如何索引和跟踪网站内容，类似于 HTML 中使用的元 robots 标签。然而，与应用于单个页面的元 robots 标签不同，X-Robots-Tag 可以应用于不同类型的文件（例如 PDF、图片或其他非 HTML 文件），甚至可以应用于整个网站版块。它允许网站站长指示搜索引擎执行 noindex（阻止被索引）、nofollow（阻止传递链接权益）或归档特定内容等指令。
X-Robots 标签对于管理无法通过标准 HTML 标签控制的内容的索引尤其有用。正确使用 X-Robots 标签有助于防止搜索引擎索引重复或不必要的内容，从而确保只索引和排名最相关、最有价值的内容，从而提升网站的整体 SEO。实施 X-Robots 标签需要仔细考虑和测试，以免无意中阻止搜索引擎检索重要内容。