机器人.txt

放置在网站根部的文本文件，指示搜索引擎爬网程序不应爬网哪些页面。 Robots.txt 通过让爬虫远离不重要的页面来管理爬网预算。如果其他网站链接到这些页面，则在此处阻止页面不会阻止它们被索引。

了解 机器人.txt 对于任何有效的 SEO 策略都至关重要。如果不掌握这个概念，就很难就如何提高网站的搜索可见性和自然流量做出明智的决定。