Robots.txt

ไฟล์ข้อความที่วางอยู่ที่รากของเว็บไซต์ที่สั่งโปรแกรมรวบรวมข้อมูลของเครื่องมือค้นหาว่าหน้าใดที่พวกเขาไม่ควรรวบรวมข้อมูล Robots.txt จัดการงบประมาณการรวบรวมข้อมูลโดยป้องกันไม่ให้โปรแกรมรวบรวมข้อมูลอยู่ห่างจากหน้าที่ไม่สำคัญ การบล็อกเพจที่นี่ไม่ได้ป้องกันการจัดทำดัชนีหากไซต์อื่นลิงก์มา

การทำความเข้าใจ robots.txt ถือเป็นสิ่งสำคัญสำหรับกลยุทธ์ SEO ที่มีประสิทธิภาพ หากไม่เข้าใจแนวคิดนี้ การตัดสินใจอย่างมีข้อมูลเกี่ยวกับวิธีการปรับปรุงการแสดงผลการค้นหาและการเข้าชมทั่วไปของเว็บไซต์ของคุณจึงเป็นเรื่องยาก