Het robots.txt-bestand is een tekstbestand in de hoofdmap van een website dat instructies geeft aan crawlers van zoekmachines over welke pagina's of secties van de website niet gecrawld of geïndexeerd mogen worden. Het fungeert als een gids voor zoekmachines en geeft aan welke delen van de website verboden terrein zijn. Dit bestand is met name handig om te voorkomen dat pagina's worden geïndexeerd die niet openbaar zichtbaar zijn, zoals beheerpagina's, dubbele content of bepaalde scripts.
Het robots.txt-bestand kan ook worden gebruikt om de crawlsnelheid van zoekmachines te regelen en serveroverbelasting tijdens periodes met veel verkeer te voorkomen. Het is echter belangrijk om robots.txt met de nodige voorzichtigheid te gebruiken, aangezien een onjuiste configuratie van het bestand onbedoeld de indexering van belangrijke pagina's kan blokkeren, wat een negatieve invloed kan hebben op SEO. Het is ook belangrijk om te weten dat het robots.txt-bestand een suggestie is voor zoekmachines en geen opdracht, wat betekent dat sommige crawlers ervoor kunnen kiezen het te negeren. Het regelmatig controleren en bijwerken van het robots.txt-bestand is essentieel voor optimale zichtbaarheid en crawlbaarheid van de site.