Le fichier robots.txt est un fichier texte situé à la racine d'un site web. Il fournit des instructions aux robots d'indexation des moteurs de recherche sur les pages ou sections du site à ne pas explorer ni indexer. Il sert de guide aux moteurs de recherche, leur indiquant les zones du site à interdire. Ce fichier est particulièrement utile pour empêcher l'indexation de pages non visibles publiquement, telles que les pages d'administration, le contenu dupliqué ou certains scripts.
Le fichier robots.txt permet également de contrôler la vitesse d'exploration des moteurs de recherche, évitant ainsi la surcharge du serveur lors des périodes de forte affluence. Cependant, il est important d'utiliser ce fichier avec prudence, car une mauvaise configuration peut bloquer l'indexation de pages importantes, impactant ainsi négativement le référencement. Il est également important de noter que le fichier robots.txt est une suggestion aux moteurs de recherche, et non une commande. Certains robots d'exploration peuvent donc choisir de l'ignorer. Il est essentiel de consulter et de mettre à jour régulièrement le fichier robots.txt pour garantir une visibilité et une explorabilité optimales du site.