robots.txt
Fichier robots.txt
| Thème | Outils |
|---|---|
| Famille | Accès aux pages Web |
| Pour qui | Les entreprises qui font gérer leur site par un prestataire ou un outil de création de sites. |
| Autres noms | protocole d’exclusion des robots |
Définition
Le fichier robots.txt indique aux robots qui visitent un site les chemins qu’ils peuvent explorer. Ces consignes s’adressent aux programmes qui choisissent de les respecter.
À quoi ça sert
Il permet de régler l’exploration des pages par les moteurs. Une erreur peut empêcher la lecture de pages commerciales importantes et gêner le référencement naturel, expliqué dans la fiche SEO.
Un exemple dans une PME
Après une refonte de sa boutique, Mr Jacques demande à son prestataire de contrôler le fichier robots.txt. Ils vérifient que les pages de linge pour hôtels restent accessibles aux robots de recherche.
Effets indésirables
Le fichier est public et ne protège pas les documents confidentiels. Google peut encore afficher l’adresse d’une page bloquée si d’autres pages pointent vers elle.
Précautions d'emploi
Faites tester les règles avant et après une modification. Protégez les espaces privés par une authentification. Pour retirer une page des résultats, faites choisir la méthode adaptée, en permettant au moteur de lire une éventuelle instruction de non-indexation.
Sources
- 1Présentation du fichier robots.txt, Google Search Central
- 2Rédiger et envoyer un fichier robots.txt, Google
- 3Fonctionnalités d’IA et votre site Web, Google Search Central
