Dictionnaire du digital · Fiche

robots.txt

Fichier robots.txt

ThèmeOutils
FamilleAccès aux pages Web
Pour quiLes entreprises qui font gérer leur site par un prestataire ou un outil de création de sites.
Autres nomsprotocole d’exclusion des robots

Par Arnaud Guedj, le Dr DigitalFiche publiée le

1

Définition

Le fichier robots.txt indique aux robots qui visitent un site les chemins qu’ils peuvent explorer. Ces consignes s’adressent aux programmes qui choisissent de les respecter.

2

À quoi ça sert

Il permet de régler l’exploration des pages par les moteurs. Une erreur peut empêcher la lecture de pages commerciales importantes et gêner le référencement naturel, expliqué dans la fiche SEO.

3

Un exemple dans une PME

Après une refonte de sa boutique, Mr Jacques demande à son prestataire de contrôler le fichier robots.txt. Ils vérifient que les pages de linge pour hôtels restent accessibles aux robots de recherche.

4

Effets indésirables

Le fichier est public et ne protège pas les documents confidentiels. Google peut encore afficher l’adresse d’une page bloquée si d’autres pages pointent vers elle.

5

Précautions d'emploi

Faites tester les règles avant et après une modification. Protégez les espaces privés par une authentification. Pour retirer une page des résultats, faites choisir la méthode adaptée, en permettant au moteur de lire une éventuelle instruction de non-indexation.

6

Voir aussi

Sources

  1. 1Présentation du fichier robots.txt, Google Search Central
  2. 2Rédiger et envoyer un fichier robots.txt, Google
  3. 3Fonctionnalités d’IA et votre site Web, Google Search Central
Les Ordonnances du Docteur Digital

Recevoir Les Ordonnances par e-mail

Un mercredi sur deux, je vous envoie un problème de site ou de vente en ligne, son explication et ce qu’il faut faire. Nexperio, mon entreprise, gère les inscriptions et les envois.

S’inscrire sur nexperio.com →

L’inscription se fait sur nexperio.com, qui vous envoie un e-mail de confirmation. Vous pourrez vous désinscrire en un clic.