Fichier robots.txt

Le fichier robots.txt est un simple fichier texte présent à la racine de votre site Web qui permet d'indiquer aux outils de recherches (moteurs) de ne pas indexer certaines parties de votre site.

Le fichier robots.txt ne doit contenir aucune ligne vide.
  • User-Agent: indique quel robot est concerné par les lignes d'instructions suivantes. (* Pour tous les robots)
  • Disallow: Indique quelle page ou répertoire ne doit pas être indexé et doit être sur une ligne à part et doit commencer par un /.
  • * signifie "tous les moteurs de recherche".
  • # :Est une ligne de commentaire et ne sera pas interprétée.
Exemples de fichier:

-On interdit l'indexation du dossier repertoire et du chemin /repertoire/page.html à tout les robots.
-On insère une ligne de commentaire pour si retrouver.
-On interdit l'indexation de tout le site au robot googlebot.
User-Agent: *
Disallow: /repertoire/
Disallow: /repertoire/page.html
# Ligne de commentaire
User-agent: googlebot
Disallow: /

-On interdit l'indexation de tout le site à tout les robots.
User-Agent: *
Disallow: /

-On interdit l'indexation de toute les pages au robot googlebot et on l'autorise à tout les autres.
User-Agent: googlebot
Disallow: /
User-agent: *
Disallow: 

Source:
Cet article est extrait de l'article Fichier robots.txt du site Zone-Webmasters.net et complèté par l'admin. de Créer un site.
Voir/déposer un commentaire (0) | Signaler un problème