Vous êtes ici : Accueil >> Referencement >> Tuto et astuces sur le référencement >> Fichier robots.txt
Fichier robots.txt
Le fichier robots.txt est un simple fichier texte présent à la racine de votre site Web qui permet d'indiquer aux outils de recherches (moteurs) de ne pas indexer certaines parties de votre site.
Le fichier robots.txt ne doit contenir aucune ligne vide.
- User-Agent: indique quel robot est concerné par les lignes d'instructions suivantes. (* Pour tous les robots)
- Disallow: Indique quelle page ou répertoire ne doit pas être indexé et doit être sur une ligne à part et doit commencer par un /.
- * signifie "tous les moteurs de recherche".
- # :Est une ligne de commentaire et ne sera pas interprétée.
-On interdit l'indexation du dossier repertoire et du chemin /repertoire/page.html à tout les robots.
-On insère une ligne de commentaire pour si retrouver.
-On interdit l'indexation de tout le site au robot googlebot.
User-Agent: * Disallow: /repertoire/ Disallow: /repertoire/page.html # Ligne de commentaire User-agent: googlebot Disallow: /
-On interdit l'indexation de tout le site à tout les robots.
User-Agent: * Disallow: /
-On interdit l'indexation de toute les pages au robot googlebot et on l'autorise à tout les autres.
User-Agent: googlebot Disallow: / User-agent: * Disallow:
Source: Cet article est extrait de l'article Fichier robots.txt du site Zone-Webmasters.net et complèté par l'admin. de Créer un site.
Catégorie Referencement
Signaler une erreur
Optimisation pour le référencement
Tuto et astuces sur le référencement
Créer un sitemap XMLHébergement internet
