Robots.txt : à quoi sert ce fichier ?
Le fichier robots.txt est un fichier texte placé à la racine d’un site qui indique aux robots d’exploration (Googlebot, Bingbot…) quelles zones ils sont autorisés ou non à parcourir.
Pourquoi ce fichier compte pour une boutique en ligne
Un site e-commerce génère souvent des milliers d’URL techniques : pages de panier, de tunnel de commande, de compte client, ou résultats de filtres à facettes (couleur, taille, prix). Si les robots explorent toutes ces URL sans distinction, ils gaspillent une partie du « budget de crawl » alloué au site et peuvent indexer du contenu dupliqué issu des filtres.
Le fichier robots.txt oriente les robots vers les pages qui comptent réellement : catégories, fiches produit, contenus éditoriaux, en excluant le panier, le back-office ou les paramètres générés par les filtres.
Un exemple concret
Le fichier est accessible à l’adresse https://exemple.fr/robots.txt et contient des directives comme Disallow: /panier ou Disallow: /admin, suivies en général d’une ligne Sitemap: pointant vers le plan du site XML, ce qui aide les moteurs à découvrir les pages importantes.
Questions fréquentes
Le fichier robots.txt suffit-il à empêcher l’indexation d’une page ?
Où faut-il placer le fichier robots.txt ?
Faut-il bloquer le back-office dans robots.txt ?
Décrivez votre besoin en 1 minute
Quelques questions ciblées pour que je vous réponde avec une estimation, pas avec un questionnaire de plus.