# Robots.txt : à quoi sert ce fichier ?

> Le fichier robots.txt est un fichier texte placé à la racine d’un site qui indique aux robots d’exploration (Googlebot, Bingbot…) quelles zones ils sont autorisés ou non à parcourir.

- Source canonique : [https://allaux.fr/glossaire/robots-txt](https://allaux.fr/glossaire/robots-txt)
- Langue : FR
- Dernière mise à jour : 2026-07-26

## Pourquoi ce fichier compte pour une boutique en ligne

Un site e-commerce génère souvent des milliers d’URL techniques : pages de panier, de tunnel de commande, de compte client, ou résultats de filtres à facettes (couleur, taille, prix). Si les robots explorent toutes ces URL sans distinction, ils gaspillent une partie du « budget de crawl » alloué au site et peuvent indexer du contenu dupliqué issu des filtres.

Le fichier robots.txt oriente les robots vers les pages qui comptent réellement : catégories, fiches produit, contenus éditoriaux, en excluant le panier, le back-office ou les paramètres générés par les filtres.

## Un exemple concret

Le fichier est accessible à l’adresse https://exemple.fr/robots.txt et contient des directives comme Disallow: /panier ou Disallow: /admin, suivies en général d’une ligne Sitemap: pointant vers le plan du site XML, ce qui aide les moteurs à découvrir les pages importantes.

## Bloquer n’est pas désindexer

> Une directive Disallow empêche l’exploration d’une URL, mais pas forcément son indexation si des liens externes pointent vers elle. Pour retirer une page des résultats de recherche, il faut une balise noindex, pas seulement robots.txt.

## FAQ

### Le fichier robots.txt suffit-il à empêcher l’indexation d’une page ?

Non. Il empêche l’exploration, mais une page bloquée peut malgré tout apparaître dans les résultats si elle est référencée ailleurs. Pour une désindexation garantie, il faut utiliser la balise meta noindex.

### Où faut-il placer le fichier robots.txt ?

À la racine du nom de domaine, jamais dans un sous-dossier, sinon les robots ne le trouvent pas à l’adresse standard qu’ils vérifient automatiquement.

### Faut-il bloquer le back-office dans robots.txt ?

C’est une bonne pratique pour éviter qu’il apparaisse dans l’index, mais robots.txt est un fichier public consultable par n’importe qui : il ne remplace jamais une vraie protection par authentification.