Sitemap XML et robots.txt : guide pratique
Deux petits fichiers jouent un rôle disproportionné dans la façon dont Google explore votre site : le sitemap XML et le robots.txt. Souvent confondus, ils ont des fonctions complémentaires. Bien les configurer fait partie des fondamentaux du SEO technique. Voici un guide pratique.
Le robots.txt : ce que les robots peuvent explorer
Le fichier robots.txt, placé à la racine de votre site, indique aux robots des moteurs quelles parties de votre site ils peuvent ou ne peuvent pas explorer. C'est une sorte de panneau d'instructions à l'entrée de votre site.
À quoi il sert
- Empêcher l'exploration de zones inutiles (espaces d'administration, pages techniques).
- Économiser le budget de crawl en évitant les pages sans intérêt.
- Indiquer l'emplacement de votre sitemap.
Une nuance importante
Le robots.txt bloque le crawl, pas forcément l'indexation. Une page bloquée au crawl peut théoriquement rester indexée si elle est connue par ailleurs. Pour empêcher l'indexation, c'est la balise noindex qu'il faut utiliser, pas le robots.txt. C'est une confusion fréquente et source d'erreurs.
Le sitemap XML : la carte de votre site
Le sitemap XML est un fichier qui liste les pages de votre site que vous souhaitez voir explorées et indexées. C'est une carte que vous fournissez à Google pour l'aider à découvrir tous vos contenus, y compris les pages profondes.
À quoi il sert
- Aider Google à découvrir l'ensemble de vos pages importantes.
- Signaler les pages récentes ou mises à jour.
- Faciliter l'indexation des gros sites ou des sites mal maillés.
Les bonnes pratiques du sitemap
- Inclure uniquement les pages utiles : pas les pages en noindex, les redirections ou les erreurs.
- Le tenir à jour automatiquement quand vous ajoutez ou supprimez des pages.
- Le soumettre dans la Search Console pour informer Google.
- Le déclarer dans le robots.txt pour qu'il soit facilement trouvé.
Les bonnes pratiques du robots.txt
- Le placer à la racine du domaine (votresite.fr/robots.txt).
- Ne pas bloquer par erreur des ressources essentielles (CSS, JS) dont Google a besoin pour comprendre vos pages.
- Vérifier sa syntaxe : une erreur peut bloquer tout le site.
- Y indiquer l'URL du sitemap.
L'erreur classique à éviter absolument
L'erreur la plus dévastatrice : bloquer accidentellement tout le site dans le robots.txt, ou laisser une balise noindex involontaire après une mise en production. J'ai vu des sites disparaître des résultats à cause de cela. Après chaque refonte ou mise en ligne, vérifiez systématiquement ces deux points : c'est rapide et cela évite des catastrophes.
Sitemap et robots.txt : complémentaires
Pour résumer leur complémentarité : le robots.txt dit « voici où tu peux aller », le sitemap dit « voici les pages que je veux te montrer ». L'un gère les autorisations d'exploration, l'autre guide la découverte. Les deux bien configurés forment une base technique saine.
En résumé
Le robots.txt contrôle ce que les robots peuvent explorer (sans garantir le contrôle de l'indexation), tandis que le sitemap XML liste les pages à découvrir et indexer. Tenez le sitemap à jour et soumettez-le, configurez le robots.txt avec prudence sans bloquer de ressources essentielles, et vérifiez toujours ces deux fichiers après une refonte pour éviter les catastrophes d'indexation.
Une base technique saine renforce l'effet de vos efforts SEO. Découvrez nos offres ou demandez un audit gratuit.
Pour aller plus loin
Questions fréquentes
Quelle différence entre sitemap et robots.txt ?
Le robots.txt indique aux robots ce qu'ils peuvent explorer (autorisations), le sitemap XML liste les pages que vous voulez voir découvertes et indexées (découverte). L'un gère les permissions, l'autre guide l'exploration.
Le robots.txt empêche-t-il l'indexation ?
Pas vraiment : il bloque le crawl, pas forcément l'indexation. Une page bloquée peut rester indexée si elle est connue par ailleurs. Pour empêcher l'indexation, utilisez la balise noindex, pas le robots.txt.
Que vérifier après une refonte de site ?
Vérifiez systématiquement que le robots.txt ne bloque pas tout le site et qu'aucune balise noindex involontaire ne subsiste. Ces erreurs, fréquentes après une mise en production, peuvent faire disparaître un site des résultats.
Des résultats concrets
Parmi plus de 186 avis positifs sur nos prestations d'augmentation de Domain Authority.
“Je suis passé d'un Domain Authority de 3 à 53. Très bon travail.”
“Commande ultra rapide en 15 jours ! Je suis passé d'un DA 8 à 54 !”
“Incroyable mais vrai, DA de 14 à 55 en un peu plus d'une semaine.”
Augmentez votre Domain Authority
Découvrez nos offres de netlinking professionnel et faites grimper votre autorité.
Voir les offres Audit gratuit