Date de publication : 08 décembre 2021
Temps de lecture : 3 min.
Niveau : Débutant
Le budget de crawl est une donnée invisible, mais qui est pourtant bien appliquée sur votre site par Google. Il est possible d’optimiser celui-ci sur votre site par des moyens assez simples que nous vous expliquons dans cet article !
Pour qu’une page puisse apparaitre dans les résultats de recherche Google et génère du trafic vers votre site, Google doit d’abord l’explorer.
Cependant, comme Google ne dispose pas de temps ni de ressources illimités pour explorer chaque page web, toutes les pages ne seront pas explorées. C’est ce que l’on appelle “budget crawl” ou “budget d’exploration”, et son optimisation peut être la clé du succès de votre stratégie SEO.
Le Crawl Budget (budget d’exploration en français), est le nombre maximal de pages de votre site que GoogleBot (le robot de Google) peut explorer dans un délai donné.
Google détermine le crawl budget d’un site en fonction de nombreux critères (liste non exhaustive) : la vitesse de chargement du site, sa taille, sa “santé”, la qualité des contenus et la fréquence de leur mise à jour.
La limite de crawl “Crawl rate limit” est un aspect différent, mais essentiel du budget de crawl et qui permet de définir un nombre de connexions simultanées que GoogleBot utilise pour crawler un site internet ainsi que le temps d’attente entre chaque page explorée.
La notion “Crawl rate limit” a été introduite pour éviter que Google n’explore trop rapidement un trop grand nombre de pages de votre site Web. Elle permet donc d’empêcher les robots Google d’effectuer trop de requêtes, car cela pourrait surcharger votre serveur et par conséquent ralentir la vitesse de chargement de votre site.
Vous pouvez définir la limite du taux d’exploration dans la Google Search Console. Cependant, le fait de fixer une limite élevée ne garantit pas un taux d’exploration élevé.
Lorsque vous ajoutez de nouvelles pages et mettez à jour des pages existantes, vous souhaiteriez que ces dernières soient détectées et indexées le plus rapidement possible.
Si vous gaspillez votre budget d’exploration, les robots Google ne pourront pas explorer ces dernières de manière efficace. Ils passeront du temps sur des pages qui sont sans importance, au détriment des pages stratégiques de votre site.
Le gaspillage du budget de crawl peut donc nuire à vos performances SEO.
Si votre site est lié à la Google Search Console, vous pouvez avoir un aperçu du budget crawl de votre site Web pour Google.
Suivez les étapes suivantes :
Il est très intéressant de vérifier les journaux de votre serveur pour voir à quelle fréquence les crawlers de Google passent (hit) sur les pages de votre site. Il est intéressant de comparer ces statistiques à celles qui sont indiquées dans Google Search Console. Il est toujours préférable de s’appuyer sur plusieurs sources afin d’être le plus précis possible.
À lire aussi :
Facebook Ads & son modèle d'attribution
Vous trouverez ci-dessous les éléments les plus importants à prendre en compte afin d’optimiser votre budget crawl (budget d’exploration) :
Voici les indicateurs clés pour la gestion et l’optimisation de votre budget d’exploration :
Nous voyons ici que le budget de crawl moyen en septembre-octobre était de 6000 pages / jour.
Après mise en place d’optimisations SEO début octobre (la plus importante étant la désindexation d’un grand nombre de pages dupliquées sur le site), nous avons observé une hausse du nombre de pages explorées par jour (8000 pages / jour), cela n’est pas négligeable lorsque l’on voit l’impact que cela peut avoir sur les performances SEO de vos pages.
Le graphique correspond à l’évolution du nombre de clics sur 3 mois, nous pouvons observer qu’après un peu plus d’un mois de la désindexation des pages dupliquées, le nombre de clics a commencé à augmenter (en corrélation avec la hausse du nombre de pages explorées par Google – voir graphique plus haut)
La maîtrise et l’optimisation de votre budget de crawl sont le secret de votre réussite. Lorsque vous parlez du budget d’exploration Google, vous devez toujours penser à l’optimisation de vos pages web (structure des liens internes, rédaction de contenus SEO de qualité, pagination, vitesse de chargement, etc). Aussi, lorsque votre site a un meilleur budget crawl qui lui est alloué par Google, il y aura (dans la majorité des cas) une amélioration de vos performances SEO (positionnement dans les résultats de recherche, trafic organique et donc potentiellement votre CA).
Vous souhaitez en savoir plus et vous faire accompagner dans l'optimisation SEO de votre site ? Faites appel à SLAP digital !
Découvrez nos prestationsDécouvrez nos livres blancs spécialisés sur les divers thèmes du marketing digital et téléchargez les gratuitement.
Nos livres blancsBesoin d'un coup de main ?
Vous souhaitez nous faire part de vos projets ou de vos besoins d’accompagnement ?
N’hésitez pas à nous contacter par téléphone au 01 85 08 03 49 ou à remplir le formulaire. Nous vous contacterons rapidement pour en savoir plus. Venez nous challenger, nous en ferons autant !
Contactez-nous