LinkedIn Link to LinkedIn Twitter Link to Twitter

Les 5 meilleurs outils de crawl pour améliorer son référencement

Mis à jour le 09/08/2022 | Publié le 21/02/2022 | 0 commentaires

Dans cet article, je ferai uniquement référence aux outils de crawl très spécifiques et non aux outils de crawl apparentés qui permettent d’améliorer le SEO technique d’un site comme le ferait Semrush avec un audit.

Qu’est ce qu’un outil de crawl ?

Un crawler (également appelé « spider », « bot » ou « robot d’exploration »...) est un programme informatique qui recherche et analyse les pages web. Les moteurs de recherche utilisent différents robots pour analyser les pages et potentiellement les indexer.

L’objectif des outils de crawl tels que OnCrawl ou ScreamingFrog est d’analyser les pages d’un site telles que les voient les robots d’exploration.

Cela permet de repérer l’ensemble des erreurs, des problématiques, comme celles liées aux liens internes d’un site, les temps de chargement, le balisage du site, la répartition des données structurées, et plein d’autres choses.

À quoi sert un outil de crawl ?

Lorsqu’ un robot visite une page d’un site, il laisse une trace de son passage sur le serveur du site web. Cette trace est tout simplement appelée « log ».

En SEO, nous analysons les logs laissés par les robots notamment GoogleBot (il existe de nombreux types de GoogleBot comme ceux dédiés aux images, vidéos, ...).

En revanche, cela est complexe à analyser, et prend un temps phénoménal. Différents outils de crawl permettent de les agréger et de les rendre plus simples pour l’humain.

Qu’est ce que l’analyse de log ?

En SEO, l’analyse de logs est très importante pour tous les sites voulant principalement optimiser leur budget de crawl.

En effet, Google n’a généralement pas le temps de crawler l’intégralité d’un site web, il est donc stratégique de l’optimiser en conséquence.

À savoir : selon BDM, 20 milliards de sites sont visités (crawlés) par Google, chaque jour. En 2020, Google a publié son Webspam report et ce n’est pas moins de 40 milliards de pages de spam trouvées par jour. Et cela coûte beaucoup d’argent, c’est pourquoi gérer le crawl budget est de plus en plus répandu dans la sphère du SEO. Un site optimisé pour Google et son crawl est un site qui rank mieux.

Aussi l’analyse de logs permet de savoir précisément ce que Google connaît de votre site et ce qu’il en a compris. Cela permet de savoir si les contenus et produits que vous lui présentez sont connus de Google et auront donc le potentiel de se positionner dans ses résultats. Puisque Google ne vous révèle que très partiellement cette information au travers de la searchconsole, l’analyse de logs permet d’obtenir des datas précises.

Les datas provenant des logs du serveur permettent d’analyser et de comprendre jour après jour les pages que Google voit sur un site, celles qu’il ignore, celles qui génèrent du trafic, celles qui devraient en générer et qui n’en génèrent pas, celles qui ne devraient pas en générer mais qui en génèrent quand même. Etc…

Ainsi, l’analyse des fichiers de logs permettra au final de retravailler la structure d’un site, son maillage interne, la diffusion de son page rank, et un certain nombre de critères techniques.

1. ScreamingFrog, l’outil de crawl par excellence

ScreamingFrog est un outil SEO dédié au crawl et donc à l’analyse profonde d’un site. Il est d’ailleurs le troisième outil le plus utilisé par les référenceurs SEO français selon BDM (2022). Il est utilisé par 60% des répondants juste après la Google Search Console et Semrush.

Et ce n’est pas pour rien. Effectivement, cet outil plus que complet vous permettra d’analyser votre site que ce soit pour les SEO débutants comme pour les meilleurs experts SEO.

À l’inverse des autres outils proposés, ScreamingFrog s’installe sur un ordinateur et n’est donc pas accessible en ligne.

Voici à quoi ressemble l’interface :

L'interface de ScreamingFrog, outil de crawl

ScreamingFrog permet d’analyser votre site, que ce soit côté SEO on-site et SEO technique, comme notamment :

  • Identifier les fondamentaux SEO de chaque page (H(n), Titles, Meta Description)
  • Vérifier les codes d’état HTTP de ses pages (1xx, 2xx, 3xx, 4xx, 5xx)
  • Voir les redirections / les balises canoniques / les sitemaps
  • La pagination
  • Tout ce qui est relatif à Hreflang
  • Les directives Meta-Robots-Tag des pages
  • Les données structurées & les rich snippets
  • La vitesse de page / Les Core Web Vitals (pistes d’amélioration comme indiquer le CSS inutilisé, minifier le CSS, etc.)
  • Vérifier si les pages sont indexables
  • Vérifier AMP
  • Vérifier le maillage interne d’un site (visualisation tree map, en fonction du PageRank, …)
  • Vérifier la duplication de contenu
  • … (et énormément d’autres choses).

Disponible gratuitement, version payante à partir de 149£ /an

2. Botify

Botify, un outil de crawl

Botify est un éditeur français de logiciels SEO, spécialisé dans l’optimisation technique SEO des sites web. La société a été fondée en 2012 par Stéphane Chauvin, Thomas Grange et Adrien Ménard. Son siège est basé à Paris mais pourtant uniquement disponible dans la langue anglaise. La société dispose de bureaux en Europe et aux États-Unis.

Botify propose trois modules principaux de son logiciel :

  • Botify Analytics (BA) qui est une solution très puissante de crawl SEO de sites web.
  • Botify Log Analyzer (BLA) qui est une solution leader du marché de l’analyse de logs en SEO.
  • Botify RealKeywords (BK) qui permet de croiser l’ensemble des données remontées par votre SearchConsole (GSC) avec la structure technique du site.

Les trois blocs logiciels peuvent (et doivent généralement) fonctionner en même temps afin de réaliser une analyse complète et pertinente des aspects techniques d’un site. Botify est un logiciel très puissant et complexe qui permet d’optimiser fortement l’usage de votre crawl budget, du PageRank interne et l’optimisation fine de chacune des URL du site.

Uniquement disponible sur demande. Prix en fonction de votre site.

3. OnCrawl

OnCrawl, un outil dédié au crawl

OnCrawl est un poids lourd parmi les outils de crawl et sert à faire des choses encore plus poussées en plus de l’analyse de logs.

  • SEO Crawler : à peu près les mêmes choses que celles évoquées pour ScreamingFrog
  • Log Analyzer : les hits des bots (mobile, desktop, SEA, news, images et autres verticals, les ressources explorées, les pages actives et bien d’autres indicateurs
  • Oncrawl Data : Révélez l’impact des métriques SEO - Analysez le trafic SEO finement - Contrôlez vos backlinks : tout cela en faisant des liens vers les datas réelles d’un site
  • OnCrawl BI :Évolution des KPI dans le temps – Suivre les tendances – Démontrer le retour sur investissement du SEO – Mise en place de reporting SEO à l’échelle
  • Oncrawl Labs : algorithmes de machine learning prêts à l’emploi pour la prédiction, la création et l’automatisation SEO (indexation en temps réel – génération de texte – détection d’anomalie – prédiction des performances de longue traîne)
  • OnCrawl Developer / Intégrations : indépendant, export Big Data, rapports personnalisés, tâches et actions automatisées, documenté - pouvant être intégré avec la GSC, GA, Majestic, AT internet, Adobe Analytics.

À partir de 49 € / mois, disponible sans demande préalable.

4. DeepCrawl

Orienté sur le crawl, et l’automatisation.

1. Détection d'exploration profonde

Des analyses et des informations techniques SEO de classe mondiale qui vous aident à améliorer la santé technique de votre site, à augmenter vos performances dans les pages de résultats des moteurs de recherche et à générer des revenus plus importants.

Caractéristiques principales

  • Robot d'exploration technique SEO
  • Segmenter les données pour identifier les priorités
  • API flexible pour utiliser les données là où vous en avez besoin

2. Deepcrawl Protect
Centre d'automatisation SEO

La première suite au monde de tests SEO automatisés qui aide à garantir que le code est optimisé pour le référencement et sans erreur avant sa publication sur votre site, ce qui permet de publier du code sans risquer de générer des problèmes.

Caractéristiques principales

  • Intégration directe dans votre pipeline CI/CD
  • 207 tests de QA SEO automatisés
  • Définissez des seuils correspondants à vos priorités SEO

Uniquement disponible sur demande. Prix en fonction de votre site.

5. Seolyzer

Seolyzer est un outil de crawl orienté SEO technique, français, écrit pour les français, et disponible gratuitement.

Il permet entre autres :

  • Analyse de logs
  • Crawler
  • Crawl évolution
  • Analyse croisée
  • Monitoring

Pour ceux qui souhaitent aller plus loin sur le référencement technique SEO facilement, il est l’outil idéal.

Il est simple, rapide, accessible à tous les niveaux et pas très cher si vous souhaitez passer à la vitesse supérieure en prenant un forfait payant.

Comme pour les nombreux outils cités précédemment, Seolyzer pourra faire les mêmes choses « basiques » côté détection des problèmes On-Page & Technique.

Dans tous les cas, le mieux c’est de tester !

Auteur

Stan De Jesus Oliveira
Propriétaire et fondateur de createur2site

Stan De Jesus Oliveira est le propriétaire de createur2site, il accompagne les entreprises dans leur création de site web, le Web Design et le référencement naturel SEO.

0 commentaires

Soumettre un commentaire

Votre adresse e-mail ne sera pas publiée.