Guide Screaming Frog : Comment bien utiliser l’outil

Table des matières

Voici le guide Screaming Frog qu’il vous fallait 🙂

Screaming Frog, la Grenouille Hurlante en français, outil absolument génial, à utiliser sans modération est un outil qui vous permet de simuler un crawl sur votre site, de la même manière que le feraient les moteurs de recherche (en analysant le contenu des pages analysées et en suivant les liens identifiés les uns après les autres).

Il permet également d’analyser toute une liste d’url (provenant du fichier sitemap de votre site par exemple).

Ok, c’est bien, mais que peut-il vous apporter ?

Il vous apporte une mine d’informations sur la qualité de la structure de votre site, les erreurs présentes.

Non c’est vrai, il ne vous donne pas une todo-list priorisée, ce sera à vous de vous la faire vous-même. Mais c’est déjà un très bon premier point de départ pour initier vos actions correctrices SEO.

Suivez le guide Screaming Frog.

 

Guide Screaming Frog : L’outil (presque) parfait

 

Avez-vous déjà pensé ou rêvé à un outil, façon couteau suisse qui gère tout votre SEO ?

Le genre d’outil qui fait tout et qui devient très vite indispensable ?

Vous n’auriez qu’à appuyer sur un bouton (voire même deux pour les plus courageux) et l’outil vous ferait tout votre référencement ?

 

  • Il remplirait lui-même les balises méta.
  • Il nettoierait le contenu dupliqué.
  • Il injecterait lui-même des contenus riches, intéressants pour l’utilisateur, et enrichis sémantiquement.
  • Il ferait lui-même votre cocon sémantique.
  • Il serait capable d’analyser lui-même les sites des concurrents.

 

Non ce genre d’outil n’existe pas, en revanche, Screaming Frog est un outil qui existe pour de vrai et qui réalise pour vous des analyses pertinentes, utiles, et efficaces.

Il vous permet par exemple de déceler rapidement et facilement des axes d’améliorations structurelles sur votre site.

Tels que :

  • Cas de duplications de contenus dans les url et les balises title et H1.
  • Niveaux de profondeur trop importants.
  • Erreurs dans les balises rel canonical.
  • Pages en noindex sans raison valable.

 

Screaming Frog l'outil parfait

 

Guide Screaming Frog : Version gratuite ou payante, mon coeur balance

 

L’outil existe:

  • En version gratuite (limité à 500 url par analyse).
  • En version payante (pour des analyses de plus de 500 url).

Même si votre site ne comporte pas 500 url, je vous recommande vivement de prendre la version payante (pour être plus à l’aise pour analyser des sites concurrents plus importants en termes de volumétrie de pages).

La licence coûte une centaine d’euros par an, mais vraiment elle est très vite rentabilisée…

Au pire, commencez par la version gratuite de Screaming frog , vous verrez par la suite selon vos besoins.

(Non je n’ai pas de part dans la société Screaming Frog, et non je ne prends pas de commission à chaque achat de licence : ) ).

Screaming Frog à utiliser en gratuit ou payant

 

Guide Screaming Frog : Comment je l’utilise au quotidien

 

J’utilise Screaming Frog :

  • Au quotidien, pour des analyses très diverses sur mon blog ou sur d’autres sites.
  • Dans le cadre d’audits, d’analyses plus ponctuelles ou spécifiques.
  • Dans le cadre de mes ateliers et formations : Je montre à mes apprenants pourquoi il est aussi puissant, et comment eux peuvent l’utiliser en toute autonomie de leur côté.

Il permet de produire des analyses précises de manière macro (il analyse en peu de temps des centaines, voire des dizaines de milliers de pages), ce qui nous permet de gagner beaucoup de temps.

Il faut admettre qu’il n’est pas vraiment adapté pour les sites de plusieurs centaines de milliers de pages. C’est clairement son axe d’amélioration.

Pour télécharger Screaming Frog, c’est ici

Il fonctionne sur Mac et Windows.

 

 

 

Dans l’onglet “Mode” du menu en haut de page, vous voyez Spider et List.

  • Spider (en référence non pas à Spider Man, mais à spider comme les robots des moteurs de recherche) correspond à la fonctionnalité de simulation d’un crawl d’un site.
  • List : On l’utilise pour analyser une ou des pages en particulier.

 

 

Guide Screaming Frog : Analyses à partir d’une liste d’url : Fonction “List”

 

Screaming Frog

Screaming Frog

 

Comment indiquer dans l’outil les url qu’on souhaite uploader :

  • From a file” : On uploade une liste d’url (à partir d’un fichier texte lambda).
  • Enter Manually” : Ou on peut rentrer les url à analyser à la main ou les copier / coller. C’est la fonction “Paste“.
  • Download Sitemap” et “Download sitemap Index” : On peut indiquer l’url du fichier sitemap (ou sitemap index) que Screaming Frog devra analyser.

 

Guide Screaming Frog : Pourquoi analyser les url du sitemap ?

 

Par exemple il peut s’agir de s’assurer qu’elles répondent bien en 200 (code serveur 200 correct).

Il peut aussi s’agir de s’assurer que les url présentes dans le sitemap sont bien présentes dans la structure du site.

Si ce n’est pas le cas il s’agit d’investiguer plus loin, en effet les url du sitemap devraient en toute logique être présentes dans la structure du site.

Si ce n’est pas le cas, les url du sitemap sont peut-être orphelines, ou parce que le fichier n’a pas été mis à jour depuis x temps, les url ne correspondent plus à la réalité du site.

En tout cas, quelque soit la raison, il faut comprendre le problème pour le résoudre.

Besoin de conseils pour construire votre arborescence : Suivez le guide !

 

Guide Screaming Frog : Analyses d’un site : Fonction Spider

 

Avec la fonction Spider, on peut donc générer le crawl d’un site.

Ce crawl peut répondre à plusieurs objectifs. A titre d’exemples :

 

  • Guide Screaming Frog : Comptabiliser le volume réel de pages d’un site.

Entre le volume de pages en base de données et le volume de pages réel sur un site il peut y avoir un gap énorme (cas de duplication de contenus massifs par exemple).

Ensuite il peut être intéressant de comparer le volume de pages théorique, le volume de pages réel, et le volume de pages indexées sur Google.

 

  • Vérifier qu’un site est ‘crawlable” dans son ensemble.

Tout simplement vérifier que les pages “utiles” (génératrices de trafic et de conversion et clientes à l’indexation sur Google) du site sont bien identifiées par l’outil.

 

  • Comptabiliser le volume d’erreurs 404.

Soit on les réintègre dans la structure du site si elles présentent un intérêt soit on les redirige en 301 vers une page proche.

 

  • Comptabiliser le volume de redirections 301 / 302 présentes dans la structure du site.

Il convient de corriger l’url de destination finale au coeur de la redirection afin d’éviter un double appel serveur.

 

  • Identifier le nombre de niveaux de profondeur.

Il vaut mieux une arborescence large et peu profonde.

 

  • Identifier le volume de H1 dupliquées.

Corriger donc les H1 dupliqués (tout dépend du contexte de la duplication).

 

  • Identifier le volume de pages dupliquées (par url ou par balises title).

 

Par exemple, si l’outil n’arrive à crawler que 50% de votre site, c’est qu’il doit y avoir un problème structurel quelque part.

Vous avez 10000 pages produits sur votre site e-commerce, Screaming Frog n’en trouve que 5000. Cela signifie que les 5000 restantes sont introuvables, donc non présentes dans la structure du site.

C’est là que l’analyse structurelle a tout son intérêt.

Les pages manquantes sont-elles correctement rattachées aux catégories correspondantes ? Le contenu serait-il en Ajax? Ce sont ce genre de questions qu’on doit se poser pour comprendre l’origine du problème.

 

Guide Screaming Frog : Liste exhaustive des indicateurs analysés (fonctions list et spider)

 

Que vous analysiez un site dans son ensemble, ou un simple lot d’url, l’outil d’analyse structurelle Screaming Frog va vous donner le rendu d’analyse des indicateurs suivants :

 

Screaming Frog système de filtre par onglets

 

Guide Screaming Frog : Les onglets

 

Ils vous donnent, chacun à leur niveau des informations très intéressantes :

 

  • Code Réponse :
    • Code 200, 301, 302, 404, 503…

 

  • Adresse :
    • Il s’agit de l’url de chaque page.

 

  • Titre :
    • Il de la balise title (à ne pas confondre à pas confondre avec le H1. La balise title est présente dans le code source de la page et apparait dans les résultats Google au-dessus des deux lignes de description).

 

  • Type de contenu :
    • Contenu texte ou média, js etc.

 

  • Longueur du titre :
  • (en caractères et en pixels).

 

  • Balise description :
    • Cette balise n’a pas d’impact sur votre positionnement sur Google, mais sur le taux de clics potentiel au sein des listes de résultats Google (c’est pourquoi elle doit être “sexy”).

 

  • Longueur de la balise description :
    • (en caractères et en pixels).

 

  • Balise keyword :
    • (même si elle n’est plus prise en compte depuis longtemps par les moteurs de recherche).

 

  • Longueur de la balise keyword :
    • (en caractères et en pixels).

 

  • Balise H1 :

    • Il s’agit du titre de la page (en principe le titre le plus visible de la page, il doit correspondre au contenu de la page).

 

  • Longueur de la balise H1.

 

  • Balises H2.

 

  • Longueur des balises H2.

 

  • Règle de non-crawl venant du robots.txt :
    • Valable si des pages de votre site n’ont pas vocation à être crawlées et indexées par Google.

 

  • Balise canonical :
    • En cas de plusieurs url pour une même page, indique quelle est l’url de référence. Utile dans la gestion de contenus dupliqués.

 

  • Nombre de mots présents.

 

  • Niveau de profondeur.

 

  • Nombre de liens entrants et sortants.

 

  • Temps de chargement.

 

  • Url de redirection (en cas de redirection).

 

Guide Screaming Frog : Les filtres

 

système de filtre outil de crawl web

 

  • Html.
    • Contenus html. Ce qui sera en priorité indexé par les moteurs.

 

  • Js.

 

  • Css.

 

  • Images.

 

  • Pdf.
    • A voir si le fichier pdf présente un intérêt d’avoir une version en html.

 

  • Flash.

 

On peut aussi filtrer par url. Par exemple, je ne veux filtrer que les url articles. Je n’ai qu’à ajouter dans le champ de recherche le terme “articles/”.

D’où l’intérêt d’avoir des formats d’url spécifiques par typologies d’url (/produit-* pour les pages produit par exemple, cela facilite grandement les analyses).

Par exemple on peut :

  • Ranger les url par ordre croissant / décroissant.
  • Objectif : Identifier le contenu dupliqué (via des filtres dans les url).
  • Ranger les balises title, et / ou H1 par ordre croissant / décroissant.
  • Objectif : Identifier le contenu dupliqué (titre en double, triple).

 

On peut identifier les contenus trop profonds, ou subissant un temps de chargement trop long.

On peut aussi identifier les erreurs au niveau des balises rel canonical quand celles-ci sont intégrées (même idée avec le code Analytics, GTM, et même les balises hreflang, bref, tout ce qui est indentifiable dans le robots.txt).

 

 

Guide Screaming Frog : Identifier des pour-actions pratiques et opérationnels

 

Ce qui est intéressant c’est à partir des data analysées c’est de pouvoir identifier, spécifier des actions concrètes et opérationnelles qui vous permettront à court / moyen terme de booster la visibilité de votre site sur les listes de résultats Google.

Encore une fois, l’outil a ses limites, il ne peut pas faire le travail minutieux de prioriser les actions. Tout dépend de ce que vous cherchez à analyser. L’outil ne va pas vous donner la réponse toute cuite, mais vous donner des informations pour valider ou non vos impressions.

L’intérêt de cet outil est de valider les pistes d’erreurs que vous avez identifiées à l’oeil nu sur le site.

 

Guide Screaming Frog : A quoi servent les onglets secondaires ?

 

Les onglets secondaires en bas du logiciel ne sont pas des filtres, mais donnent des informations complémentaires dès qu’on sélectionne une url.

 

  • Url info :  code réponse, balise rel canonical, titre, nombre de liens entrants, nombre de liens sortants, etc.
  • Inlinks : Les liens entrants.
  • Outlinks : Les liens sortants.
  • Image info : Attributs alt des images de la page.
  • Serps snippet : Rendu du résultat sur les listes de résultats Google.
  • Rendered Page : Page affichée.
  • View source : Code source.

 

Guide Screaming Frog : Quelles sont les fonctions avancées ?

 

Configuration outil de crawl

Il est possible avec Screaming Frog de customiser les analyses, c’est à dire de rentrer plus dans le détail du paramétrage de l’outil afin d’analyser des éléments en particulier (on notera que cette partie “fonction avancée” peut intervenir dans un second temps de l’analyse une fois que les indicateurs problématiques ont été identifiés).

Voici ci-dessous quelques exemples. Il y a beaucoup à dire, il faudrait un article supplémentaire dédié uniquement à ces fonctions avancées tellement elles sont nombreuses. Voici donc un premier aperçu.

 

Pourquoi faire des analyses avancées ?

Les analyses avancées nous servent pour étudier un point particulier, et Screaming Frog peut nous aider à le faire.

Le secret est de savoir ce qu’on cherche et pourquoi on le cherche, dans quel but, qu’est ce que le résultat de l’analyse peut nous révéler et quelles seraient les actions correctrices à mettre en place. Une fois qu’on a cette idée en tête on peut réaliser toutes les analyses qu’on souhaite.

 

Guide Screaming Frog : Analyse avancée : Export

 

On peut générer un export global (c’est à dire un export complet), ou choisir d’exporter seulement quelques éléments.

 

Guide Screaming Frog : Analyse avancée : Sitemap

 

A partir d’une base d’url, on peut générer (créer) un fichier sitemap (url et / ou images). Voir l’onglet Sitemap.

 

Guide Screaming Frog : Analyse avancée : Rapports

 

A partir d’une base d’url, on peut générer des rapports spécifiques :

  • Erreurs de Canonical.
  • Erreurs de balises rel prev rel next.
  • Pages orphelines (pages hors structure de votre site).
  • Erreurs sur les balises hreflang.
  • Chaines de redirection.

 

Guide Screaming Frog : Analyse avancée : Configuration

 

On peut configurer les analyses de l’outil selon des besoins spécifiques.

A titre d’exemple, on peut demander au crawleur de :

  • Ne pas analyser les sous-domaines.
  • S’arrêter à un certain niveau de profondeur.

Avec la fonction Spider on peut entre autres inclure ou exclure des url ou typologies d’url spécifiques.

On peut paramétrer la vitesse de crawl de l’analyse (pour éviter les sur-charges serveurs).

On peut indiquer un user-agent spécifique (utile par exemple pour les analyses de logs).

Avec la fonction Search / Extraction, on peut identifier les pages ayant ou n’ayant pas dans le code source un code spécifique, comme le code Analytics par exemple).

On peut augmenter la mémoire nécessaire en cas de grosse analyse.

On peut accéder aux API de Google Analytics, Google Search COnsole, Majestic SEO, Ahrefs, et Moz.

Selon les besoins on peut paramétrer le suivi des entêtes http.

On peut personnaliser le robots.txt propre à Screaming Frog pour des besoins spécifiques.

Bref, vous l’aurez compris, le champ des possibles s’avère vraiment large.

Par exemple :

Identifier les url “/article-” répondant en 200 et contenant le texte “Je m’inscris à la newsletter” mais ne contenant pas le texte “formation web marketing”.

 

Guide Screaming Frog : Exemple de cas concret d’analyse structurelle

 

Prenons le cas concret d’un site e-commerce de 10000 pages produit et 100 pages catégories.

Avec Screaming Frog, je peux :

  • Identifier les pages produits grâce au format d’url si celui-ci est spécifique.
  • Voir les url dupliquées avec des variables inutiles (et surtout le volume de pages concernées). Exemple : filter=price
  • Voir les titres et H1 dupliqués.
  • Voir les balises canonical en erreur. Par exemple je peux être capable de dire que 20% des fiches produits ont une mauvaise rel canonical renseignées.
  • Ou je peux dire aussi que 67% des pages catégories sont massivement dupliquées avec le système de variable filter=minprice. Cette duplication représente 80% du volume du site.

 

Ces analyses sont possibles via les systèmes de filtre et de tri.

Le plus simple est d’exporter le rapport et de l’ouvrir avec Excel. Ainsi vous manipulez la data comme bon vous semble.

 

 

Guide Screaming Frog : Les limites de l’outil

 

Il n’est plus vraiment adapté aux sites affichant ds centaines de milliers de pages.

L’outil permet de sortir des constats mais ne donne pas les solutions.