Le mur des 500 URL : ce que bloque vraiment la version gratuite
Le SEO Spider de Screaming Frog reste l'outil que tout le monde cite, et pour de bonnes raisons. Mais sa version gratuite s'arrête net à 500 URL par crawl. Le piège, quand on débute, c'est de croire qu'on parle de pages. Non : les images, les feuilles de style, les scripts et les PDF entrent aussi dans le compteur. Un site vitrine de quelques centaines de pages peut donc suffire à toucher le plafond, et vous vous retrouvez avec un audit coupé au milieu, sans savoir ce qu'il y a derrière.
Le reste des brides est listé sur la page officielle du SEO Spider : pas de sauvegarde des crawls, pas de rendu JavaScript, pas de réglages fins de l'exploration, pas de connexion à la Search Console. Honnêtement ? Au début, vous vivrez très bien sans tout ça. C'est la limite de volume qui coince, et c'est elle qu'on va contourner.
Les 5 options gratuites qui vont au-delà
1. Ahrefs Webmaster Tools, le meilleur choix si le site est à vous
C'est l'option que je donne en premier à mes clients PME. Ahrefs propose gratuitement son module d'audit de site, à une condition : prouver que le site vous appartient (connexion à la Search Console, enregistrement DNS ou fichier HTML à déposer). Le crawl tourne sur leurs serveurs, rien à installer, et les problèmes remontent classés par gravité : erreurs 4xx, redirections en chaîne, titles dupliqués, pages sans aucun lien interne entrant.
Le quota mensuel se compte en milliers de pages par projet, ce qui couvre la grande majorité des sites de PME. Petit bonus dont on parle trop peu : vous récupérez aussi les backlinks de votre propre site. L'inscription se fait sur la page Ahrefs Webmaster Tools.
La limite saute aux yeux : impossible d'auditer un site qui n'est pas le vôtre. Pour un prospect ou un concurrent, il faudra passer par les outils suivants.
2. Seobility, le plus pédagogique pour débuter
Seobility est un outil en ligne allemand dont l'offre gratuite permet de suivre un projet et d'en explorer de l'ordre de 1 000 pages. Ce n'est pas énorme, mais c'est le double de Screaming Frog gratuit, et surtout chaque alerte est expliquée en langage clair, avec la raison pour laquelle elle compte. Quand on débute, ça vaut de l'or : on apprend en même temps qu'on audite.
Mise en garde valable pour toute cette liste : les éditeurs revoient régulièrement les quotas de leurs offres gratuites. Jetez un oeil à la page tarifs avant de bâtir votre routine dessus.
3. Xenu's Link Sleuth, le vétéran sans plafond
Un vieux logiciel Windows gratuit, dont la dernière version remonte à plus de dix ans, avec une interface qui vous fera sourire. Et pourtant, aucune limite d'URL. Vous lui donnez une adresse, il parcourt le site et vous sort les codes de réponse, les liens cassés, les redirections et les titles, le tout exportable dans un tableur.
Il ne vous parlera ni de canonical, ni de données structurées, ni de rendu JavaScript. Je ne m'en sers plus que pour une chose : la chasse aux liens cassés sur un gros site. Pour ça, il reste redoutable.
4. Advertools, si un terminal ne vous fait pas peur
Advertools est une bibliothèque Python open source, créée par Elias Dabbas, dont la fonction de crawl s'appuie sur Scrapy. Quelques lignes de code suffisent pour explorer un site entier et récupérer, URL par URL, le code de réponse, le title, la meta description, les titres Hn, la canonical et les liens. Le résultat se charge dans pandas ou s'exporte en CSV.
Pas d'autre limite que votre machine et votre patience. Par contre, soyons clairs : si vous débutez à la fois en SEO et en code, ce n'est pas par là qu'il faut commencer.
5. Screaming Frog gratuit, mais par lots
Le contournement que peu de débutants connaissent. Le mode Liste du SEO Spider explore une liste d'URL que vous lui fournissez, au lieu de suivre les liens. Vous récupérez votre sitemap XML, vous le découpez en paquets de quelques centaines d'URL (gardez de la marge sous la barre des 500), vous lancez chaque paquet, vous exportez, puis vous fusionnez le tout dans un tableur. Pour contrôler les titles, les meta descriptions, les H1, les codes de réponse et les canonicals d'un site de 1 500 pages, ça fait le travail, au prix d'un peu de manutention.
Ce que vous perdez, c'est la vision de la structure : profondeur des pages, maillage interne, pages que plus aucun lien ne rejoint. Chaque lot est un crawl isolé, l'outil ne voit jamais le site en entier.
La Search Console, le complément à ne pas zapper
Ce n'est pas un crawler, et elle ne remplace aucun des outils ci-dessus. Mais elle vous donne le point de vue du seul robot qui compte vraiment : celui de Google. Son rapport d'indexation des pages liste ce qui est indexé, ce qui ne l'est pas, et pourquoi. Si elle n'est pas encore branchée sur votre site, commencez par lire à quoi sert concrètement la Search Console de Google, c'est gratuit et rapide à mettre en place.
Le croisement le plus rentable : comparer les URL trouvées par votre crawler avec celles que Google connaît. Une page que Google a en stock mais que votre crawler n'a jamais atteinte, c'est très souvent une page orpheline, sans lien interne pour y mener. La méthode pour repérer ces pages orphelines puis les réparer a son article dédié.
Lequel choisir selon votre situation
- Votre propre site, jusqu'à quelques milliers de pages : Ahrefs Webmaster Tools.
- Vous débutez et voulez comprendre chaque alerte : Seobility.
- Le site d'un prospect, sans accès propriétaire : Screaming Frog par lots pour l'on-page, Xenu pour les liens cassés.
- Un gros site et un peu de Python : Advertools.
Un crawler gratuit ne fait pas l'audit à votre place : il vous donne des URL et des signaux, c'est à vous de décider ce qui compte. Pour savoir par où attaquer, appuyez-vous sur une checklist d'audit technique taillée pour ceux qui débutent en SEO et traitez les points dans l'ordre.
Et la licence payante, alors ? Le jour où vous auditez des sites clients toutes les semaines, elle se rentabilise vite. Avant ça, franchement, rien ne presse.
