L’indexabilité des sites Web est l’un des problèmes les plus courants auxquels les webmasters doivent faire face. Pourquoi est-ce courant ? Parce que tout le monde veut s’assurer que son site web peut être découvert en ligne.
Si quelque chose ne va pas, votre site Web peut se retrouver hors des résultats de recherche de Google, ce qui signifie que votre entreprise n’existera plus en ligne.
Assurez-vous d’être au courant de ces cinq cas et évitez qu’ils ne se produisent sur votre site Web. Si vous avez déjà des problèmes de couverture de votre site Web, cet article devrait vous aider à les résoudre.
1 – Désactiver le fichier robots.txt
Tous les sites Web sont censés avoir un fichier robot.txt, qui indique aux robots des moteurs de recherche où ils peuvent et ne peuvent pas aller. Si certaines pages ou certains répertoires sont bloqués dans le fichier robots.txt, les robots des moteurs de recherche ne seront pas en mesure d’explorer ces pages, qui seront donc exclues des recherches.
Voici ce que vous ne devez pas voir dans votre fichier robots.txt :
Disallow : /
…sous l’un de ces agents utilisateurs :
Agent utilisateur : *
Agent utilisateur : Googlebot
Pourquoi ? Ces trois lignes de code indiquent à un robot Google de ne pas explorer les pages du site.
Disallow indique quelles pages ou quels répertoires de sites Web vous ne voulez pas qu’un agent utilisateur (généralement un robot) explore le site.
Allow indique les pages ou les répertoires de sites Web que vous souhaitez faire explorer par les agents utilisateurs.
Si vous ajoutez la ligne de code suivante au fichier robots.txt, vous empêcherez un robot d’explorer toutes les pages de blog de votre site Web.
Disallow : /blog/
Comment y remédier
Parfois, les webmasters empêchent l’indexation de certaines pages lorsqu’ils sont en mode développement. Si vous avez remarqué un problème dans le fichier robots.txt de votre site Web, il vous suffit de supprimer les directives bloquant le contenu et Google explorera la page sous peu.
2 – Tags no index et no follow
Une fois, j’ai eu pour tâche de comprendre pourquoi la nouvelle page « A propos » n’apparaît pas dans Google sous son nom. Tout semble correct, le site a été ouvert à l’indexation et aucun problème n’a été découvert dans le fichier robots.txt. Cependant, une ligne de code semblait suspecte.
<meta name="robots" content="noindex"/>
« No index » est généralement ajouté pendant le processus de développement de la page, afin d’éviter qu’elle ne soit indexée. Après la publication de la page, elle était toujours fermée à l’indexation, car les développeurs (ou un PM) ont oublié de supprimer cette ligne de code.
Conclusion : si votre site Web est ouvert à l’indexation dans le fichier robots.txt, cela ne signifie pas qu’un robot Google peut facilement atteindre toutes les pages. Si l’option « no index, no follow » est appliquée à des pages spécifiques, elle les empêchera d’apparaître dans les résultats de recherche.
Comment résoudre ce problème
Vous pouvez vérifier manuellement le code de la page Web si vous êtes sûr que le problème n’affecte pas l’ensemble du site. Pour ce faire, accédez à :
- « Plus d’outils »> « Outils du développeur » dans le cas où vous utilisez le navigateur Google.
- « Développer » > » Afficher l’inspecteur web » > « Éléments » dans le navigateur Safari.
Ouvrez une barre de recherche avec Cltr + F ou Cmd + F (pour Mac) et saisissez « no index ». Voici ce que je peux voir pour la page principale de Medium dans la console du développeur.
Aucune similitude n’a été trouvée sur la page pour cette balise. Vous pouvez être certain que cette page spécifique ne présente pas de problème de « no index ».
Que faire si vous souhaitez vérifier plusieurs pages du site ou l’ensemble du site ? Une vérification manuelle prend beaucoup de temps. Cependant, certains outils peuvent vous aider à effectuer des audits de site et à détecter les problèmes sur la page.
3 – Mauvaise optimisation du site
Le moteur de recherche de Google est déjà suffisamment capable de comprendre l’intention de recherche de l’utilisateur et de la faire correspondre au bon contenu.
Les mots-clés et les backlinks ne sont pas tout de nos jours pour que votre contenu soit bien classé. Cependant, sans une bonne optimisation, vous ne serez pas en mesure de présenter votre site Web au bon public.
Les robots de Google sont votre tout premier lecteur de contenu. Faites-lui comprendre le sujet de votre page et il commencera à la montrer aux bonnes personnes.
Si vous tenez un blog ou si vous avez une page de renvoi, veillez à inclure des mots clés aux endroits vérifiés par le robot Google, tels que :
- Titre
- Description
- En-tête principal h1
- Sous-en-têtes h2, h3, h4
- Balises d’image alt
- Les 100 premiers mots de votre page Web
En outre, vérifiez ce que Google affiche sur la première page de résultats de recherche. Si Google pense que votre mot-clé cible est informatif, même la page de vente la plus optimisée pourrait ne pas être utile dans ce cas.
4 – Contenu dupliqué du site Web
À l’instar des règles strictes en vigueur dans les universités concernant le plagiat du travail d’autrui, Google n’apprécie pas non plus le contenu dupliqué.
En quoi cela peut-il nuire à votre site Web ?
- Vous répartissez l’autorité des backlinks entre deux pages presque identiques au lieu de renforcer une seule URL.
- Vous êtes en concurrence avec deux pages (faibles) dans Google pour le même mot-clé.
- Au final, vous risquez de sortir des résultats de Google si le contenu de votre site Web n’est pas unique.
Pourquoi ? Il n’apporte pas de valeur aux utilisateurs. Si le même élément de contenu est disponible sous deux ou plusieurs URL différentes, une seule URL peut être conservée dans les résultats de recherche, tandis que les autres seront exclues.
Comment y remédier
Vous pouvez vérifier manuellement si votre site Web redirige toutes sortes d’URL vers celles avec ou sans www. Le protocole SSL HTTP doit être redirigé vers HTTPS.
Les majuscules dans l’URL, comme meDium.com, devraient rediriger vers medium.com. Si l’URL se termine par la barre oblique /, toutes les URL doivent être redirigées et utiliser une barre oblique.
Chaque page est unique pour Google. Si deux pages identiques sont accessibles sous des URL différentes, il s’agit très probablement de doublons.
Outre une vérification manuelle, vous pouvez utiliser les rapports d’audit de site de référencement pour détecter les pages en double.
Redirigez les pages en double pour résoudre les problèmes et faire en sorte que Google indexe correctement votre site Web.
5 – Pénalité de Google
Si votre site Web a été pénalisé par Google, il peut être complètement effacé de la page de résultats de Google.
Laissez-moi vous montrer deux façons de vérifier si votre site Web est pénalisé.
Ouvrez la Google Search Console de votre site Web et naviguez jusqu’à Actions manuelles dans le menu latéral de gauche.
Comment vérifier si le site Web est pénalisé dans la console de recherche des webmasters.
S’il n’y a pas de message sur les actions appliquées à votre site Web qui l’empêchent d’apparaître dans les résultats, alors ce n’est pas votre cas cette fois-ci et vous devriez chercher un autre problème.
Une autre façon de voir si le site est pénalisé est de vérifier s’il est présent dans l’index de Google sous sa marque. Voici comment procéder en utilisant l’opérateur de recherche « site : ».
Utilisez l’opérateur de recherche « site : » pour vérifier l’index du site Web dans les résultats de Google.
Voyez combien de pages Médium sont présentes dans l’index de Google ces jours-ci. 35,4 millions. Plutôt excitant, non ? Si votre site Web est affiché sous son nom de marque dans l’index de Google, c’est bon signe.
Il y a une autre occasion où l’opérateur de recherche site : peut être utile. Comparez le nombre de pages affichées par Google et votre console de recherche. Y a-t-il une grande différence ? Si oui, assurez-vous de vérifier les doublons et autres problèmes liés au site. Certaines pages de votre site peuvent ne pas apparaître dans les résultats.
Comment y remédier
Voici une excellente source de Google sur les types de pénalités et les actions recommandées.
Si votre site Web est concerné et que vous avez reçu une notification à ce sujet, vous devrez résoudre les problèmes (liens non naturels vers votre site Web, spam généré par l’utilisateur, texte caché, bourrage de mots clés, etc.) et soumettre votre site Web pour réexamen.
Il faudra peut-être quelques semaines à Google pour vérifier le problème. Vous pouvez prendre contact avec eux pour accélérer le processus. Cependant, une fois le problème résolu, vous recevrez une notification par e-mail.
Si vous prenez soin de la santé de votre site Web, il fonctionnera correctement et vous permettra d’atteindre vos objectifs commerciaux. Pour que les utilisateurs trouvent et lisent votre contenu en ligne, assurez-vous que votre site ne présente pas les problèmes suivants :
- Des pages ou des répertoires sont interdits dans le fichier robots.txt.
- La balise No index, no follow empêche Google d’indexer certaines pages de votre site Web.
- Votre contenu est mal optimisé et ne suit pas l’intention de recherche des mots clés.
- Votre site Web souffre de pages dupliquées internes ou externes.
- Google a appliqué une pénalité et retiré (partiellement) votre site de l’index.
