7. Indexer un site sur internet
Grâce à votre stratégie de positionnement précédente, votre site est maintenant agrémenté de mots-clés pertinents et fréquemment recherchés par des internautes. Nous allons voir dans ce chapitre si les moteurs de recherches trouvent votre site et l’indexent.
L’indexation web
Que signifie indexer un site ?
Chaque jour, les moteurs de recherches lancent des petits programmes, appelés communément robots ou robots indexeurs (aussi appelés spider ou crawler en anglais) pour chercher les pages web qu’ils ne connaissent pas encore et surveiller les changements sur celles qu’il connaissent déjà. Comment font-ils pour trouver les sites, les indexer dans leur base de données ? C’est ce que je vais vous expliquer ici.
Pour comprendre plus facilement j’aime faire cette analogie. Imaginons quelques secondes le processus d’indexation utilisé par les moteurs de recherche comme le postulat suivant:
Voyons le moteur de recherche comme le maire d’une capitale, les sites comme des maisons ou immeubles, les liens externes comme des routes, les liens internes comme des portes et les pages web comme les pièces.
Un robot se comporterait comme le consultant du maire, un prénommé Mr Bot. Pour recenser les nouvelles maisons dans la ville, ou pour vérifier si des travaux sont en cours, Mr Bot arpente tous les jours les rues de la ville. Mr Bot inspecte les moindres recoins, trouve les nouvelles maisons, les évalue et il est en permanence en contact pour rendre compte au maire qui centralise les informations dans un ordinateur.
Pour que le recensement soit toujours le plus à jour possible, Mr Bot continue sans arrêt son interminable prospection, mais comme il ne peut pas être partout à la fois, certaines habitations restent introuvées pendant un temps.
Cette analogie nous montre parfois la difficulté à trouver votre super site parmi une pléiade d’autres prétendants. C’est comme si vous achetiez une île, qui ne possède aucun pont et qui ne soit pas répertorié sur les cartes courantes. Comment indiquer à votre promoteur où commencer la construction de votre nouvel hôtel. Revenons maintenant à notre sujet.
Le moteur de recherche ne vous a pas encore indexé ? Il peut y avoir un problème technique, comme cela peut venir d’un manque inéluctable de popularité (pas encore de liens qui pointent vers vous). Nous allons voir cela ensemble.
Mais avant ça, regardons l’explication de Matt Cutts,ingénieur médiatisé chez Google, sur le fonctionnement des moteurs de recherche:
Comment vérifier si votre site est déjà indexé ?
Votre site est reconnu comme étant « indexé » par un moteur lambda à partir du moment où vos pages se trouvent enregistré dans l’index de ce moteur. Physiquement, les informations de vos pages se trouvent sur une serveur appartenant au moteur lambda. Mais si votre site est indexé par ce moteur de recherche, cela ne veut pas dire qu’il l’est pour epsilone, alpha, omega et tous les autres. Vous l’aurez compris je l’espère, chaque moteur de recherche possède ses propres index, avec ses propres serveurs répartis dans le monde.
Pour vérifier la présence de certaines de vos pages dans un robot, il vous suffit d’aller sur la page d’accueil du moteur et de taper l’opérateur « site: » suivi du nom de domaine de votre site. Sous forme de liste, cela donne :
- Vous Rendre sur la page d’accueil du moteur que vous voulez tester, pour Google c’est www.google.fr
- Écrire dans la zone de recherche la formule : site:votre_nom_de_domaine. Par exemple site:https://www.seo-et-referencement.fr
- Valider la recherche et regarder les résultats.
Cet opérateur sert en fait à afficher toutes les pages indexées par le moteur de recherche. Si vous avez autant de résultats que de pages sur votre site, c’est que votre site est entièrement indexé, et donc entièrement présent dans l’index de ce moteur. Mais ce n’est peut-être pas le cas pour tout le monde. Quatre situations sont possibles :
| # | Résultats obtenus | Explications | Solutions |
|---|---|---|---|
| 1 | Rien ne s’affiche | Le moteur ne vous pas encore trouvé | Cf. |
| 2 | Seulement une partie de vos pages s’affichent | Le robot est en cours et continue l’exploration de vos pages | Laisser le faire pendant quelques jours. Si des pages manquent toujours, vérifier que vous n’empêcher pas l’accès (cf. Problème 1) |
| 3 | Toutes vos pages s’affichent | BRAVO ! Ce qui signifie qu’elles sont toutes indexées | Rien à faire sur ce moteur. Tester sur un autre |
| 4 | Il y a plus de pages affichées que de pages sur votre site, ou les pages affichées ne sont pas celles de votre site | Alors c’est que vous avez sûrement acheté un nom de domaine appartenant à un autre site précédemment et le moteur a encore ses traces dans son index. | Ces pages fantômes disparaitront par elles-mêmes au même moment qu’elles seront indexées par vos pages |
Selon les résultats obtenus, les problèmes d’indexation de votre site peuvent provenir de trois problèmes techniques :
- Problème 1 : L’accès de votre site est totalement restreint. Par une configuration, vous interdisez l’accès total aux moteurs.
- Problème 2 : L’accès de votre site est partiellement restreint. Par une configuration, vous interdisez aux moteurs l’accès à certaines pages.
- Problème 3 : Votre site est difficile à parcourir pour les moteurs de recherche. Vous utilisez des frames ou du flash pour votre site.
L’accès de votre site est restreint. Configurer le fichier robots.txt pour autoriser la visite du robot de chacun des moteurs que vous souhaitez laisser indexer votre site. Nous allons voir cela dans le chapitre suivant.
L’architecture de votre site empêche un bonne indexation de votre site. Nous traiterons cela après le chapitre sur le fichier robots.txt
Nous allons voir dans les chapitres suivants comment configurer les restrictions et comment faciliter l’indexabilité d’un site.