Les principaux CMS utilisent généralement une technologie compris et lue par les robots d’indexation .Si vous créez un site sous WordPress ou Joomla , si vous lancez une boutique en ligne tournant sous Prestashop ou Magento , Googlebot et les autre crawler ne seront normalement pas confrontés à des difficultés insurmontable , il arriveront à accéder à votre contenu à l’indexer .
Mais quelle que soit la technologie utilisée , la confiance n’exclut jamais le contrôle !
tout référence digne de ce nom s’assure donc de la lisibilité du code source des sites dont a la charge .Pour cela, nul besoin de compétence technique des sites dont il a la charge . pour cela , nul besoin de compétence technique poussées .
Vous pouvez commencer par afficher le code source de la page en utilisant le raccourci CTRL+U .ne soyez pas rebuté par la complexité apparente et n’y voyez pas un charabia incompréhensible. Commencez par rechercher au sein du code source des éléments de menus ou des extraits de texte qui apparaissent à l’écran : si vous ne trouvez rien , vous pouvez vous interroger sur la lisibilité du code.
Autre astuce pour s’assurer de la lisibilité d’un code source : utiliser la version en cache de Google en ,optant pour la version en Texte Seul .Vous devez vous assurer que les différents éléments indispensables à une bonne indexation sont bie, présent : le texte à indexer , mais aussi les éléments de menu .
Enfin, vous pouvez utiliser un crawler qui reproduit le comportement ,des robots d’indexation en explorant votre site .Si vous constatez que le robot n’accède qu’à un tout petit nombre de page ,s’il ne parvient pas à extraire les principales balises de votre site comme ,la balise TITLE ou si le nombre de mots ,par page est anormalement bas , vous devrez interroger sur la dimension SEO-Friendly du code source.
Pour connaitre les ressource bloquées d’une page ou d’un site , le plus simple est encore d’utiliser Google Search console. Vous devez vous demander à chaque fois qu’une ressource est signalée bloquée s’il est pertinent de maintenir son blocage , ou tout du moins de remonter l’information à l’équipe technique qui décidera à la version en cache de la page de votre choix.
MAITRISER ROBOTS.TXT ET UTILISER DES SITEMAPS
Vous désirez interdire aux moteur de recherche l’accès à certaines page, Vous voulez à l’inverse encourager Googlebot à visiter certaines de vos pages ? Plusieurs technique permettent aux référenceurs d’agir sur le processus d’indexation.
Empêcher l’indexation de certaines pages
Des pages aux contenus éditoriaux uniques et pertinents sont un critère de pertinence fondamental. Multiplier les pages vides ou trop similaires les unes avec les autres est donc contre-productif. Vous serez peut-être amené , en tant que référenceur , à vouloir empêcher Google ou un autre moteur de visiter la totalité des pages accessibles aux internautes .
par exemple , les filtres des recherche sur un site e-commerce ne sont généralement pas indexés . Les différentes combinaisons entre les couleurs , les tailles , les fourchettes de prix , les matériaux ou autres critère représentent souvent des milliers , des centaines de milliers voire des millions de possibilités .Il est fortement déconseillé de laisser Googlebot se promener sur ces nombreuses URL quasiment vides , ne contenant pour la plupart qu’un produit au mieux , car ce sera au détriment de vos pages stratégiques.
De même , certains sites génèrent des pages avec URL distinctes pour chaque recherche interne effectuée par un internaute .Par exemple , taper SEO sur Parlons Digital alors d’indexer de nombreuses pages en doublons , trop pauvre ou non pertinentes.
Pour bloquer l’indexation de certaines pages , vous pouvez utiliser une balise META Robots placée entre les balises <HEAD></HEAD> :
- <meta name = »robot » content = »noindex »/>: URL non indexée
- <meta name = »robot »content = »nofollow »/>: liens non suivis
- <meta name = »robot »content = »index »/>: URL indexées
- <meta name = »robot » content = »follow »/>: liens suivis
- <meta name = »robot » content = »none »/> URL non indexée , liens non suivis
Vous pouvez associer les instruction. la balise <meta name= »robots »content= »noindex,nofollow »/> équivaut à <meta name= »robots » content= »none »/> par exemple.
Sans instruction contraires, Google considère qu’une page est indexable et que ses liens externes peuvent être suivis. la balises <meta name= »robots » content= »index,follow »/>, que vous rencontrerez parfois , est donc inutile .De même , la balise <meta name= »robots »content= »noindex »/> est identique à <meta name= »robots content= « noindex,follow »/> .
Mais la gestion de la balise META Robots est parfois à utiliser .LE fichier robots.txt se relève très utile pour un déploiement sur de nombreuses pages.