Que sont les directives « Crawl » ?

La directive d’exploration la plus courante est appelée « Robots Meta Directives », également connues sous le nom de « meta tags ». Ces balises servent de directives aux robots d’exploration, qui savent ainsi comment explorer ou indexer votre site.

Une autre directive est le fichier robots.txt ; il s’agit d’un fichier qui a la même fonction que les balises meta. Ces directives sont lues par les moteurs de recherche et, en fonction de ce que vous voulez qu’ils fassent, ils agissent en conséquence.

Toutefois, les chenilles ou les robots ne répondent pas toujours aux instructions. Comme ils ne sont pas programmés pour suivre strictement ces règles, il est possible qu’ils ignorent parfois le code.

En fonction de vos besoins, certaines de ces instructions (sous forme de code) peuvent être :

– noindex : il indique aux robots de ne pas indexer une page.

– index : c’est l’instruction par défaut, et cela signifie que le crawler peut indexer la page.

– dofollow : il indique au crawler de suivre la page et ses liens même si elle n’est pas indexée.

– nofollow : il indique au bot qu’un lien ne doit pas être pris en compte lors de l’indexation de la page où il se trouve.

– noimageindex : il indique au crawler de ne pas indexer les images du site.

– aucune : il s’agit de « noindex et « nofollow » simultanément.

– noarchive : les moteurs de recherche ne doivent pas afficher un lien en cache vers cette page sur une SERP (page de résultats des moteurs de recherche).

– nocache : est identique à noarchive mais ne fonctionne que sur Internet Explorer et Firefox.

– Indisponible après : il indique aux crawlers qu’après une date précise, ils ne doivent pas indexer le site web.