Les fichiers robots désormais déconseillés
Les fichiers robots.txt sont réputés pour leur rattachement direct à la racine du site lui-même. En ce sens, ils peuvent constituer un outil de référencement. Toutefois, au cours d’un forum animé par John Mueller, ce dernier a annoncé qu’il y aurait des paramètres à prendre en compte avant de s’en servir. Les enjeux en sont palpables et les risques nombreux.
Enjeux liés au recours aux fameux fichiers robots
Il s’agit d’un fichier texte ASCII qui comporte deux principales commandes : l’User-Agent qui préconise le robot concerné et le Disallow, qui pointe les pages à ne pas considérer lors de l’indexation. En effet, les fichiers robots.txt sont plus des consignes que des règles à suivre.
La Search Console de Google, tout comme les moteurs de recherche de renom pourront comprendre les indications contenues dans ces fichiers, ce qui ne pourrait être le cas pour le reste d’entre eux. De plus, sachant que les fichiers robots servent à bloquer les URLs qu’un éditeur de site ne souhaite pas partager, certains pourraient penser que ce type de fichier s’avère être un moyen de sécurisation. Ceci dit, un professionnel averti trouvera de solutions plus adéquates pour protéger ses pages web.
Risques et inconvénients de l’utilisation des fichiers robots
Aux dernières nouvelles, ces fichiers fréquemment révisés pourraient engendrer des analyses accidentelles des URLs. Le mécanisme est que Googlebot, après téléchargement de sites, vont analyser les consignes à travers les robots.txt, Même si les consignes changent plusieurs fois dans la journée, les robots ne considèreront que les instructions obtenues lors de leur passage hasardeux, ce qui pourrait les induire en erreur. Aux termes de Mueller, les fichiers aussi dynamiques de ce type sont à éviter autant que possible.
Comme les webmasters ne pourront également maîtriser les moteurs de recherche utilisés par les visiteurs, les risques s’amplifient dans la circonstance où les robots de ces moteurs de recherche ne sont capables de lire ni de suivre intégralement les consignes. Le plus suggéré serait de faire le montage d’un site à partir d’un fichier Sitmap XML à caractère évolutif. D’abord, parce que ce système est plus maîtrisable et ensuite, pour éviter les dangers inutiles.
La fiabilité des fichiers robots.txt dynamiques est remise en question en raison des mises-à-jour fréquentes et de l’incapacité de certains moteurs de recherche à y lire les consignes. Afin d’éviter des conséquences indésirables, le webmaster peut se résoudre à d’autres outils nettement plus efficaces, tout en assurant le positionnement de son site sur les moteurs de recherche.