Pas plus de 500 Ko pour votre fichier robots.txt







Via Scoop.itMa Veille

Google rappelle qu’il ne lit que les premiers 500 kilo-octets du fichier robots.txt d’un site web, ce qui doit logiquement correspondre à l’immense majorité des cas… John Mueller, Webmaster Trends Analyst chez Google Zurich, rappelle sur son profil Google+ que les robots de Google n’analysent que les 500 premiers kilo-octets du fichier robots.txt d’un site web, comme le rappelle l’aide en ligne du moteur. En même temps, ce fichier (au format textuel donc très léger) ne contient la plupart du temps que quelques lignes listant les répertoires à ne pas indexer et l’adresse du (des) fichier(s) Sitemap et ne fait que quelques kilo-octets dans l’immense majorité des cas. Logiquement, cette limite des 500 Ko ne doit donc être atteinte que dans des cas très précis et d’autant plus rares…
Via actu.abondance.com

Rémi Morin

Veilleur - Référenceur Gestion de l'identité numérique des entreprises soucieuses de leur e-reputation, et conscientes de la plus-value que peut apporter la bonne gestion de leur présence en ligne.

More Posts - Website

Follow Me:
TwitterFacebookLinkedInPinterestGoogle Plus








Rédigé le par Rémi Morin

Categorie: Veille

Une Réponse pour l'article Pas plus de 500 Ko pour votre fichier robots.txt