Pas plus de 500 Ko pour votre fichier robots.txt

Via Scoop.it – Ma Veille

Google rappelle qu’il ne lit que les premiers 500 kilo-octets du fichier robots.txt d’un site web, ce qui doit logiquement correspondre à l’immense majorité des cas… John Mueller, Webmaster Trends Analyst chez Google Zurich, rappelle sur son profil Google+ que les robots de Google n’analysent que les 500 premiers kilo-octets du fichier robots.txt d’un site web, comme le rappelle l’aide en ligne du moteur. En même temps, ce fichier (au format textuel donc très léger) ne contient la plupart du temps que quelques lignes listant les répertoires à ne pas indexer et l’adresse du (des) fichier(s) Sitemap et ne fait que quelques kilo-octets dans l’immense majorité des cas. Logiquement, cette limite des 500 Ko ne doit donc être atteinte que dans des cas très précis et d’autant plus rares…
Via actu.abondance.com