Před několika dny se na weblogu Inside Google Sitemaps objevil spot upozorňující na nové funkce, kterými Google Sitemaps od nedávna disponují. Do služby byla přidána možnost otestovat si soubor robots.txt tak, abyste mohli zjistit, na které stránky má Googlebot opravdu přístup a na které ne.
Dále byla přidána položka ukazující seznam stránek s nejvyšším PageRankem na daném webu podle měsíců, přehled nejčastěji se vyskytujících slov v textu webu a seznam slov, která se nejčastěji vyskytují v odkazech na sledovaný web.
Mě to ukazuje nějaké nesmysly. Na mé stránce http://www.mizoch.info/robots.txt je jasně uvedeno, že Googlebot nemá indexovat pouze adresář /blog/, ale přesto Sitemaps píše: " You are blocking access to your home page."
[3] Marku, není to tak úplně pravda. Viz http://www.robotstxt.org/wc/exclusion-admin.html, kde se v části "To allow a single robot" uvádí tato konstrukce:
User-agent: WebCrawler
Disallow:
User-agent: *
Disallow: /
[4] Díky. :)
Přečteno 80 747×
Přečteno 47 191×
Přečteno 26 724×
Přečteno 22 110×
Přečteno 21 115×