[3] Marku, není to tak úplně pravda. Viz http://www.robotstxt.org/wc/exclusion-admin.html, kde se v části "To allow a single robot" uvádí tato konstrukce:
User-agent: WebCrawler
Disallow:
User-agent: *
Disallow: /
[4] Díky. :)
Přečteno 78 772×
Přečteno 47 002×
Přečteno 26 480×
Přečteno 21 928×
Přečteno 20 870×