#diese Crawler machen einfach zuviel Last, RS i24, 29.06.08

#ganz aussperren
User-agent: twiceler
Disallow: /

#Request-Rate senken
User-agent: Slurp
Crawl-delay: 15