User-agent: Googlebot
Disallow: /al.aspx
Disallow: /ab.aspx
Disallow: /ft.aspx
Crawl-delay:40

User-agent: ia_archiver
Disallow: /al.aspx
Disallow: /ab.aspx
Disallow: /ft.aspx
Crawl-delay:40

User-agent: BaiduSpider
Disallow: /al.aspx
Disallow: /ab.aspx
Disallow: /ft.aspx
Crawl-delay:40

User-agent: Yahoo! Slurp
Disallow: /al.aspx
Disallow: /ab.aspx
Disallow: /ft.aspx
Crawl-delay:40

User-agent: *
Disallow: /