#本文件处理爬虫机器人路标 #针对所有爬虫机器人 User-Agent:* #禁止访问(索引)目录、文件名单 Disallow: /admin/ Disallow: /bin/ Disallow: /Common/ Disallow: /CVS/ #Disallow: /errorhtm/ Disallow: /inc/ Disallow: /js/ Disallow: /test/ Disallow: /work/ Disallow: /global.asp Disallow: /Global.aspx Disallow: /Web.config