禁止微软搜索蜘蛛

禁止微软蜘蛛,爬的太疯狂了,还不带流量…
同时降低频率到60秒间隔.
在web根目录下编辑robots.txt

  1. User-agent: Bingbot
  2. Disallow: /
  3. User-agent: Adidxbot
  4. Disallow: /
  5. User-agent: MSNBot
  6. Disallow: /
  7. User-agent: BingPreview
  8. Disallow: /
  9. User-agent: *
  10. Disallow:
  11. Crawl-delay: 60
  12. Disallow: /api/
  13. Disallow: /data/

参考:
http://www.bing.com/webmaster/help/which-crawlers-does-bing-use-8c184ec0
http://tool.chinaz.com/robots/

此条目发表在服务器相关分类目录,贴了, , 标签。将固定链接加入收藏夹。