MJ12bot是什么蜘蛛？抓取频率非常高，怎么屏蔽禁止它抓取网页

如果你经常关注自己网站每天都有哪些搜索引擎蜘蛛来爬的话，可能会发现，除了我们常见的百度蜘蛛（Baiduspider）、谷歌蜘蛛（Google…