MJ12botというロボット

スポンサーリンク
apacheのログを見ていたら、猛烈な勢いでアクセスしてくるIPがあるので何かと思って調べてみました。

MJ12bot/v1.0.8 (http://majestic12.co.uk/bot.php?+)

というUser Agent(ユーザエージェント)でした。

分散サーチエンジンを作っていて、そのために分散クロールしているようです。

MJ12botをブロックする方法

下記の設定をrobots.txtにすることでクロールをブロックすることができます。

User-agent: MJ12bot
Disallow: /


MJ12botをスローダウンさせる方法
下記の設定をrobots.txtにすることでクロールスピードを下げることができます。
User-Agent: MJ12bot
Crawl-Delay:   5
スポンサーリンク
スポンサーリンク
 
いつもシェア、ありがとうございます！
Twitter
Facebook
LINE
Pocket
はてぶ
RSS

もっと情報を探しませんか？

関連記事

最近の記事

人気のページ

スポンサーリンク
 

過去ログ

2020 : 01 02 03 04 05 06 07 08 09 10 11 12
2019 : 01 02 03 04 05 06 07 08 09 10 11 12
2018 : 01 02 03 04 05 06 07 08 09 10 11 12
2017 : 01 02 03 04 05 06 07 08 09 10 11 12
2016 : 01 02 03 04 05 06 07 08 09 10 11 12
2015 : 01 02 03 04 05 06 07 08 09 10 11 12
2014 : 01 02 03 04 05 06 07 08 09 10 11 12
2013 : 01 02 03 04 05 06 07 08 09 10 11 12
2012 : 01 02 03 04 05 06 07 08 09 10 11 12
2011 : 01 02 03 04 05 06 07 08 09 10 11 12
2010 : 01 02 03 04 05 06 07 08 09 10 11 12
2009 : 01 02 03 04 05 06 07 08 09 10 11 12
2008 : 01 02 03 04 05 06 07 08 09 10 11 12
2007 : 01 02 03 04 05 06 07 08 09 10 11 12
2006 : 01 02 03 04 05 06 07 08 09 10 11 12
2005 : 01 02 03 04 05 06 07 08 09 10 11 12
2004 : 01 02 03 04 05 06 07 08 09 10 11 12
2003 : 01 02 03 04 05 06 07 08 09 10 11 12

サイト

Vim入門

C言語入門

C++入門

JavaScript/Node.js入門

Python入門

FreeBSD入門

Ubuntu入門

セキュリティ入門

パソコン自作入門

ブログ

トップ

プライバシーポリシー