[137] 大量に来るBingのクローラー、msnbot(bingbot)
大量に来るBingのクローラー、msnbot(bingbot)
大量に来るBingのクローラー、msnbot(bingbot)
あるサイト(ココではない)のPVが異常に多いのでアクセスログを調べると、原因はBingのクローラーだった。
msnbot-xxx-xxx-xxx-xxx.search.msn.com
そのサイトはページ数と、それらへの(サイト内)リンクが多いのが特徴だったが、
コンテンツが少ないために、Googleをはじめとする検索エンジンからの評価は低いサイトであった。
にもかかわらず、PVが異常であったので、調べた次第である。
2013-07-01 16,348
2013-07-02 8,427
2013-07-03 13,551
2013-07-04 9,962
2013-07-05 11,744
2013-07-06 19,850
2013-07-07 39,614
2013-07-08 53,801
2013-07-09 61,711
2013-07-10 25,622
2013-07-11 39,564
2013-07-12 48,020
2013-07-13 48,044
2013-07-14 31,696
2013-07-15 27,615
2013-07-16 49,323
2013-07-17 45,932
2013-07-18 53,399
2013-07-19 37,128
2013-07-20 28,703
2013-07-21 48,017
2013-07-22 34,203
2013-07-23 16,976
2013-07-24 39,033
2013-07-25 34,724
2013-07-26 34,872
2013-07-27 27,078
2013-07-28 35,667
2013-07-29 43,345
2013-07-30 39,133
良質なコンテンツがないのに、こんなにPVがあるのは、明らかにおかしい(笑)
その後、そのサイトから不要なページを削除し、必要な数ページのみとしたのであるが、
Bingのクローラーからのアクセスは、その後も続いている。
2013-08-28の1日のPVが5,442件。
その内、Bingのクローラーは4,324件。
実に79.5%がBing(笑)
Googleのクローラー(googlebot.com)も見られるが、msnbotが圧倒的に多い！
そして驚くのは、その頻度である。
17時00分台(00分～01分)の1分(60秒)間に、何と7アクセス！
2013-08-27 17:00:07 msnbot-xxx-xxx-xxx-xxx.search.msn.com Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
2013-08-27 17:00:28 msnbot-xxx-xxx-xxx-xxx.search.msn.com Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
2013-08-27 17:00:32 msnbot-xxx-xxx-xxx-xxx.search.msn.com Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
2013-08-27 17:00:33 msnbot-xxx-xxx-xxx-xxx.search.msn.com Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
2013-08-27 17:00:34 msnbot-xxx-xxx-xxx-xxx.search.msn.com Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
2013-08-27 17:00:36 msnbot-xxx-xxx-xxx-xxx.search.msn.com Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
2013-08-27 17:00:39 msnbot-xxx-xxx-xxx-xxx.search.msn.com Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
msnbotでも、IPアドレスが異なる複数のクローラーが見られる。
クローラーの来訪をログに記録し、それをPVだと認識していると、大変なことになる(そんな者はいないだろうが)。
クローラーの来訪はありがたいものだが、検索エンジンのシェアを考えると、
Bingは無視しても問題ないので(笑)、何かしらの方法で拒否するのが賢明かと思う。
なお、2013-08-28の1日のPV(5,442件)の内訳は、
Bing：4,324件(79.5%)
googlebot：290件(5.3%)
MJ12bot：800件(14.7%)
で、これらを足すと99.5%(笑)
そのサイト、人間に見られていないｗｗｗｗｗ
関連記事
更新履歴
- 2013.09.10 公開