データ復旧・修復・復元・診断・消去

消費税増税強硬推進派、2025年までに30%を目指す。投稿記事数は肆阡以上!

hdd@468x15

[137] 大量に来るBingのクローラー、msnbot(bingbot)

2015/05/21


>>高還元のクレジットカード比較 期間限定のキャッシュバックなど!<<

大量に来るBingのクローラー、msnbot(bingbot)

大量に来るBingのクローラー、msnbot(bingbot)

あるサイト(ココではない)のPVが異常に多いのでアクセスログを調べると、原因はBingのクローラーだった。

msnbot-xxx-xxx-xxx-xxx.search.msn.com

そのサイトはページ数と、それらへの(サイト内)リンクが多いのが特徴だったが、
コンテンツが少ないために、Googleをはじめとする検索エンジンからの評価は低いサイトであった。

にもかかわらず、PVが異常であったので、調べた次第である。

2013-07-01 16,348
2013-07-02 8,427
2013-07-03 13,551
2013-07-04 9,962
2013-07-05 11,744
2013-07-06 19,850
2013-07-07 39,614
2013-07-08 53,801
2013-07-09 61,711
2013-07-10 25,622
2013-07-11 39,564
2013-07-12 48,020
2013-07-13 48,044
2013-07-14 31,696
2013-07-15 27,615
2013-07-16 49,323
2013-07-17 45,932
2013-07-18 53,399
2013-07-19 37,128
2013-07-20 28,703
2013-07-21 48,017
2013-07-22 34,203
2013-07-23 16,976
2013-07-24 39,033
2013-07-25 34,724
2013-07-26 34,872
2013-07-27 27,078
2013-07-28 35,667
2013-07-29 43,345
2013-07-30 39,133

良質なコンテンツがないのに、こんなにPVがあるのは、明らかにおかしい(笑)

その後、そのサイトから不要なページを削除し、必要な数ページのみとしたのであるが、
Bingのクローラーからのアクセスは、その後も続いている。

2013-08-28の1日のPVが5,442件。
その内、Bingのクローラーは4,324件。

実に79.5%がBing(笑)

Googleのクローラー(googlebot.com)も見られるが、msnbotが圧倒的に多い!

そして驚くのは、その頻度である。

17時00分台(00分~01分)の1分(60秒)間に、何と7アクセス!

スポンサーリンク

2013-08-27 17:00:07 msnbot-xxx-xxx-xxx-xxx.search.msn.com Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
2013-08-27 17:00:28 msnbot-xxx-xxx-xxx-xxx.search.msn.com Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
2013-08-27 17:00:32 msnbot-xxx-xxx-xxx-xxx.search.msn.com Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
2013-08-27 17:00:33 msnbot-xxx-xxx-xxx-xxx.search.msn.com Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
2013-08-27 17:00:34 msnbot-xxx-xxx-xxx-xxx.search.msn.com Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
2013-08-27 17:00:36 msnbot-xxx-xxx-xxx-xxx.search.msn.com Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
2013-08-27 17:00:39 msnbot-xxx-xxx-xxx-xxx.search.msn.com Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

msnbotでも、IPアドレスが異なる複数のクローラーが見られる。

クローラーの来訪をログに記録し、それをPVだと認識していると、大変なことになる(そんな者はいないだろうが)。

クローラーの来訪はありがたいものだが、検索エンジンのシェアを考えると、
Bingは無視しても問題ないので(笑)、何かしらの方法で拒否するのが賢明かと思う。

なお、2013-08-28の1日のPV(5,442件)の内訳は、

Bing:4,324件(79.5%)

googlebot:290件(5.3%)

MJ12bot:800件(14.7%)

で、これらを足すと99.5%(笑)

そのサイト、人間に見られていないwwwww

関連記事

更新履歴

スポンサーリンク

hdd@468x15


kanren

-インターネット, コンピュータ, サーバー
-, , , ,