[Bing] search.msn.com – crawlerの来訪集計 [Apache]

2017年12月3日

あるサイト(ココではない)の、ロボット来訪の集計結果を公表する。

期間：2017年1月1日～9月26日

・googlebot.com：37,769
・search.msn.com：333,183
・crawl.baidu.com：2,657
・twttr.com：1,547

情弱シか使わなゐ貧愚(Bing)のCrawlerである「search.msn.com」、相当アクシツ(AXIS)ぢャなゐ？

鯖の負担になるし、AWSのような転送料が別途かかる(従量制)だと、カネにも影響する。

スィナの黴土(Baidu)のCrawlerである「crawl.baidu.com」は、昔はAXIS杉田が、今はソーでもナイン(NINE)？

ムァ、こンなもン、イクラでも偽装できるンで…

robots.txtのような紳士協定のようなモンではなく「.htaccess」でDenyし、鯖に負荷が掛かる前に排除しなければならない。

AXISなCrawlerの時だけページを出しわけるようなモンでは、鯖に負荷が掛かるので意味ナイ！

posted on hdd-check.com at 17.09.26

辻秀典渡辺高志鈴木幸敏できるシリーズ編集部
インプレス
売り上げランキング: 192,337

posted on hdd-check.com at 17.09.26

インプレスR&D (2017-05-26)
売り上げランキング: 35,780

posted on hdd-check.com at 17.09.26

鶴長鎮一
技術評論社
売り上げランキング: 116,112