データ復旧・修復・復元・診断・消去

消費税増税強硬推進派、2025年までに30%を目指す。投稿記事数は肆阡以上!

hdd@468x15

[Bing] search.msn.com - crawlerの来訪集計 [Apache]

2017/12/03


>>高還元のクレジットカード比較 期間限定のキャッシュバックなど!<<

あるサイト(ココではない)の、ロボット来訪の集計結果を公表する。

期間:2017年1月1日~9月26日

ロボット集計_2017年9月26日

・googlebot.com:37,769
・search.msn.com:333,183
・crawl.baidu.com:2,657
・twttr.com:1,547

情弱シか使わなゐ貧愚(Bing)のCrawlerである「search.msn.com」、相当アクシツ(AXIS)ぢャなゐ?

鯖の負担になるし、AWSのような転送料が別途かかる(従量制)だと、カネにも影響する。

スィナの黴土(Baidu)のCrawlerである「crawl.baidu.com」は、昔はAXIS杉田が、今はソーでもナイン(NINE)?

ムァ、こンなもン、イクラでも偽装できるンで...

robots.txtのような紳士協定のようなモンではなく「.htaccess」でDenyし、鯖に負荷が掛かる前に排除しなければならない。

AXISなCrawlerの時だけページを出しわけるようなモンでは、鯖に負荷が掛かるので意味ナイ!

できるPRO Apache Webサーバー 改訂版 Version 2.4/2.2/2.0対応 (できるPROシリーズ)
できるPRO Apache Webサーバー 改訂版 Version 2.4/2.2/2.0対応 (できるPROシリーズ)

スポンサーリンク
posted on hdd-check.com at 17.09.26
辻 秀典 渡辺 高志 鈴木 幸敏 できるシリーズ編集部
インプレス
売り上げランキング: 192,337
初めてのWebサーバ「Apache」CentOS 7編 (NextPublishing)
インプレスR&D (2017-05-26)
売り上げランキング: 35,780
サーバ構築の実際がわかる Apache[実践]運用/管理 (Software Design plus)
鶴長 鎮一
技術評論社
売り上げランキング: 116,112
スポンサーリンク

hdd@468x15


kanren

-インターネット, サーバー
-, , ,