ホワイトペーパー：
スクレイパー／ボット シリーズ： よいボットが悪いボットになるとき
1.0 / エクゼクティブサマリー / 本書は、Akamai の Security Intelligence Research Team (SIRT) による継続
調査の結果に基づいた、ボットとスクレイパーに関するシリーズの最初のレポートです。ここでは、私
たちが遭遇したさまざまな種類のボットやスクレイパーについて、また、それぞれにどう対応すべきか
について、説明したいと思います。本書では主に「よいボット」と呼ばれるボットについてお話しま
す。これはビジネスに有益なため望ましいトラフィックです。
2.1
/ はじめに / まず、いくつか背景を見ていきます。ボットとは、ウェブ上で特定のタスクを実行でき
るスクリプトのことです。よくあるタイプとしては、サービス妨害（DoS）、サービスが稼働中か見る
もの、ファイル転送するものなど、目的はさまざまで、正当なものと悪意あるもの両方があります。
ウェブスクレイパーは、ある特定の目的のためにウェブコンテンツを収集するボットの一種です。スク
レイパーはウェブページにリクエストを送り、集めたデータを格納します。これらのデータの内訳は、
ホテルや航空会社の料金、店舗所在地、開催中のセール、その他さまざまです。格納されたこれらのデ
ータは分析され、コンペティティブインテリジェンスに使用したり、第三者に販売されたりします。
IP ブロッキングが効果的な防御策となる事はほとんどありませんが、悪意あるボットの大多数はレート
アカウンティングで阻止できます。ただし標的にされたボットに対しては、慎重な調査、および阻止す
るための更なる計画が必要です。
●
Akamai の Bot Manager について理解する
3.0 / 手法 / 発見したボットの種類を特定する必要がある時には、Akamai の「ボット分類のクアドラン
ト（四分割法）」と呼ぶ手法を用います。
TLP:WHITE 3.10.2016
ボットのタイプを 4 つのクアドラントに分類します。うち 2 つのクアドラントは非常に分かりやすいと
思います。望ましさが高く攻撃性が低いものと、その逆で、望ましさが低く攻撃性が高いものです。
右下部のクアドラントは、望ましいタイプのサイトにあったほうがよいボットで、典型例は、検索エン
ジンです。
その対角にあるのが、悪意の意図を持つボットです。自社サイトにトラフィックをもたらす、誰も望ま
ない種類のものです。悪意あるボットはしばしば DDoS 攻撃を起こしたり、不正目的でサイトをスクレ
イピングしたりします。私たちが可能な限り完全に除去したいと考える種類のボットです。4 月に公開
する予定の論文ではこのタイプのボットについてより詳細に説明します。
他の 2 つのクアドラントについては、サイトオーナーの判断が難しいところです。右上は有益な可能性
があるボットと考えられます。
望ましさも攻撃性もどちらも高い可能性のあるボットです。これらのボットは通常、スクレイパーと呼
ばれます。スクレイパーは、標的のウェブサイトにリクエストを送り、その後ほしい情報を見つけて格
納します。
スクレイパーの標的には、在庫商品の価格、在庫量、物理的な店舗所在地、店舗の電話番号、株価、ニ
ュース記事、その他多くの情報が含まれます。企業はリクエストを、隠れて行う場合とあからさまに行
う場合、両方がありえます。データ分析会社が、データを入手後分析し、その結果をサービスとして提
供する場合もあります。まさにスクレイプした対象の企業にその情報を提供することさえあります。ま
た、このような種類のスクレイパーを再販業者と紐付けし、この情報を売上増加につなげようとする企
業もあります。
Akamai では、あるスクレイパーを追跡すると、スクレイプされたサイトの競合他社に行き着いたケー
スも観測しました。この種のボットは早急に入ってきてリクエストをし、データを入手後すぐ次の段階
に移行することが多くなっています。この種のボットに関する論文は、5 月に発表する予定です。
スクレイパーがサイトを攻撃して店舗所在地情報を収集する例を以下に示します。GET メソッドが使用
され、zipcode（郵便番号）フィールドを使ってエリア内の全ての場所を順次検索していることが分かり
ます。この断片的な情報が、分析会社にとって特別な価値があるか、または、これがより詳細な分析の
一部なのか、または、競合他社が不当な位置情報を得るのに使用されているかは、確定はできません。
図 2: サンプルのスクレイパーが標的ウェブサイトにリクエストを送信
最後が、左下に位置する、望ましさも攻撃性も低いボットで、アカウントチェッカーと呼ばれることが
多い類のものです。インターネットにダンプされたデータを私たちは常に目にしますが、これらのダン
プにはユーザー名／メールアドレス及びパスワードが含まれていることが頻繁にあります。
複数のサービスに対しひとつのパスワードを使う人は多く、これらのボットはそれを利用して、ユーザ
ー名とパスワードの組み合わせを多くのサービスでテストします。それらのサービスとは銀行、宿泊、
クレジットカード、その他価値を含む対象であるかもしれません。
これらのボットは、迅速なリクエストを送ることもあれば、検知されることを避けるため「ローアンド
スロー」手法を使うこともあります。攻撃者が有効な一連の認証情報を見つけると、被害者のアカウン
トにログインできて格納されている価値ある情報を削除したり、金銭、獲得ポイント、ギフトカード作
成能力などを奪うことが可能になります。この種のボットについてのより詳細な情報は、今年の今後発
表される論文にて説明します。
アカウントチェッカーからのログラインの例を以下に示します。ログイン用フォームに送信する HTTP
POST メソッドを使っていることが分かります。これが「ローアンドスロー」実行の例です。サイトオ
ーナーは正当なトラフィックをブロックすることを恐れるため、ボットは検知を逃れブロックが困難に
図 3: HTTP POST リクエストが「ローアンドスロー」を実行
前述の通り、全てのボットが悪いわけではありません。中には検索エンジン用の、GoogleBot や
BingBot のようなものもあります。ほとんどのサイトは、この種のボットには来てもらい、リンクを自
動作成し、コンテンツをスクレイプし、検索エンジン内で利用できるようにしてもらいたいと考えま
す。これらのボットはコントロールしにくいことがあり、攻撃性が低いエンドにとどまろうとする場合
、時にウェブサーバーにストレスを与える可能性があります。善良な検索エンジンのほとんどは
Webmaster ツールは利用可能なままにしておきますので、サイトオーナーは動作の制御を行うことがで
きます。
検索エンジンを制御するひとつの方法として、サーバーの Web ルートレベルのディレクトリに置かれ
ている robots.txt ファイル経由で行う方法があります。このファイルに検索エンジンが従うべき指示を
入れます。
検索エンジンボットの行動を指示する別の方法として、そのボットが探している情報をフィードすると
いうやり方があります。提供されれば、検索エンジンボットは xml サイトマップを使います。サイトマ
ップを使うことにより、検索エンジンによるウェブサイトのスパイダリングのほとんどを防止できま
す。代わりに、検索エンジンは xml 形式のファイルを読み込んでコンテンツを検索エンジンのインデッ
クスにインジェストします。xml サイトマップの例を次のページに示します。
図 4: xml サイトマップの例
サイトマップはウェブサーバー上に大きな負荷を与える可能性があります。オプションとして考えられ
るのがキャッシュからの供給で、これは Akamai が非常に得意とすることです。ボットがもし繰り返し
同じファイルにリクエストを送っている場合、これらのファイルをキャッシュから供給することにより
ウェブサーバーの負荷を劇的に減らすことができます。ボットは認証情報などのダイナミックコンテン
ツを探しているのかもしれませんが、Akamai 配信を使っていると、キャッシュからの情報は画像、
CSS、JavaScript に関するファイルのみです。
サイト上でスクレイパーやボット動作について分析する際には、よいボットだとしても、その背後にあ
る目的を理解することが重要となります。多くの場合、ボットの動作は情報を欲するビジネスの指標で
あり、オリジンにとって有益かもしれないからです。
4.0 / 結論 / Akamai は日々、実質上あらゆる業種において、あらゆる種類のボットを観測しています。
ボットの種類は業種に依存していることも多々ありますが、少なくとも、検索スパイダーのような検索
ボットはあらゆるサイトにやってきてそのサイトにリクエストを送ります。調査によると、インターネ
ットトラフィックの半分以上は自動化されたソースから発生し、これらの一部はサイトオーナーにとっ
て望ましいものではあるものの、大多数はそうでないことが分かっています。
この見地から、Akamai は毎月さまざまな種類のボットについて説明する論文を今後発表する予定です。
4 月には、悪意あるボット、すなわち DDoS のような手法を使ってサイトに害を及ぼす目的のみをもつボッ
トについて、お話しする予定です。
5 月には、攻撃性の高い、迅速な情報収集を試みるスクレイピングボットについてお話します。これら
のボットは DDoS 攻撃と認識されることもあり、実際にサービス妨害を起こし得るものです。
最後に 6 月にはまとめとして、検知を避けるための「スローアンドロー」手法を使ったステルス型のボ
ットについての論文をお送りします。このボットはアカウントチェッカーやカードバリデーターと呼ば
れるもので、価値のありそうな情報を検索して闇市場で売買することを目的としています。
このシリーズは Akamai による数年にわたる調査に基づいており、毎日何百万件もこの種の攻撃に対抗
してきた中で私たちが培ってきた、これらの敵対者のタイプに応じた対応法についてお知らせしま
す。
Akamai Security Intelligence Response Team (SIRT) について
Akamai Security Intelligence Response Team（SIRT）は、悪意あるサイバー攻撃の脅威や脆弱性の緩和に世界規模で取り組んでいま す。デジタルフォレンジックやイベント後分析を実施し、セキュリティコミュニティと情報を共有しながら、脅威や攻撃の事前 防御に努めています。Akamai SIRT は、その任務の一環として、世界のピア組織と緊密な関係を維持するとともに、Akamai のプ ロフェッショナルサービスおよびカスタマーケア担当者が多様な攻撃者からの攻撃を認識し対抗できるようトレーニングを行っ ています。Akamai SIRT が行う調査は、Akamai のクラウドセキュリティ製品がその最大限の機能を発揮し、業界に影響を及ぼす 最新のあらゆる脅威の確実な防止に貢献しています。 コンテンツ・デリバリー・ネットワーク（CDN）サービスのグローバルリーダーとして、Akamai は、インターネットを高速で確 実、かつ安全なものとしてお客様がご利用いただけるようにします。Akamai の先進的なウェブパフォーマンス、モバイルパフォ ーマンス、クラウドセキュリティおよびメディアデリバリーの各ソリューションは、デバイスと場所を問わず、コンシューマー 体験、エンタープライズ体験、およびエンターテイメント体験を企業が最適化する方法を大きく変化させています。Akamai のソ リューションとそのインターネット専門家チームが、企業のより速い進歩にいかに貢献しているかについて、
http://www.akamai.co.jp または blogs.akamai.com/jp/ および Twitter の @akamai_jp で詳細をご紹介しています。
Akamai は、米国マサチューセッツ州ケンブリッジを本拠地として、世界中に 40 を超える拠点を展開しています。Akamai のサー ビスや質の高いカスタマーケアは、世界中のお客様に比類のないインターネット体験を提供し、確かな競争上の優位性をお約束 します。全事業所の住所、電話番号、および連絡先情報は、https://www.akamai.com/jp/ja/locations.jspに記載されています。
©2016 Akamai Technologies, Inc. All Rights Reserved. 書面による明示の許可なく本文書の全体もしくは一部を再製することは禁止 されています。Akamai および Akamai の波のロゴは登録商標です。本文書で使用されている他の商標の所有権はそれぞれの所有
