実環境でのテストのレポート

Copyright© 2011 by AV-Test GmbH, Klewitzstr.7, 39112 Magdeburg, Germany

電話:+49 (0) 391 60754-60、FAX:+49 (0) 391 60754-69、Web:http://www.av-test.org 1

実環境テストレポート

Symantec Corporation の委託に基づき AV-Test GmbH が実施 レポート作成日:2011 年 1 月 27 日 最終更新日:2011 年 2 月 10 日

要約

2011 年 1 月、AV-Test は 7 種類の企業向けエンドポイントセキュリティ製品について比較テ ストを実施し、実環境での防御力を調査しました。このテストは、製品に対してインターネットから ゼロデイ攻撃をしかけるように設計されたもので、今日最も一般的な感染ベクトルを含みます。サ ンプルへのアクセス経路は、悪質な実行可能ファイルへの直接リンク、エクスプロイトを利用する ドライブバイダウンロード Web サイト、電子メールの添付ファイルとなっています。 マルウェアのテストコーパスは、直接ダウンロード型とドライブバイダウンロード型を含む 52 種 のサンプルで構成されます。誤検知を検証するためのコーパスは、既知の 50 種の未感染アプリ ケーションで構成されます。テストを 1 回実施するごとに、未感染の Windows XP イメージを同 一構成の複数台のコンピュータ上で使用しました。このイメージ上で、セキュリティソフトウェアをイ ンストールした後、感染した Web サイトまたは電子メールにアクセスし、セキュリティソフトウェア が何らかの検出を行った場合は、その内容を記録しました。さらに、テスト実施後のシステムの状 態をテスト前の状態と比較して、攻撃が正常に遮断されたかどうかも検証しました。誤検知を検証 するテストでは、既知の 50 種の未感染アプリケーションをインストールし、セキュリティ製品によ る誤検出を記録しました。 このテストで最高の成績を収めたのは、シマンテック社の製品となっています。さらに、この製品で は誤検知も発生しませんでした。

概要

今日、インターネットを介して配信され拡散する脅威の数は増加を続けており、感染の危険も高 まっています。新種のウイルスが出現する頻度は、数年前は数日に 1 回ほどでしたが、現在は 1 時間に数千種の脅威が出現するまでに増加しています。 図 1: 追加された新種サンプルの数（年間） AV-Test が受け取った新種サンプルの数は、2000 年に 170,000 種を超えました。2010 年に は、新種サンプルの数は 19,000,000 種を超えるまでに増加し、この数は 2011 年も増加の一 途をたどっています。図 1 は、これらの数の増加状況を示したものです。 マルウェア対策ソフトウェアのベンダーは、新種のサンプルに対処してお客様を保護する必要が あるため、その数量が問題となっています。個々のバイナリの定義ファイル（シグネチャ）を適切な 期間以内に配布することが、必ずしも可能ではない場合もあります。ヒューリスティックな検出と汎 用的な検出のメカニズムは、定義ファイルベースの検出の追加的な保護策となるものではありま すが、単体では十分な効果がありません。そのため、これらの静的な検出メカニズムとともに、個 別のシグネチャに依存しない動的な検出メカニズムもマルウェアの検出に利用されます。後者は、 プログラムの動作を観察し、不審な点がある場合または悪質なものである場合は、報告した上で 遮断します。ただし、マルウェアのサンプルと動作には膨大なパターンがあるため、静的な検出技 術と動的な検出技術のどちらも、システムを保護する上で十分なものとはなりません。したがって、 より早い段階で攻撃を防ぐことを目指して、URL 遮断やエクスプロイトの検出など、さらに別の層 での検出手法が導入されています。マルウェアを拡散することが判明している URL をユーザー が表示した場合、その直後にアクセスを拒否できます。さらに、エクスプロイトなど、悪質なコード が Web サイトに含まれている場合は、アクセスを拒否すること、エクスプロイトを停止することが できます。これらのしくみを通じてマルウェアが正常に検出されなかった場合も、静的な検出メカニ ズムと動的な検出メカニズムを利用してマルウェアを停止します。 このテストでは、今日のセキュリティソフトウェアが搭載するすべての保護メカニズムを考察の対 象にして、実環境の脅威で製品に攻撃をしかけ、製品が備える保護機能の実際の能力を測定し ます。次の数ページでは、テストの結果とともに、対応する詳細情報を示します。

AV-Test のマルウェアリポジトリに追加された一意の

新種サンプルの数 (2000 - 2010)

12月 11月 10月 9月 8月 7月 6月 5 月 4 月 3 月

Copyright© 2011 by AV-Test GmbH, Klewitzstr.7, 39112 Magdeburg, Germany

電話:+49 (0) 391 60754-60、FAX:+49 (0) 391 60754-69、Web:http://www.av-test.org 3

テスト対象製品

テストの実施期間は 2010 年 12 月から 2011 年 1 月です。AV-Test では、次の 6 つの製 品について、テスト実施時点で入手可能な最新版を使いました。

 Kaspersky Anti-Virus 6.0 for Windows Workstations  McAfee VirusScan Enterprise 8.7.0i

 Microsoft Forefront Client Security 2.0  Sophos Endpoint Security and Control 9.5.4

 Symantec Endpoint Protection 12.1（ベータ候補リリース）  Trend Micro OfficeScan 10.5

（日本名後：トレンドマイクロ ウイルスバスターコーポレートエディション10.5）

方法とスコア付け

プラットフォーム

次のハードウェアを搭載した同一構成のコンピュータ上ですべてのテストを実施します。  CPU: Intel Xeon Quad-Core X3360

 RAM: 4 GB

 HDD: 500 GB（Western Digital 社製）

 NIC: Intel Pro/1000 PL（ギガビットイーサネット）

オペレーティングシステムは Windows XP Service Pack 3（SP3）にし、SP3 に含まれている ホットフィックスのみ適用します。さらに、次のアプリケーションをインストールすることにより、シス テムを感染させるエクスプロイトを使用した URL に対し「脆弱な」システムを用意します。

開発元 製品 バージョン

Adobe 社 Flash Player 10 ActiveX 10.0.12.36

Adobe 社 Flash Player 10 Plugin 10.0.12.36

Adobe 社 Acrobat Reader バージョン 8

または 9

ICQ 社 ICQ6 6.00.0000

Sun Microsystems 社 Java SE Runtime Environment 6

Update 1

1.6.0.10

Mozilla Firefox 2.0.0.4 2.0.0.4（en-US）

Apple 社 QuickTime 7.3.0.70

Real Networks 社 RealPlayer 10.5

WinZip Computing LP 社 WinZip 10.0(6667)

Yahoo! 社 Yahoo! メッセンジャー 8.1.0.413 テストの実施方法 テストは、次に説明する方法に沿って実施しました。 1. サンプルごとにシステムをクリーンアップする。テストシステムを未感染の状態に復元した後で、 各マルウェアのサンプルを使って感染させます。 2. 物理コンピュータを使う。使用するテストシステムは、物理的に存在するコンピュータにします。 仮想マシンは使いません。

3. 製品によるクラウドとインターネットへの接続。システム保護対策の一環としてクラウドを使うテ スト対象製品については、すべてインターネットを使うことができる状態にします。 4. 製品の設定。どの製品も、デフォルトの OOTB 設定で実行します。 5. サンプルの多様性。実環境での感染技術をシミュレートするために、マルウェアのサンプルに ついては、Web ベースの脅威の比重を高めています（80% 以下）。これらの脅威のうち、半 数は偽造ウイルス対策ソフトウェアなどの手動ダウンロードにし、ほかの半数は、ドライブバイ ダウンロードのような何らかのタイプの脆弱性を悪用するダウンロードにします。サンプルには、 電子メールに添付されるタイプの脅威が多少（5% から 10%）含まれています。 6. サンプルごとに重複しないドメインを使う。このテストでは、同一のドメイン（xyz.com など）に 属する 2 つの URL をサンプルとして使うことはありません。 7. サンプルの導入ベクトル。各サンプルは、可能な限り現実に即した手段でシステムに導入しま す。たとえば、実環境で電子メールの添付ファイルとして収集されるサンプルは、電子メール メッセージへの添付ファイルとして送信します。Web ベースの脅威は、再現可能な方法により、 外部の Web サーバーから攻撃対象システムにダウンロードします。 8. 実環境の Web ベースサンプルでのユーザーの操作の流れ。Web ベースの脅威は、通常、 疑念をまったく持っていないユーザーが URL のチェーンを追従することでアクセスされます。 たとえば、検索されることの多い語句を Google で検索します。検索結果に含まれている URL には、クリックすると別のリンクなどにリダイレクトされるものがあります。最終的に、ユー ザーは悪質なサンプルファイルが仕込まれた URL に到達します。このテストでは、最終的に 悪質なファイルのダウンロードが発生するまでの、こうした実環境でユーザーがたどる URL の流れをシミュレートします。実環境においてユーザーがたどる URL の流れに沿うことにより、 製品で提供される何層もの保護の構造がテストで確実に実施されます。 9. サンプルによるクラウドとインターネットへのアクセス。クラウドまたはインターネット接続を使っ てほかのサイトに到達し、ほかのファイルのダウンロードや、システムへの感染を実行するマ ルウェアの場合、テストネットワークが脅威に感染する恐れのない安全な方法で、マルウェア サンプルがクラウドに確実にアクセスできるように配慮します。 10. サンプルの実行期限。各サンプルには、自律的で悪質な動作を開始するまで、攻撃対象シス テム上で 10 分間の猶予を与えます。こうした動作の例としては、インターネット上のシステム への接続の開始、再起動後にも活動を続けるためのマルウェア自体のインストールがありま す（このケースに該当するのは、ある種のキーロガーを利用するトロイの木馬です。これらは、 被害者が特定のタスクを実行しているときのみアクティブになります）。 11. 効果の測定。一貫性のある体系的な方法を導入して、悪質な脅威による影響と、製品の脅威 検出能力を測定します。テストの対象となっているサンプルごとに、次の点を観察します。 a. それぞれの脅威を遮断できたかどうか。ユーザーに介入を求めるときの方法も含めて、通 知やアラートの方法を記録します。ユーザーの介入が必要となった場合は、提示されたデ フォルトの動作を常に選択します。追加のダウンロードが発生する場合は、すべて記録し ます。製品は、システム上でのマルウェアの感染を阻止できるものとします。つまり、マル ウェアが悪質な処理を実行しようとする前に、システム上でマルウェアが実行された時点 で、製品がマルウェアを除去する場合があります。 b. それぞれの脅威を無力化できたかどうか。通知またはアラートが表示された場合は記録し ます。ユーザーの介入が必要となった場合は、提示されたデフォルトの動作を常に選択し ます。正常な無力化処理には、追加のダウンロードも含みます。さらに、脅威がすべての 側面にわたって完全に除去されたのか、アクティブな側面のみがすべて除去されたのかに ついても明示します。 c. 脅威によってコンピュータを危殆化する。製品がシステム上で脅威のどの側面を検出し、 どの側面を見逃したのかについて、情報を提供します。

Copyright© 2011 by AV-Test GmbH, Klewitzstr.7, 39112 Magdeburg, Germany 電話:+49 (0) 391 60754-60、FAX:+49 (0) 391 60754-69、Web:http://www.av-test.org 5 有効性の評価 テスト対象のサンプルごとに、次の細目に沿って点数化します。 a. システム上でのマルウェアの感染を製品が阻止した（+2） b. システムはマルウェアに感染したものの、製品がマルウェアを無力化したため、残存した マルウェアが実行される可能性はなくなった（+1） c. システムがマルウェアに感染し、製品はマルウェアを停止できていない（-2） このスコア付けでは、利用可能な保護技術のうち、マルウェアを遮断または無力化する上でどの 技術が必要となったかについては考慮しません。ただし、レポートの一環として、すべての技術と 表示されたアラートを記録します。 サンプル マルウェアのセットには 52 種のサンプルが含まれ、これらは 38 種の直接ダウンロードと 14 種 のドライブバイダウンロードに分類されます。さらに、誤検知をテストする目的で 50 種の既知の未 感染プログラムを使用しました。使用したサンプルについて詳しくは、「付録」に記載します。

テストの結果

Symantec Endpoint Protection 12.1 は、総合スコアで最高の成績を収めました。これは、製品 を対象として実施した 3 種類の個別テストセットの結果を合算したものです。実行可能ファイル の直接ダウンロード、ドライブバイダウンロード、悪質な電子メール添付ファイルに関する個別の テスト結果については、次に示します。 図 2: 総合スコア 図 2 は、テストの総合成績を示したものです。シマンテック社は 104 点満点中 100 点を獲得し、 このテストでの最高得点でした。次点は Sophos 社で、スコアは 74 点です。ほかの 4 つの製品 はスコアがかなり低く、平均スコアの 46 点を下回っています。この一因は製品の設定にあります。 テストはすべてデフォルト設定で実施されたため、一部の保護メカニズムが明示的に有効になって いないか、別の設定に変更されていました。

保護に関する総合スコア

カスペルスキー社 マカフィー社 マイクロソフト社 ソフォス社 シマンテック社 トレンドマイクロ社

個々のスコアについて検討すると、いくつかの見解を明らかにできます。テストセットによって、ス コアがほかよりもよくなったり悪くなったりする製品がある一方で、そのほかの製品は一定のレベ ルを維持しています。 図 3: 実行可能ファイルの直接ダウンロードに対する保護 図 3 は、実行可能ファイルの直接ダウンロードに対する保護のスコアを示したものです。このセ クションで最高の成績を収めたのはシマンテック社で、76 点満点中 72 点を獲得しています。こ れに、 Sophos 社の 47 点、Trend Micro 社の 33 点と続いています。最低スコアは 3 点、 平均は 29 点、中央値は 24 点でした。3 つの製品は平均スコアを上回りましたが、ほかの 3 つの製品は平均に達していません。 図 4 に、ドライブバイダウンロードに対する保護のスコアを示します。28 点満点中 28 点という 最高の成績を収めたのは、シマンテック社です。Sophos 社と Kaspersky 社も優れた成績を挙 げ、それぞれ 27 点と 20 点となっています。 図 4: 自動ダウンロードに対する保護

実行可能ファイルの直接ダウンロードに対する保護

ドライブバイダウンロードに対する保護

カスペルスキー社 マカフィー社 マイクロソフト社 ソフォス社 シマンテック社 トレンドマイクロ社 カスペルスキー社 マカフィー社 マイクロソフト社 ソフォス社 シマンテック社 トレンドマイクロ社

Copyright© 2011 by AV-Test GmbH, Klewitzstr.7, 39112 Magdeburg, Germany 電話:+49 (0) 391 60754-60、FAX:+49 (0) 391 60754-69、Web:http://www.av-test.org 7 ここでの最低スコアは 7 点で、平均と中央値はどちらも 17 点です。3 つの製品は平均スコアを 上回り、残りの 3 つの製品は平均スコアを下回っています。 図 5: 誤検知のテスト結果 マルウェアの検出と遮断のほかに重要となるのは、未感染のアプリケーションが遮断されたり、マ ルウェアとして検出されたりすることのない、バランスのいい製品であることです。このため、広く 知られている 50 種のアプリケーションを使い、これらが不審または悪質なものとして報告されな いかどうかを測定します。Sophos 社以外の製品では、どのアプリケーションも報告されることは なく、誤検知は発生しませんでした。Sophos 社の製品は 2 つのアプリケーションを報告し、その うち 1 つの実行を遮断しました。 個々のテストのスコアを見て明らかなとおり、テストの内容と利用可能な製品の機能によって、テ スト対象の製品には大きな差異があります。URL の遮断またはエクスプロイトの検出に関して、 静的な検出メカニズムと動的な検出メカニズムが正常に組み合わされていたのは、数種の製品で す。これらの製品は、当然ながらテストのスコアも非常に優れており、最も信頼性の高い保護を実 現します（シマンテック社と Sophos 社）。ほかのほとんどの製品も同様の機能を備えていますが、 それらの機能を利用するには追加の設定操作が必要です。したがって、このテストですべての機 能が使われたわけではなく、デフォルトの設定のみで実施されたこのテストでは性能を反映できて いません。したがって、このテストでスコアが低かった製品についても、設定を変更した場合、スコ アがまったく異なってくる可能性もあることに留意が必要です。今回のテストで主に明らかになる のは、追加の設定を行わなくても最高の保護が提供されるのはどの製品であるか、という点で す。

誤検知のテスト

遮断されたプログラムまたはインストール（誤検知）

付録

テスト対象製品のバージョン情報 開発元またはディス トリビュータ 製品名 プログラムのバー ジョン エ ン ジ ン ま た はシ グ ネ チ ャの バージョン

Kaspersky Lab Kaspersky Anti-Virus 6.0 for Windows Workstations 6.0.4.1424d n/a

McAfee McAfee VirusScan Enterprise 8.7.0i 5400.1158 / 6196.0000

Microsoft Microsoft Forefront Client Security 2.0.522.0 1.1.6402.0 / 1.95.1764.0

Sophos Sophos Endpoint Security and Control 9.5.4 3.14.1 / 4.60G

Symantec Symantec Endpoint Protection(Pre-Beta Release) 12.1.175.3818 20101.3.0.103 / 121213ah

Trend Micro Trend Micro OfficeScan 10.5.1083 9.205.1002 / 1.271.00

使われたマルウェアサンプルの一覧 直接ダウンロード (020) http://89.187.50.229/setup.exe (172) http://www.derany.com/2010/media/Ver.php?DowloandClient e=DepositoOnLine (025) http://harmatan.pl/img/%2C%2C%2C/DSC862010.scr (187) http://www.zxekm.info/1/yk.exe (028) http://cypbet.com/kel.exe (188) http://206.217.196.220/flash.exe (030) http://84.127.113.164/1/load/load.exe (190) http://tgong.co.kr/mall/updir/md/pds.exe (035) http://188.65.73.243/v2/update_adobe_flash.exe (196) http://72.11.141.220:38250/img/fmenzegna.exe (041) http://www.completochave.com/img/Cobranca.php (204) http://a-cipher.com/pidgin.exe (052) http://www.nar0tix.info/servers/PaypalHack.exe (205) http://prodep.ir/.hubf5zp/?getexe=rb.exe (055) http://www.solvex.spb.ru/uploads/media/exe.exe (238) http://h1.ripway.com/okn0101/b.exe (056) http://h1.ripway.com/bros/cash-full.exe (241) http://www8.4fjjj.com/2.exe (060) http://erayzan.com/Jennifer-Sexy.jpg (242) http://tvnews.server.tl/OFUXICOTVNEWS/PLUGIN/Install- Tv-FlashPlayer.exe (065) http://ohgirls.omiki.com/videos/Play_Video83294_Click_Run.exe (263) http://performancecarcompany.com/stock/car4/OLDBTN.exe (067) http://qnlogger.cba.pl/Server/Server(1.0.0.7).exe (270) http://mpuq.net/anide.exe (118) http://cushyhost.com/files/878476990ecb3a1e43bf7c06a6706cb4. exe (272) http://2b.perfectexe.com:88/gd.exe?t=3D0.3495956 (123) http://tualimforum.com/images/christmas.scr (274) http://www.siquiero.com.uy/Connections/gusanito/teamo/Ado be_Flash_Player10.0.45.2.exe (130) http://www.darwinfoundation.org/galapedia/images/1/1b/img.exe (282) http://www.estilobordado.com.br/includes/local/imagem.exe (137) http://www.fernspaeh.de/cac.exer (304) http://fusiontechad.com/images/facebook-pic000934519.exe (142) http://versionstring.com/version/check.php?ver=9024&app=snv-ti mer-3.0.4 (328) http://fo.qvad.info/gvod_onlinefo03.exe (149) http://65.254.51.46/~repot127/imvu_smileys.exe (336) http://206.217.196.220/sys.exe (169) http://mailling.servehttp.com/modules/mod_banners/Open_compr ovante.com??retorno_j.santos@ct1jib.com (337) http://pornocomsexo.com/VideoLoira.com ドライブバイダウンロード（エクスプロイト） (001) http://mavericsonjk.co.cc/c1358d9072 (015) http://ceweyaki.info/tre/LALA.asp/xH13e9762eV0100f055006 R81fc905c106T5ec334bb203l0009329 (003) http://www.rb16888.com/csw/Skin/index.htm (018) http://192.49.222.67/help.html (004) http://iis.dengyan520.com/iis/nb.htm (020) http://yahoomarketing.info/nte/avorp1boba.asp (006) http://174.128.242.250/iis/apr/nb.htm (021) http://af2t.cz.cc/imgurl.php?hl=2477c69b3cad8b0c (007) http://donette.info/tre/PENA.py (022) http://www.middleeastnews.com/info.html (008) http://cartgovernment.co.cc/other/alypfpfqitdtisena.php (024) http://www.heliosingenieria.com/admin/proceso-de-planeacio n-estrategica/gordan-ramsey-recipe.html (010) http://tomklotin.zapto.org/tonkis/ (025) http://www.mon-hon.com.tw/product_reviews.php?cPath=55_ 45&products_id=178&osCsid=eu0q6r58g3gq4cj2v4m04tic01

Copyright© 2011 by AV-Test GmbH, Klewitzstr.7, 39112 Magdeburg, Germany 電話:+49 (0) 391 60754-60、FAX:+49 (0) 391 60754-69、Web:http://www.av-test.org 9 使用した未感染サンプルの一覧 プログラム名 配布総数 Sandra 2010 v17.25 数百ユーザー Skype 5.0 数百ユーザー Thunderbird 3.1.7 数百ユーザー eMule 050a 数百ユーザー MP3 Rocket Download 2.1.3.2 数百ユーザー Sandra 2010 v17.25 数百ユーザー Orbit Downloader 4.0.0.5 数千ユーザー

Free Mp3 Wma Converter 1.91 数千ユーザー

Total Commander 7.56 数千ユーザー

Wise Registry Cleaner Free 5.88 数千ユーザー

FreeZ Online TV 1.40 数千ユーザー Trillian Astra 4.2.0.23 数千ユーザー 7-Zip 9.20 数万ユーザー Divx 8.1.2 Build 10.2.1-20 数万ユーザー GIMP 2.6.11 数万ユーザー mIRC 7.15 数万ユーザー Notepad++ 5.8.5 数万ユーザー Paint.NET 3.5.6 数万ユーザー TeamViewer 6.0.9947 数万ユーザー

True Crypt 7.0a 数万ユーザー

Winamp 5.6 数万ユーザー

AutoIT 3.3.6.1 数万ユーザー

Download Accelerator Plus 9.5.0 数万ユーザー

EA Download Manager 7.2.0.32 数万ユーザー Filezila 3.2.7.1 数万ユーザー FlashGet 3.5.0.1126 数万ユーザー FoxTab FLV Player 数万ユーザー Free Recorder 4.1 数万ユーザー Foxit Reader 4.3.0.1110 数万ユーザー Hamachi 2.0.3.89 数万ユーザー

AIMP 2.61 Build 583 Final 数万ユーザー

Virtual DJ 7.0 数万ユーザー jDownloader 0.9579 数万ユーザー Picasa 3.8.0 build 117.29.0 数万ユーザー Safari 5.0.3 数万ユーザー uTorrent 2.2 build 23703 数万ユーザー YouTube Downloader 2.6.4 数万ユーザー CCCleaner 3.01.1327 数十万ユーザー

DAEMON Tools Lite 4.35.6.0091 数十万ユーザー

Google Talk 1.0.0.104 Beta 数十万ユーザー

ITunes 10.1.0.56 数十万ユーザー IrfanView 4.27 数十万ユーザー Open Office 3.2.1 数十万ユーザー Photoscape 3.5 数十万ユーザー VLC Player 1.1.5 数十万ユーザー WinRAR 3.93 数十万ユーザー net Framework 4.0 数十万ユーザー DVD Shrink 3.2.0.15 数十万ユーザー RocketDock 1.3.5 数十万ユーザー Google Desktop 5.9.1005.12335 数百万ユーザー