リアルタイムセキュリティコンテスト可視化システムの提案

(1)

リアルタイムセキュリティコンテスト可視化システムの提案

原田悠我

1,a)

_{豊田美咲}

1

_{近藤秀樹}

1

_{小出洋}

1 概要：本研究の目的は，チーム活動を促進することである．そのために，コンピュータ上で行われている個人の活動を効果的に他者に分かり易く見えるようにするリアルタイムセキュリティコンテストの可視化システムの提案を行う．実践的情報セキュリティ人材の発掘・育成，技術実践のための場を提供することを目的として，さまざまなセキュリティコンテストが実施されている．しかしながら，セキュリティコンテストの予選で多く行われているチームで問題を解く形式のコンテストでは，チーム戦とはいえ個々の競技者のパーソナルコンピュータ（以下PC）上で問題を解く作業が行われるため，チーム内でも他のチームメンバが今何をしているのかといった個人の活動を知ることが困難であり，複数のチームメンバで連携作業を行うことが容易ではない．またチーム外の観戦者から見ても競技者が行っていることが分かりにくいため，観戦者を次回以降の参加者として取り込むことができないといった問題も存在する．そこで本研究では，ハッキングコンテストで正解か不正解かが判定される部分を例に取り上げ，従来は他者から見えなかった活動をチームメンバ全員が認識かつ操作可能な正誤判定表示モニタを提案・実装することにより，チーム活動を観戦者も含めて確認できるようにし，上記の問題を解決できるか考察する．また実際に2回のセキュリティコンテストを実施して，本提案システムの予備評価を行った．キーワード：セキュリティコンテスト，可視化，協調作業

A proposal of visualization system for security contests

Harada Yuga

1,a)

Toyota Misaki

1

Kondo Hideki

1

Koide Hiroshi

1

Abstract: Our objective is promotion of team activities. Therefore we propose a visualization system which shows personal activities to other people easily. Various hacking contests have been held in order to recruiting and training of talented persons for practical information security. However, collaborative working between several team members is very diﬃcult in the hacking contests when team members solve quiz problems in preliminary matches. Although the contests are held as team matches, almost all personal activities are done in his/her PC and other members can not understand his/her activities. Moreover, audiences will not join the next contests because they can not understand activities of players. In this study, a monitor system to display correct or mistaken judgements of problems which all team members can share and recognize is presented and implemented. And we try to make team members and audiences understand easily other activities to solve these problems. And finally we have a security contest to evaluate the proposed system.

Keywords: Security Contest, Visualization，Collaboration Working

1. はじめに

本研究の目的は，チーム活動を促進することである．そのために，コンピュータ上で行われている個人の活動を効果的に他者に分かり易く見えるようにするリアルタイムセ

1 _{九州工業大学情報工学部}

Kyushu Institute of Technology

a) _{[email protected]} キュリティコンテストの可視化システムの提案を行う．実践的情報セキュリティ人材の発掘・育成，技術実践のための場を提供することを目的として，さまざまなセキュリティコンテストが実施されている[1][2][3]．セキュリティコンテストには，実験的なネットワーク内で攻防戦を行う形式や，クイズ形式の問題に答えて得点を競う形式など様々な競技形式が存在する．その競技形式のひとつであるチーム戦クイズ形式はセキュリティコンテストの予選で多

(2)

く用いられる競技形式である．チーム戦クイズ形式では， 3名から4名程度のチームで競技に挑み，10問から数十問程度の問題中から各自問題を選んで解きそのチーム内の合計得点で勝敗を決める．チーム戦ではあるが，問題を選ぶ，解くといった競技の一連の作業は個々の競技者のPC上で行なわれるため，同じチーム内でも他のチームメンバが今何をしているかといった個人の活動を知ることは容易ではない．そのため，役割分担をした上で，問題を得意な人が解く等の協働作業や，同じ問題をチームメンバが一緒に考える等の協調作業など，チームメンバ同士で連携して作業をすることを行いにくい．またチーム外の観戦者から見ても競技者が何を行っているかがわかりにくいため，観戦者を次回以降の参加者として取り込むことができないという問題も存在する．そこで本研究では，ハッキングコンテストで正解か不正解かが判定される部分を例に取り上げ，従来は他者から見えなかった活動をチームメンバ全員が認識かつ操作可能になる正誤判定表示モニタを提案・実装することにより，チーム活動を観戦者も含めて確認できるようにし，上記の問題を解決できるか考察する．また実際にセキュリティコンテストを実施して，本提案システムの予備評価を行った．第1回の予備実験の結果正誤判定表示モニタ兼カメラに MacBookAirを利用して実施したところ１チーム1台では画角が狭く，チーム全体を撮影できない. システム問題管理が多人数でのチーム戦に適していないという問題点が明らかになった．そこで正誤判定表示モニタを１チームに複数台設置した上で，多人数でのチーム戦に適した回答管理の仕方に改修した．またその改修の効果を検証するために第2回予備実験を実施した．その結果，チーム内で利用する正誤判定モニタを増やすことにより，チームメンバー全員を撮影することが可能になり，チーム全体の様子が把握できることが確認できた．また，解答が適切に管理され多人数でのチーム戦に適した問題管理の仕方になっていることを確認した．結論として，正誤判定表示モニタを利用することでチーム活動を観戦者も含めて確認できることがわかった．

2. 実験で用いたコンテスト形式

本研究では，ハッキングコンテストの予選で多く用いられる，競技形式のひとつであるチーム戦クイズ形式を対象として実験を行った．チーム戦クイズ形式にもいろいろなルールが存在するが，ここでは，最近行われたセキュリティコンテストSECCON 2013九州大会(CTF福岡予選)[4]を例に説明を行う． 2.1 SECCON 2013九州大会 SECCON 2013 九州大会は，SECCON全国大会の予選として2013年10月6日に九州工業大学で実施された．参 問題サーバ群 パトランプ 図1 SECCON2013九州大会のシステム構成． http://2013.seccon.jp/より引用．

Fig. 1 Administrations System for SECCON2013 Fukuoka. 加対象者に年齢制限はなく，学生，社会人を問わず参加できるセキュリティコンテストである． 2.2 競技ルール競技者は競技参加申込時に4名を限度にチームを組み，競技当日クイズ形式で出題される問題に挑む．問題群は，ファイル解析（バイナリ），フォレンジックス，ネットワーク，Web，プログラミング，トリビア，その他（OS、暗号など）のジャンルで構成されている．競技開始と同時に 10問程度が解答可能であり，その問題の中から各自がそれぞれ問題を選び解答する．問題は競技者全員が同じ問題であり，競技者が問題に正解すると，競技者が所属するチームに問題に応じた得点が入る．また一度正解した問題は同一のチームの他のメンバは解くことができない． 2.3 システムの概要図 1にSECCON 2013九州大会のシステム構成図を示す．セキュリティコンテストの問題の中には実際にサーバに攻撃を仕掛ける問題が存在するため，競技には外部とは接続していないネットワークが利用された．問題サーバではWebサーバが動いており，競技者は各自持参したPC のブラウザを利用して問題サーバにアクセスすることで問題の確認，解答などができる．また正解を解答した場合には，誰かが正解したことを会場内にいる人に通知をするパトランプが存在する． 2.3.1 解答までの過程 SECCON 2013九州大会において，競技者が問題を選び解答するまでの過程を以下に示す． ( 1 )競技者は競技ネットワーク上に存在する問題サーバにブラウザでアクセスする． ( 2 )競技者からアクセスされると問題サーバは問題のタイトルが書かれた一覧を返す．

(3)

( 3 )競技者は問題一覧から問題を選択する． ( 4 )問題サーバは選択された問題の詳細を返す．詳細とは問題の説明，問題を解くと獲得できる点数，問題を特上でのヒントである． ( 5 )もし問題の解答がわかった場合には，解答を解答入力欄に入力し問題サーバに送信する． ( 6 )問題サーバは解答を入力した競技者に正誤の通知を返す． ( 7 )正解の場合には正解した競技者が所属するチームの得点となり，同時にパトランプを点灯させる．

3. 本研究で解決すべき課題

2.3.1で述べた，競技者が問題に問題を選び解答するまでの過程は，全て競技者のPC上で行なわれる．また競技者は競技に利用するコンピュータをセキュリティコンテストの会場に持参することが一般的である．そのため持ち運びやすいノート型PCを利用することが多く，競技者が利用するPCの画面は比較的,小さく見える範囲は狭い．そのため競技者の横から覗きこむことは困難である．そのため競技者が今なにをしているかという競技活動を他者は知ることが容易にはできず，競技の形式はチーム戦ではあるが同じチームのメンバ同士でも連携して作業をすることが行いにくかった．そのため，役割分担をおこない同時に複数の問題に挑戦する等の協働作業や．送信し不正解と判定された回答についてチームメンバ間で話し合うことや，同じ問題をチームメンバで協力し一緒に解く等の協調作業を行うことは困難であり自然には発生しにくい．メンバ同士で連携して活動しないこととは，そのチームがより多くの問題を解く上で障害となる．そのため，チーム内でグループウェア[5]を使い意識的に情報共有を行うことも少なくない．またチームとしてより多くの問題を解く上で障害こと以外にも，チームメンバ間で技術や知識が転移されないという問題が存在する．同じチーム内のメンバの誰かが，たとえ他のチームメンバの知らない解法で問題に正解した場合でも，他のチームメンバにその解法は技術移転しにくい．セキュリティコンテストは，セキュリティ人材の発掘だけでなく，育成が目的で実施していることからこのことは問題である．またセキュリティコンテストでは，会場に来ているが競技には参加していない観戦者がいる場合がある．しかしながら，たとえ会場に来ても観戦者は，競技者が今なにをしているかという競技活動は分かりにくい．そのため観戦者を次回以降の参加者として取り込むことは容易ではないといった問題も存在する．

4.

5. リアルタイム可視化システム

そこで本論文では，チーム活動を促進することを目的としたリアルタイムセキュリティコンテストの可視化システムの提案を行う．上記の目的を達成するため，本システムではPC上で行われている個人の活動を効果的に他者に分

(4)

図2 SECCONで利用されたパトランプ

Fig. 2 The patrol lamps that were used for SECCON

図3 SECCON2013九州大会のスコアボード．

http://2013.seccon.jp/より引用

ただし印刷の都合によりコントラスト等を編集．

Fig. 3 The display image of the score board for SECCON 2013 Fukuoka．かり易く見えるようにする． 5.1 システムを設計する上で設定した条件本研究では，セキュリティコンテストの現状，特性を考慮して以下の様な条件をシステムを設計する上で設定した． • Virtual Machine等，特殊な環境で競技を実施しない • 特別なソフトウェアを個人のコンピュータで実行する必要がない競技者のコンピュータは，コンテストに利用するために改良された独自の環境であることが多い．ここでいう独自の環境というのは，セキュリティコンテスト用に特殊なOS を利用していたり，独自にカスタマイズされた汎用ツールがインストールされた環境である．そのような独自にカスタマイズされた環境は高度な技術力が要求されるコンテストに勝利するために必要不可欠である，そのためVirtual Machine等コンテスト運営側の提供した環境で競技者に競技を強いることは，競技自体に支障をきたす恐れがある．また競技者のコンピュータには，多くの場合重要な個人情 正誤判定表示モニター兼 チーム撮影カメラ 観客 問題サーバ群 観客用サーバ チーム撮影カメラからの チームの様子を常に配信 問題の解答を送信 解答の正誤を送信 図4 システムの概要.

Fig. 4 The configration of proposed system.

報が含まれている．例えば競技者が普段行っている仕事関係の情報やプライベートでの情報などが考えられる．そのため，どのような動作をするかわからないソフトウェアを競技者にインストールしてもらうことは困難である．以上の理由により本システムでは，競技者が競技を行う上で最低限必要なソフトウェアは従来の運営システム同様にブラウザのみで完結するシステムを構築した． 5.2 本システムの特徴本システムを利用することにより，競技者個人の活動を他者が見ることができるようになる．そのために具体的に本システムでは以下の3つのことを行った． • 従来問題に回答した競技者のPCに表示されていた回答の正誤結果を，チーム全体の正誤判定表示モニタに移行 • 観戦者が競技者個人やチームの様子を確認できるように,チームの様子を撮影するカメラを設置 • 見るべきポイントが観戦者にわかるように競技全体を概略的に確認できるビューを提供 5.3 本システムの構成本システムの概要を図 4に示す．本システムは問題を管理する問題サーバ，観客用に情報を提供する観客用サーバ，解答の正誤を表示する正誤判定表示モニタから構成されている． 5.4 本システムの利用方法 5.4.1 競技者本システムを利用して競技に参加する流れを以下に示す． ( 1 )競技者は競技ネットワーク上に存在する問題サーバにブラウザでアクセスする．

(5)

図5 問題一覧．

Fig. 5 The problem list for a security contest．

正解済みは黒色で表示まだ未正解の問題は青色で表示

正誤の結果と問題をアニメーションで表示

過去の解答を表示

図6 正誤判定表示モニタ．

Fig. 6 Correct or mistaken Judgement Monitor．

( 2 )競技者からアクセスされると問題サーバは図 5の様な問題のタイトル，得点が書かれた一覧を返す.この時チームメンバーが正解済みの問題は緑色に塗られている． ( 3 )競技者は問題一覧から問題を選択する． ( 4 )問題サーバは選択された問題の説明を返す． ( 5 )もし問題の解答がわかった場合には，解答を解答入力欄に入力し問題サーバに送信する． ( 6 )問題サーバは解答を入力した競技者が所属するチームの正誤判定表示モニタ，観客用サーバに情報を送る ( 7 )競技者はアニメーション後，解答の正誤を確認することができる． ( 8 )図6正誤判定表示モニタには問題の説明文と競技者の入力した答えが表示される． 5.4.2 観戦者観戦者はブラウザを利用することにより，カメラから送信される競技者の様子，競技の様子を概略的に確認することができる．図7 競技の様子の概略図．

Fig. 7 Overview View of the security contest

カメラからの競技者の様子を確認する: 図 4の様に，正誤判定表示モニタに付随しているカメラは観客用サーバにWebRTCを利用し各チームの様子をリアルタイムに送信している．そのため，競技者は各自タブレットを利用することにより現在の各チームの様子を任意に確認することができる．またチームの様子を送信するカメラは正誤判定表示モニターに付随しており，競技者は結果が出る際，正誤判定表示モニタを見る必要があるため，自然とカメラを向いた競技者の様子を確認することができる仕組みになっている．競技者の様子を概略的に観戦する: 観戦者は，図7のような概略図により競技の様子を簡単に観戦することができる．上に各チーム，下に各問題を表している．競技者が問題に解答した時には，上部の解答した競技者が所属するチーム番号から下部の解答した問題に青い四角が動く．もし正解した場合には赤のエクスクラメーションマーク，不正解の場合には青の水玉が表示される．このことにより多くの解答が飛び交うなかで正解のチームのみに注目してみることや，どの問題にどのぐらい解答が行なわれているかを観戦することができる．また競技者は正誤を知るまでにアニメーションが再生されるためその間の時間が必要となる．そのため観戦者は，概略図で正解のチームを知った後に，競技者が正誤を知る前に，正解したチームの様子を確認することができる．そのため観客は，正誤が決まる瞬間の競技者の様子を逃すことなく見ることができる．

6. 予備実験

本システムを実際のコンテストで利用する際の課題を把握するため，2回の予備実験を実施した．

(6)

表1 実験のスケジュール．

Table 1 Timetable of Contest.

時刻内容 18:00 ~ 18:10 オープニング 18:10 ~ 18:15 競技準備 18:15 ~ 18:55 競技 18:55 ~ 19:00 表彰およびエンディング Group1 Group2 Group3 Group４ Group5

図8 第1回予備実験の全体の様子．

Fig. 8 The first time experimental contest．

6.1 第1回予備実験第一回の予備実験では，実際のセキュリティコンテストを参考に，チーム戦のクイズ形式の擬似的な大会を開催した． 6.1.1 実験条件第一回予備実験は九州工業大学のインタラクティブ学習棟MILAiS (以下 MILAiS)[10]において2013年11月14 日に実施した．MILAiSはグループワークに特化した学習環境であり，チーム戦のクイズ形式に適している．前述の SECCONもMILAiSで開催されており，実績があることから利用を決定した．実験で提供する問題数は10問とし，実験協力者の学年や実績を考慮した難易度の問題を作成した．実験協力者は15名で，3人ずつのチームを5チーム作成した．正誤判定表示モニタとして，各チームごとに MacBookAir 1台を配布した．画面とカメラが一体化しており，正誤判定表示モニタとして利用しやすいと考えられるためである．実験の進行を表 1に示す． 6.1.2 結果第一回予備実験の様子を図 8に示す．この予備実験により，以下の課題が明らかになった．MacBook Airは画面とカメラが一体化しているため，正誤判定表示モニタとして適していると考えられたが，図9に示すように，画角が狭く，チーム全体を撮影することができないということが実験で確かめられた．図10のように全員を写しきれていないことがわかる．またシステムの回答管理の仕方がチーム戦の形式に適していないこともわかった．正誤判定表示モニター兼カメラ図 9 第1回予備実験におけるGroup3のカメラの画角と競技の様子．

Fig. 9 Camera angle of Group3 for the first time experimental contest.

図10 第1回予備実験におけるカメラ一覧．

Fig. 10 Group Camera list for the first time experimental con-test 6.2 第2回予備実験第一回予備実験の結果から判明した問題点についてシステムを改修した． • 正誤判定表示モニタを複数利用可能とした. • 多人数のチーム戦で適切に機能するように回答管理の仕方を改めた．改修したシステムが第一回予備実験で判明した課題を解消できていることを確認するため，第二回予備実験を2013 年11月21日に実施した． 6.2.1 実験条件第二回予備実験も第一回と同様，MILAiSでのチーム戦・クイズ形式とした．正誤判定表示モニタとしてMacBook Air 3台を配布した．それぞれに表示されるアニメーションなどは同一だが，チームメンバー3名を個々に撮影するようMacBook Air内蔵カメラの画角を調整し，3枚の画像を一枚の画面で確認できるよう合成して表示した． 6.2.2 結果第二回予備実験の様子を図 11に示す．チーム内で利用する正誤判定モニタを増やすことにより，図12の様にチームメンバー全員を撮影することが可能になり，チーム全体

(7)

③

_②

_①

図11 第2回予備実験の様子．

Fig. 11 State of the second preliminary experiment.

①

②

③

図12 第2回予備実験のカメラからの動画.

Fig. 12 Group Camera View.

の様子が把握できるようになった．また，回答が正しく管理され，大会の進行に支障がないことを確認した．

7. まとめ

本論文では，個人の活動を効果的に他者に見えるようにすることを目的にシステムの提案を行った．本システムを利用することにより観戦者が競技者の様子を見ることができるようになった．また個人の活動の一部をチーム全員が共有するモニタに移行することでチームメンバー同士，協働でコンテストに参加することができるようになった．今後，実際にコンテストを実施した上でどの程度効果があるか検討する必要がある．

8. 謝辞

本システムは，2013年10月5日に実施されたSECCON 2013スコアサーバ・ハッカソン（九州大会）に参加し優勝したシステムです．SECCON 2013スコアサーバ・ハッカソン（九州大会）とは，「ぼくのかんがえたさいきょうのスコアサーバ」をテーマにそれぞれが思い思いにプログラムを作成する大会です．SECCON 2013スコアサーバ・ハッカソン（九州大会）では，主催者，参加者から多くのアドバイスを頂きました．また２回の予備実験の実施に際しては，ボランティアとして被験者の皆様に協力頂きました．協力，助言していただいた皆様へ心から感謝の気持ちを申し上げます．この場を借りてお礼申し上げます．なお本研究の一部は,科研費(課題番号24500043)ならびにIPA(独立行政法人情報処理推進機構)の支援を受けています．参考文献

[1] SECCON（SECurity CONtest）2013：入手先

⟨http://2013.seccon.jp/⟩ (2013.11.20).

[2] DEF CON 入手先 ⟨http://www.defcon.org/⟩

(2013.11.25). [3] BeeCon-CTF 型セキュリティコンテスト入手先 ⟨http://chausson4.eng.kagawa-u.ac.jp/App/SecExrc/BeeCon/⟩ (2013.11.25). [4] SECCON 2013 九州大会（CTF 福岡予選）入手先_{⟨http://2013.seccon.jp/blog/2013/10/seccon.html⟩} (2013.11.25). [5] サイボウズグループウェア入手先 ⟨http://cybozu.co.jp/⟩ (2013.11.25). [6] SECCON CTF 福岡大会レポート入手先 ⟨http://www.atmarkit.co.jp/fsecurity/ special/167ctf/02.html⟩ (2013.11.25). [7] 井垣宏，柿元健，佐伯幸郎，福安直樹，川口真司，早瀬康裕，崎山直洋，井上克郎実践的ソフトウェア開発演習支援のためのグループ間比較にもとづくプロセスモニタリング環境,日本教育工学会論文誌34(3), 289-298, 2010-12-01 [8] まちゅ，チケット駆動開発 … ITpro Chal-lenge のライトニングトーク (4) 入手先 ⟨http://www.machu.jp/diary/20070907.html⟩ (2013.11.25). [9] サイバー攻撃統合分析プラットフォーム“ NIR-VANA 改 ”（ニルヴァーナ・カイ）を開発入手先 ⟨http://www.nict.go.jp/press/2013/06/10-1.html⟩ (2013.11.25). [10] 近藤秀樹，尾関智恵，楢原弘之(2011)，インタラクティブな活動を促進する学習環境MILAiSの構築と初期の運用の経過，日本教育工学会第27回全国大会講演論文集 pp.451-452

リアルタイムセキュリティコンテスト可視化システムの提案