過去問題をリソースとする知識ベースを活用した
問題自動生成システムの開発と評価
福坂祥基
†1高木正則
†1山田敬三
†1佐々木淳
†1 概要：近年，TOEIC や情報処理技術者試験など様々な検定試験が行われている．これらの検定試験では，出題する問 題の作成に多くの負担がかかっている．一方で，教育現場で必要となる多様な演習問題が不足していることに対し， 演習問題を自動生成する研究が多数存在する．しかし，問題生成の際に事前準備作業が求められ，作問者にかかる負 担は未だ大きい．我々はこれまで作問負担の軽減を目的とし，過去問題をリソースとした問題自動生成システムを提 案してきた．本研究では，過去問題から知識ベースを手動で構築し，構築された知識ベースを活用した問題自動生成 システムを開発した．また，本システムを活用した作問実験から過去問題をリソースとした知識ベースの活用可能性 を検証した． キーワード：問題自動生成，過去問題，知識ベースDevelopment and Evaluation of an Automatic Question Production
System by Using Resource of Past Exam Questions
SHOKI FUKUSAKA
†1MASANORI TAKAGI
†1KEIZO YAMADA
†1JUN SASAKI
†1Abstract: In recent years, various official examinations such as NEIPT, TOEIC are carried out. But, there is a problem that preparing for these examination is a big burden. On the other hand, there is a lot of studies on automatic production system of Exam Questions. But, in those studies, a detail preparation for each examination is needed. We have suggested that the automatic question production system by using resource of past exam questions in order to lighten such a burden. In this study, we created a knowledge base by manual operation from the past exam questions and developed an automatic question production system involving the knowledge base. In addition, we verified the usage feasibility on the created knowledge base by question production experiments by using the system.
Keywords: Question automatic generation, Past exam questions, Knowledge based
1. は じ め に
近年，TOEIC や情報処理技術者試験など様々な検定試験 が行われている．これらの検定試験では，出題する問題の 作成に多くの負担がかかっている．一方で，教育現場で必 要となる多様な演習問題が不足していることに対し，演習 問題を自動生成する研究が多数存在する[1][2]．しかし，問 題を生成するためのリソース情報に XML のタグを付与す ることや，出題する知識のカテゴリに対応した語尾を定義 するなど，問題生成の事前準備に何らかの作業が必要であ り，作問者にかかる負担は未だ大きい．これに対し著者ら のグループでは，過去問題をリソースとした問題自動生成 用の知識ベースを定義し，この知識ベースを自動構築する 手法[3]を提案した．しかし，知識ベースの構造の妥当性や 活用可能性の検証はされていない．そこで，我々は先行研 究で古舘らが定義した知識ベースを手動で構築し，この知 識ベースを情報源とした問題自動生成システムを開発した． †1 岩手県立大学大学院 ソフトウェア情報学研究科Graduate School of Software and Information Science, Iwate Prefectural University 本システムで自動生成された問題を評価することで過去問 題を利用した知識ベースの活用可能性を検証することとし た． 本稿では，2 章に手動で構築した知識ベースの構成と問 題自動生成システムの概要を述べ，3 章では構築した知識 ベースについて述べる．また，4 章では開発したシステム の概要を述べ，このシステムを用いた予備実験と評価実験 をそれぞれ5 章，6 章で述べる．7 章では知識ベースの自動 構築機能の開発に向けた構想を述べ，最後にまとめと今後 の課題について述べる．
2. 問 題 自 動 生 成 シ ス テ ム
2.1 生 成 す る 問 題 の 形 式 本研究では，専門用語や固有名詞を問う一問一答形式の 問題を生成対象とし，過去に出題された問題の知識を活用 して元の問題とは異なる出題形式や，異なる知識の組み合 わせを持つ新しい問題を生成する．また，著者のグループ が先行研究で開発した誤答選択肢を自動生成するシステム [4]と連携し，本システムで生成した一問一答形式の問題を 多肢選択形式へ変換することも想定している．なお，本研究では共同研究を行っている盛岡商工会議所 が主催するご当地検定の盛岡もの識り検定（以下，もりけ ん）で出題される盛岡市の地理・歴史・人物などの固有名 詞の知識を問う問題を活用する．もりけんの過去問題（問 題文と正答）の例を表1 に示す． 2.2 シ ス テ ム 概 要 本システムでは，作問者が入力したキーワード（専門用 語や固有名詞）に関連する問題を自動生成したあと，作問 者が生成された問題を確認・修正，または生成された問題 を参考にして新規問題を作成できる作問支援環境を提供す る．本システムの概要図を図1 に示す．作問者はまずシス テムへ作問したい問題のキーワード入力する（図1①）．シ ステムは入力されたキーワードに関連する知識を知識ベー スから取得する．そして，取得した知識量に応じて利用で きる出題テンプレートを取捨選択し，各出題テンプレート に取得した知識を挿入することで問題を自動生成する．生 成した問題の一覧は作問者へ提示し，作問者は一覧の中か ら作問に利用したい問題を選択し（図1②），任意に修正を 加えて（図1③），システムへ登録する． 2.3 知 識 ベ ー ス の 構 造 本研究で利用する知識ベースは，古舘らが定義した知識 ベースの要素や構造を参考にして作成した．古舘らが定義 する知識ベースは，メッシュ型の構造であったが，本研究 による知識ベースは問題生成の容易さを考慮し，木構造で 定義した．本知識ベースの構成要素は，「対象知識」，「カテ ゴリ」，「プロパティ」，「オブジェクト」の4 つであり，過 去問題からこれらの構成要素を抽出する．また，この4 つ の構成要素が木構造で管理される．表1 の過去問題から構 図 1 システム概要図 表1 過去問題の例 問 題 文 正 答 新渡戸稲造が設立時に事務次長をつ とめた国際組織の名称は何ですか． 国際連盟 新渡戸稲造の後に，国際連盟事務次 長になった，盛岡出身の外交官は誰 ですか． 杉村陽太郎 今年、盛岡駅前滝の広場で胸像が除 幕された先人は誰ですか． 新渡戸稲造 平成 24 年、生誕 150 年を迎える盛 岡ゆかりの人物は誰ですか． 新渡戸稲造 図 2 過去問題（表 1）から構築される知識ベース 図3 過去問題から構成要素の抽出例
築される知識ベースを図2 に示す．本知識ベースに登録さ れている知識は，4 つの構成要素のどれに該当するのかを 識別する記号が割り振られており，出題テンプレートに知 識を挿入する際に利用される．記号のKLⅠと KLⅡは知識 ベースのルートからの知識階層を意味し，これらに付随す る [O]はオブジェクトを，[O][P]はそのオブジェクトに紐 付くプロパティを意味する．オブジェクトに続く番号は， その知識階層の全オブジェクトの中で何番目に登録されて いるかを表す．また，プロパティに続く番号も同様に，オ ブジェクトに紐付けられる全プロパティの中で，何番目に 登録されているかを示す． 変換方法は「対象知識」と「オブジェクト」が一致する かどうかなどによって3 種類ある．ここで「対象知識」と は，問題で問われている，または解決の中心となる知識を 指す．「カテゴリ」はこの「対象知識」の上位概念として位 置付ける．例えば，「新渡戸稲造」が対象知識の場合，カテ ゴリは「人物」に分類される．「プロパティ」は，「対象知 識」を説明する情報であり，問題文から「～は誰ですか」 のような不要語を取り除いた情報である．「オブジェクト」 は，「プロパティ」が指し示す実際の値となり，問題の答え に該当する． また，もりけんには問題文の条件に適合しない単語や説 明を選択させる問題がある（2.5 章で後述）．この出題形式 の問題から知識を抽出する際は，図4 のように問題の誤答 選択肢をそれぞれオブジェクトとして， 3 つの知識が抽出 される． 2.4 知 識 ベ ー ス の 構 築 手 順 (1) 対象となる検定試験で扱う知識の最上位の概念を知 識ベースの最上位ノード（ルート）に置く．ここでは， もりけんの過去問題を利用しているため，盛岡市とす る． (2) 各問題の対象知識を抽出し，カテゴリを決定する． (3) 各問題の対象知識とオブジェクトを比較する． ① 対象知識とオブジェクトが同値である場合（図3(1)）， 問題のカテゴリ（対象知識の上位概念）が既に知識ベ ースに登録されているか検索する．既にカテゴリが登 録されている場合，そのカテゴリの子ノードとして対 象知識を配置し，カテゴリと対象知識の間にこの問題 から抽出したプロパティを紐付ける．カテゴリが登録 されていない場合は，新規のカテゴリとして，ルート の子ノードに配置し，対象知識とプロパティを同様に 配置する．また，カテゴリと対象知識の両方が既に登 録されている場合はプロパティの紐付けのみを行う． ② 対象知識とオブジェクトが異なる場合(図 3(2))，（2） で問題から抽出した対象知識が既に知識ベースに登 録されているか検索する．既に登録されている場合， 知識ベースの対象知識の子ノードにオブジェクトを 配置し，そのノード間にプロパティを紐付ける．対象 知識が登録されていない場合，問題の対象知識をカテ ゴリの子ノードとして新規に登録し，対象知識の子ノ ードにオブジェクトを配置し，そのノード間にプロパ ティを紐付ける．また，（2）で決定した問題のカテゴ リが登録されていない場合，問題のカテゴリを知識ベ ースの新規のカテゴリとしてルートの子ノードに配 置し，このカテゴリの子ノードとして対象知識を配置 する．このとき，プロパティの紐付けは行わず対象知 識の子ノードとしてオブジェクトを配置し，このノー ド間においてプロパティを紐付ける． 2.5 出 題 テ ン プ レ ー ト の 概 要 出題テンプレートを作成するために，もりけんの過去問 題250 問の出題形式や知識の出現箇所を分析した．その結 果，画像を利用する問題や，穴埋め問題など7 種類の形式 の問題が存在することが分かった．表2 に 7 種類の形式と その例となる問題を示す．表 2 の出題形式のうち，No.③ の出題形式は平成 28 年度から非推奨の形式となり，平成 27 年度を最後に出題されていないため出題テンプレート として採用しないこととした．また，出題形式④～⑦は出 題される割合が少なく，問題に含まれる知識を知識ベース の各構成要素に変換することが困難であったため，知識抽 出の対象外とした．そのため，これらの形式も出題テンプ レートとして採用しないこととした．以上より，本研究で は出題形式①と②をモデルとして出題テンプレートを作成 した．出題テンプレートの一覧を表3 に示す． 本テンプレートでは，知識ベースの知識を挿入する箇所 や内容が記号で表現されている．知識階層やオブジェクト， プロパティの記号は知識ベース（図2）と対応しており，i， j，k はオブジェクトやプロパティの識別番号を示す．また， n，p，o はオブジェクトやプロパティの総数を示している． 図 4 誤答選択肢からオブジェクト抽出の抽出例
作問者が入力したキーワードが KLⅠ[O]のいずれかに一 致するとき問題が生成される．生成時は，テンプレート中 の記号に該当する知識ベースの情報を1 つずつ挿入する． 表3 テンプレート①は，入力されたキーワードに一致し た KLⅠ[O]が複数のプロパティに紐付けられている場合 に利用する正答に KLⅠ[O]を挿入し，問題文には KLⅠ [O][Pi]を挿入後，KLⅠ[O][Pi]以外のプロパティ（KLⅠ [O][Pj]）を挿入する． 表3 テンプレート②は，KLⅠ[O]とその子ノード間に紐 付いているプロパティ KLⅡ[Oj][Pk]の中に KLⅠ[O]と同 一の文字列が含まれる場合に利用する．KLⅠ[O][Pi]と KL Ⅰ[O]を「である」で連結した文を KLⅡ[Oj][Pk]文中の KL Ⅰ[O]と置き換えた文を問題文に挿入する．正答には KLⅡ [Oj]を挿入する． 表3 テンプレート③は，KLⅠ[O][Pk]の中に別の第 1 層 オブジェクト（KLⅠ[Oi]）と同一の文字列が含まれている 場合に利用する．KLⅠ[Oi][Pj]と KLⅠ[Oi]を「である」で 連結した文を KLⅠ[O][Pk]に含まれる KLⅠ[Oi]と置き換 えた文を問題文に挿入する．正答にはKLⅠ[O]を挿入する． 表3 テンプレート④⑤では，どちらも問題文に KLⅠ[O] を挿入する．④の正答にはKLⅠ[O][Pi]，⑤の正答には KL Ⅱ[Oi][Pj]と KLⅡ[Oi]が挿入される．
3. 知 識 ベ ー ス の 構 築
本研究では，もりけんで過去に出題された 2000 問を分 析し，各問題を4 つの構成要素に変換したうえで，知識ベ 表 2 出題形式と該当する過去問題例の一覧 No 出 題 形 式 問 題 文 正 答 割 合 ① 問題文の条件に適合する単 語を選ぶ，または記入する形 式 本 堂が 盛 岡 市指 定 保 存建 造 物 に指 定 さ れ、 「貞女おかんの墓」があることでも知られる 寺はどこですか。 大泉寺 87.6% ② 問題文に示された知識に適 した説明を選ぶ形式 盛岡市は沖縄県うるま市と 友好都市の提携 をしていますが、そのきっかけとなったのは 何ですか。 NHK 連続テレビ小説「ど んど晴れ」のヒロインを 演じた女優の出身地であ ったことから。 2.4% ③ 問題文の条件に適合しない 単語，または説明を選択する 形式 盛岡市の古刹・東顕寺の末寺でないものはど れですか。 白雲山 青山寺（盛岡市青 山） 3.6% ④ 提示した画像に適した説明 又は単語を選ぶ形式 地図に示した場所の旧町名は何ですか。 呉服町 2.4% ⑤ 問題文の条件に適合する単 語が複数存在し，その中の１ つを正答とする形式 次のうち、盛岡が発祥の民謡はどれですか。 外山節 2.0% ⑥ 列挙された項目を問題文の 条件の通りに並び替える，ま たは順番選択する形式 盛岡に拠点を持ち始めた時代の歴代南部氏 の正しい順番はどれですか。 信直—利直—重直—重信 1.2% ⑦ 問題文に含まれる伏せ時に 当たる文字を選択，または記 入する形式 南部氏初代が甲斐国から奥羽に入ったのが 年末の押し迫った時期だったことから、正月 の準備のため、12 月（旧暦）を特別に大の 月として1 日延ばし、正月 2 日をもって元旦 としたと伝えられる故事を称して「南部の○ 大」と呼びます。○の中に入る言葉 私 0.8% 表 3 出題テンプレート № 問 題 文 正 答 ① KLⅠ[O][Pi](1≦i≦n)であり， KLⅠ[O][Pj](1≦j≦n,i≠j)のは何か KLⅠ[O] ② KLⅠ[O][Pi](1≦i≦n)である KLⅠ [O]＋ KLⅡ[Oj][Pk](1≦j≦o)(1≦k≦p)の は何か KLⅡ[Oj] (1≦j≦o) ③ KLⅠ[Oi][Pj](1≦i≦n)(1≦j≦o)で あ る KL Ⅰ [Oi](1 ≦ i ≦ n)+KL Ⅰ [O][Pk](1≦k≦p)のは何か KLⅠ[O] ④ KLⅠ[O]の説 明として正し いものはどれ か KLⅠ[O][Pi](1≦i≦n) ⑤ KLⅡ[Oi][Pj] (1≦i≦n)(1≦j≦n) は KLⅡ[Oi](1≦i≦n) であるースを手動で構築した．なお，もりけんで出題された問題 の出題形式は，一問一答形式と多肢選択式があるが，いず れも問題文と正答から知識を抽出した．対象知識は盛岡の 専門用語となり得る単語を手動で抽出し，構築には2 ヶ月 の時間を要した．また，作問者が本稿のシステムを利用す る際，カテゴリの内容は生成される問題に関与しないため 今回は筆者の主観で行った．しかし，キーワード入力の手 法の一つとして，初めにカテゴリを選択させ対応したキー ワードを一覧で表示することも検討している．そのため， 古舘らと同様に日本語 Wikipedia オントロジー[6]を利用す るなどして，今後はある程度の有効性が認められた手法か ら対象知識の上位概念を取得する必要がある．なお，画像 を利用する問題や選択肢に列挙した項目の順番を問う問題 は，抽出の対象外とした． 構築した知識ベースのカテゴリは「人物」，「食」，「建造 物」など7 種となった．また，オブジェクトの数は KLⅠ [O]が 699，KLⅡ[O]が 828 となり，ノード間に紐付けられ たプロパティの数は KLⅠ[O][P]が 1143，KLⅡ[O][P]が 988 となった．
4. 問 題 自 動 生 成 シ ス テ ム の 開 発
3 章で構築した知識ベースと表 3 の出題テンプレートを 活用した問題自動生成システムを開発した．表4 に開発環 境を示す．本研究で開発した問題自動生成システムの主な 利用手順を以下に示す．なお，認証のためのログイン機能 については説明を割愛し，ログイン直後の手順を示す． ① 作問者は「新渡戸稲造」や「盛岡城」を始めとする 任意のキーワードを入力する．図 5 にキーワード入 力画面を示す．入力フォームにキーワードを入力後， システムでは知識ベースの KL[O]を検索し，入力さ れたキーワードが含まれる対象知識を一覧表示する． 図 6 に対象知識の一覧画面を示す．例えば，「盛岡」 と入力すると，「盛岡城」などが一覧表示される．ま た，入力されたキーワードが含まれる対象知識が知 識ベースに登録されていない場合は何も表示せずに， 再度入力を促す． ② 手順①の一覧の中から，作問者は任意にキーワード を選択する．キーワードが選択されたらシステムで は知識ベースからキーワードに関連する知識を収集 し，出題テンプレートに挿入することで問題を自動 生成する．図7 に生成された問題の一覧画面を示す． ③ 作問者は手順②で表示された問題の一覧から作問に 利用する問題を選択し，任意に修正する．図 8 に選 択した問題情報（問題文と解答）の修正画面を示す． ④ 手順③で問題修正後，システムに問題を登録する． 登録された問題は登録問題一覧画面で確認できる． 図 9 に登録問題一覧画面を示す．再度作問を行う場 合は画面の「作問する」ボタンを押下することで， 手順①に移行する． 図 7 生成された問題の一覧画面 表 4 開発環境 Web サーバ PHP 5.3(CakePHP 2.5.2) 開発言語 Apache 2.2.3 DBMS MySQL 5.0.95 図 5 キーワード入力画面 図 6 入力された文字列が含まれるキーワード一覧画面 図 8 自動生成された問題の修正画面5. 予 備 実 験
作問現場でのシステム利用実験を実施する前に，大学生 を対象に予備実験を行った[5]．予備実験では作問に要する 時間を負担と見なし，本システムを利用せずに作問した場 合と，本システムを利用して作問した場合で，作問に要し た時間を比較して作問負担の軽減効果を評価した．実験で は，本システムを利用して作問した後にシステムを利用せ ずに作問するグループA（13 名）と，その逆順で作問する グループB（14 名）に被験者を分けて実施した．その結果， 本システムの利用により，グループA では 1 問あたりの作 問時間が142.46 秒から 97.90 秒へ，グループ B では 144.90 秒から 67.30 秒への短縮が確認された．よって，それぞれ 約30％，約 50％の短縮の効果が示された．また，実験後に 実施したアンケート結果から，作問負担の軽減を実感した 被験者が78% いたことが示された．6. 作 問 現 場 で の シ ス テ ム 利 用 実 験
6.1 実 験 概 要 過去問題をリソースとした知識ベースの活用可能性と有 効性を検証するため，もりけんの作問委員会（5 名）に実 際のもりけんで出題する問題の作問作業の期間に本システ ムを利用してもらった．問題は一人あたり5 問前後を目安 に作成してもらい，誤答選択肢の作成は任意とし，問題生 成の対象外とした．なお，本実験では，時間を指定せず， 任意のキーワードを自由に入力してもらい作問してもらっ た．本システムの利用後に実施したアンケート結果やシス テムに登録された問題から，作問現場での作問負担や，生 成された問題の妥当性と活用可能性を評価した． 6.2 作 問 結 果 システムを利用して作成してもらった問題は 18 問であ った．作問者（A～E）ごとに，問題の生成に用いたキーワ ードと，本システムが生成した問題数を表5 に示す．また， 表5 から，作問者 C と D は「盛岡八幡宮」のキーワードを 選択し，同様の問題一覧が提示されていたことが分かる（問 題No12，16）．しかし，両者はその中から異なる問題を選 択していた． 6.3 ア ン ケ ー ト 結 果 本システムを利用した作問後にアンケートを実施した． 実施したアンケートの結果を図10 に示す．図 10 から，シ ステムを利用することにより負担の軽減を実感した作問者 が全体の 60%（作問者 A，C，E）であったことがわかる． また，アンケートの自由記述では，作問者C から「キーワ ードから多岐にわたる作問の可能性やヒントを導き出せる 点に魅力がある」といった意見が得られた．一方で作問者 B からは「生成される問題が多く表示され，選択に手間が かかる」という意見が得られた．これは，現段階のシステ ムでは1 つのキーワードに対し，生成された問題の全てが 表示されることが原因と考えられる．そのため，問題が大 量に生成された場合は類似する問題を省略し，表示する問 題数の絞り込みや表示順序の調整などの工夫が必要になる と考えられる． 図 9 登録された問題の一覧 図 10 実験後のアンケート結果 表 5 入力されたキーワードと自働生成された問題数 作問者 問題 No キーワード 問題数 A 1 木 津 屋 池 野 籐 兵 衛 家住宅 8 2 上の橋 19 3 米内浄水場 70 4 盛岡河南大火 1 5 大島高任 13 B 6 貞任橋 1 7 相馬大作事件 5 C 8 中津川 224 9 盛岡駅 23 10 南部重信 12 11 盛岡さんさ踊り 31 12 盛岡八幡宮 46 D 13 岩手国体 7 14 ビクトリア市 13 15 短歌甲子園 12 16 盛岡八幡宮 46 E 17 厨川柵 20 18 南部氏 316.4 自 動 生 成 さ れ た 問 題 の 評 価 本システムを利用して作成された全18 問と，作問の際に 参考にしていた自動生成された問題との差分を分析し，作 問者が自動生成された問題にどのような修正を加えたかを 分析した．分析から確認できた修正内容を表6 に示す． 修正①は生成された問題に対して，作問者が全く手を加 えずにそのまま問題として採用した問題を指す．これらは， 作問者が生成された問題に対し，修正しなくても利用でき ると判断したことが示唆される． 修正②は，文末の問題文における問い方のみを修正した 問題を指す．本システムで用いたテンプレート（3 章）で は，生成の第一段階として，「～は何か？」という抽象的な 問い方に統一している．そのため，試験問題として出題す る際は，人物を問う際は「誰か」や，場所の際は「どこか」 と問うことが適切であり，作問者はこのような問い方へ修 正していた．③～⑤の修正においても，この問題文末の修 正が含まれていた． 修正③は問題文の一部が削除，または新たな文が追加さ れた問題である．図11 に実際に生成された問題と修正後の 問題例を示す．自動生成された問題文の，下線は「盛岡八 幡宮」の説明にあたる箇所が，修正によって取り除かれて いる． 修正④は問題文や正答，またはそれらの間で単語や文章 が移動された問題である．図12 に例を示す．生成された問 題は「盛岡河南大火」の説明を求める問題であるが，「盛岡 河南大火」の説明にあたる答えを問題文に，問題文中の「（盛 岡）河南大火」を答えにしている． 修正⑤は生成時と比較して，数個の単語以外，ほぼ全文 が異なる情報に書換えられたものである．図13 に例を示す． 問題文で共通する単語が「短歌甲子園」のみで，ほぼ書換 えられている． 表6 から，修正されなかった問題または軽微な修正のみ の問題（表6①～④）は，大幅な書換えをされた問題（表 6 ⑤）の2 倍あったことが分かる．この結果から，軽微な修 正を加えれば自動生成された問題を検定試験に活用できる ことが示唆され，作問者から見てもある程度妥当性のある 問題が自動生成されていたことが推察される．以上より， 過去問題をリソースとした知識ベースから生成される問題 は，作問の際に活用できると考えられる．
