オムニバス講義のための試験問題作成支援ツール

全文

(1)Vol.2010-GN-76 No.17 2010/5/21. 情報処理学会研究報告 IPSJ SIG Technical Report. 1. はじめに. オムニバス講義のための試験問題作成支援ツール. 大学には，一つの講義の中で複数の教員が交代で講義を担当するオムニバス形式の講義がある．様々な分野の専門知識を一つの講義科目で教授できるため，従来から多くの大学で採用されている．オムニバス講義において定期試験が実施される場合，各教員が分担してそれぞれの講義内容から出題し，一人の代表教員がそれらを集約して問題用紙を作成することが多い．本学における上記講義形式の「メティア環境総論」では，毎年，受講者数が 400 名を超えるため，すべて択一式の出題形式で定期試験を実施している．また 2007 年度より，光学文字読み取り装置（OCR）と光学マーク読み取り装置(OMR)を試験に導入し，マークシートの解答用紙を使用している． OMR は大学入試センター試験などの大規模な試験や、アンケート調査などでしばしば採用されている．OMR 専用機は非常に高価であるため，現在では家庭用のプリンタを用いて普通紙でもマークの読み取りが可能なマークリーダーソフトに人気がある．普通紙のマークシートを利用する場合であっても，問題用紙と解答用紙は分離して試験を実施することが多く見受けられるが，用紙の配布と回収に手間がかかる点や，学生に一度配布した問題用紙を確実にすべて回収することが難しいという問題がある．また，マークシート形式では論述式問題に対応できないため，択一式問題に限られてしまう．それらの問題に対して，設問文とチェックボックス欄を同じ用紙に並べて記載できるマークリーダーソフトもある．選択肢の隣にチェックボックスを設置できるなど，自由なレイアウトが可能である．しかしながらそのようなソフトウェアを用いてマークシートを作成するためには設問文やチェックボックス欄の設置などのレイアウト作業が必要である上に，専用のエディターを自在に操るためにはある一定の操作経験と機能についての理解が必要である．また，設問や選択肢の数が多い場合，熟練者であってもチェックボックス欄の設置や各チェックボックスの属性設定に非常に時間がかかる．さらにオムニバス形式のような出題者が複数人存在する環境下では，各設問の出題形式や選択肢の数がそれぞれ異なるため，作業負担がより大きくなる．また出題者らから問題修正を依頼されることも多く，試験問題作成者は何度も原稿を修正する必要があり，結果として作成作業に多大な労力を費やさなければならない（図 1）．以上の背景に基づき，本研究では協調的に試験を実施する環境において，問題用紙と解答用紙が一体型になったマークシートを，特別なソフトウェアを使用せず，誰でも容易に作成することが可能な試験問題作成支援ツールを構築した．本ツールでは多くのユーザーが直感的に利用できるように Excel で作成した設問入力フォームに設問. 中村亮太† 上野歩† 市村哲† 上林憲行† 大学には一つの多人数講義の中で複数の教員が交代で講義を担当するオムニバス形式の講義がある．このような担当教員と受講者数の多い講義では，試験問題作成と採点作業に非常に時間がかかる．そこで本研究ではマークシート形式で試験を実施し，採点作業を効率化すると同時にマークシートの作成作業を支援するツールを開発し，作業時間の短縮をはかった．開発した試験問題作成支援ツールはマークシートを特別なソフトウェアを使用せずに Excel で作成したシンプルな入力フォームを用いて作成することが可能である．本ツールを利用することで，これまで作業負担の大きかったレイアウト作業を自動的に行うことができる．. Exam Creation Support Tool for Omnibus Lectures Ryota Nakamura† Ayumu Ueno† Satoshi Ichimura† Noriyuki Kamibayashi† Making and grading of the examination requires considerable time in the omnibus lectures, because the number of teachers and students is more than that of usual lectures. To overcome this problem, we developed a useful tool to make the computer-scored answer sheet using the simple input form made by Excel. It is often necessary to align the objects such as checkbox manually, even if users use the OCR/OMR dedicated editor. Our tool automatically completes the checkbox and text area layout based on the value input to Excel so that the time of making the computer-scored answer sheet is greatly reduced. Through evaluations, we determined the effectiveness of our tool.. †. 1. 東京工科大学 Tokyo University of Technology. ⓒ2010 Information Processing Society of Japan.

(2) Vol.2010-GN-76 No.17 2010/5/21. 情報処理学会研究報告 IPSJ SIG Technical Report. 文や選択肢を入力するように設計した．マークシートの作成と読み取りを行うために，富士ゼロックス社製の Docushuttle[1]と ApeosWare FlowService[2]を利用した．これらのサービスで利用するマークシートファイルは XML 文書で構成されており，チェックボックスなどオブジェクトの座標値や属性値に関する情報が記載されている．したがって，あらかじめオブジェクト毎に XML 文を用意しておけば，それらを適宜組み合わせて目的のマークシートを作成することが可能である．我々が作成した試験問題作成支援ツールは上記の仕組みを利用して，設問入力フォームの値に基づき，設問毎に必要な XML 文をテンプレートのファイルに追加していくことができる．例えば，設問入力フォームに 5 つの選択肢を入力した場合，入力した数だけチェックボックスが自動的にマークシートに設置される．ユーザーは Excel に出題内容を入力するだけで，設問文とチェックボックス記入欄が一体型になったマークシートを作成することが可能である．本ツールは，穴埋め問題，単語選択問題，文章選択問題，分類問題など択一式問題で想定される多くの出題形式に対応している．また論述式問題にも対応可能であるが，論述式問題は択一式問題と異なり，チェックボックス欄を採点者用に設けている．各設問には評価基準に沿って設置された採点項目があり，それぞれの採点項目の隣にチェックボックスが配置されている．採点者がチェックボックスにマークすることでスキャン時に集計作業が自動的に行える仕組みになっている．したがってすべての採点は自動化できないが，集計作業については可能である．以上のようにオムニバス講義において本サービスを利用することで効率的に試験問題の作成ならびに集計を行うことが可能である．. 2. 既存研究・サービス OCR・OMR の技術は 50 年以上前から研究されており，郵便番号や大学入試センター試験に導入されるなど，古くから生活の様々な場面で利用されている．近年，紙に書かれた手書き文字の認識技術も進んでいるが，認識率は 90%程度であり，まだ十分とはいえない．しかしながらスマートフォンや iPad[3]などのタブレットに人気が出てきたことから，紙をスキャンして画像や PDF ファイルとしてデバイスに蓄積するだけではなく，スキャン時に読み取られた OCR や手書き文字を活用する場面が今後ますます増えることが予想される．従来から大学や高等学校などの教育機関でも OCR・OMR を用いたマークシート形式の試験やアンケートが実施されている．一般的に OCR・OMR 装置は高価なものであるが，現在では専用の読み取り装置とマークシート用紙を利用せずに，数万円程度の ADF スキャナーを利用して，文字やマークの読み取りを行うことが可能である [4][5]．試験やアンケートのマークシート作成を低価格で利用可能な既存サービス・ソフトウェアを大別すると，専用エディターを利用するタイプと Word などの広く普及しているソフトウェアを利用するタイプがある[6][7]． OCR・OMR 専用エディターを使用するタイプでは，操作方法や機能を理解するために多くの時間が必要である．したがって初心者が気軽に利用することは難しい．また一連の操作方法に慣れた者であっても，チェックボックスの属性値を設定する作業や，文字列やチェックボックスの配置を行う必要であり，作成者にとって大きな負担となっている．一方，AltPaper[7]などは専用エディターを使用せずに，Word 上で紙の調査票やアンケートを自由に作成することが可能である．サービスは有料であるが汎用性が高く， Word 上で自由にレイアウトすることができるため，試験問題や授業評価アンケートなど様々なマークシートを作成することができる．しかしながら前述した専用エディターと同様に，設問文や選択肢，チェックボックス欄の配置など，レイアウト作業を手作業で一つずつ行う必要があるため，マークシートへの記載内容が大量にある場合にはユーザーに大きな負担となる．以上のようにマークシートを作成するツールは，OCR・OMR 専用エディターを用いず，Word や Excel などの多くのユーザーが利用可能なソフトウェアを用いたシンプルなインターフェイスであることが望ましい．そして，択一式の試験問題のように大量のチェックボックスを必要するマークシートの作成については，レイアウト作業を極力自動化し，作業を効率化することが重要である．. 図 1 オムニバス形式講義における定期試験の作業工程 Figure 1 Task for examination on omnibus’s lecture 2. ⓒ2010 Information Processing Society of Japan.

(3) Vol.2010-GN-76 No.17 2010/5/21. 情報処理学会研究報告 IPSJ SIG Technical Report 3.2 マークシートの作成支援. 3. 複合機を活用した教育支援サービス 3.1 サービス概要. まず Excel ファイルで作成された設問入力フォームに設問文や選択肢などの設問内容を入力する．入力された情報は試験問題作成支援ツールによって読み込まれ，対応したマークシートが自動的に生成される．試験問題作成支援ツールでは，使用するマークシートのファイル形式が XML 文書で構成されていることを利用している．予め用意した白紙のファイルに設問文やチェックボックス欄に相当する XML 文を一つずつ追加していくことで，専用のエディターを用いずに目的のマークシートを自動的に作成することができる．各オブジェクトに相当する XML 文を抽出するために，過去に定期試験で使用したファイルの XML 文書を詳細に分析し，オブジェクトの種類毎にまとめたファイルを XML パーツとして PC に保存した．具体的には選択肢が 4 つあるチェックボックス欄があった場合，それをマークシートに記載するために必要な XML 文を一つのテキストファイルとして保存し，試験問題作成支援ツールから呼び出せるようにした．XML パーツを追加するブランクシートには，用紙サイズ，氏名・学籍番号の記入欄など，試験に共通した情報が予め設定されている．試験問題作成支援ツールでは，設問内容に応じて適切な XML パーツを呼び出し，XML 文を自動的に組み立てる．また，各オブジェクトの幅と高さ，座標は，経験値に基づいて設問文の文字数や選択肢の数から最適な値が計算され，レイアウトが自動的に行われるように設計されている．. 本研究では複合機を活用した教育支援サービスとして，学生に向けたレポートのフィードバックや試験の採点・集計作業を電子的に行っている[8][9][10]．大規模な講義における大量のレポートや答案用紙を複合機で電子化することによって，情報の閲覧・検索・再利用が容易になる．本サービスでは，まず，OCR・OMR が付与されたレポートや答案用紙を専用のエディターで作成し、情報管理システムである Docushuttle に登録する．登録された紙文書には二次元バーコードが付与され，スキャン時に紙文書を判別できるようになっている．記入された用紙は複合機で一括スキャンされ、LAN で接続されたサーバーに電子データが蓄積される（図 2）．学籍番号 OCR とチェックボックス欄の記入内容は CSV ファイルとして出力される．また、マークシート作成時に指定した矩形領域は画像データとして出力することも可能であるため，例えば論述式試験であれば，学生の解答文を出力し，様々な用途に利用することが可能である．上述したように，マークシートを作成するためには専用のエディターを使用しなければならない．2007 年度より本学の「メディア環境総論」において，マークシート形式の定期試験を実施してきたが，問題作成者がエディターを使いこなすために相当の時間を要した．2008 年度も同様にマークシートを作成したが，設問数が多かったため，チェックボックスを設置などに非常に時間がかかった．また，選択肢の数とチェックボックスの数が一致していない，設問文の下に選択肢が隠れてしまう，などの人為的なミスも発生した．以上の課題を解決するためには，レイアウト作業を支援し，効率的にマークシートを作成することが可能な仕組みが必要である．. 図 3 マークシートの作成方法 Figure3 The method of making sheets. 図 2 複合機を活用した教育支援サービス Figure 2 Educational support service using multifunction printers. 3. ⓒ2010 Information Processing Society of Japan.

(4) Vol.2010-GN-76 No.17 2010/5/21. 情報処理学会研究報告 IPSJ SIG Technical Report 4.2 マークシートの自動生成. 4. 試験問題作成支援ツール 4.1 設問入力フォーム. 図 5 は試験問題作成支援ツールが前節の設問入力フォームの値を読み取って自動的に作成したマークシートの出力例である．図 5 中左側は設問文と選択肢が記載されており，設問どうしの距離は一定の間隔が保たれるように空白の領域が設定されている．チェックボックスの上隣には選択肢の番号（①，②，③・・・）が自動的に配置される．また，穴埋め問題の場合には空欄の記号（A，B，C・・・）がチェックボックスの左隣に同じように配置される．マークシートは設問文と解答欄が境界線で分かれており，その境界線の位置はチェックボックスの数によって左右にスライドする．学生が解答するチェックボックスを間違えないように、各設問の選択肢と同じ高さにチェックボックス欄を設置し，設問番号が左隣に記載されるように設計されている．各チェックボックス欄の属性には数値が設定されており、学生がどのチェックボックスにマークしたかが判別できるようになっている．もし 2 つ以上にチェックされている場合は、チェックされた数値が並んだ値が出力される．また，チェックが無かった場合には，NULL の値が出力されるようになっている．その他、本ツールでは，すべての設問文と選択肢，設問間のスペースに用いた空白のテキスト領域の高さを足した値が指定した用紙サイズを上回る場合，2 ページ目にマークシートを作成するように設計されている．そして最終的に印刷したときに両面印刷された 1 枚のマークシートが完成する．また，各文字列のフォントサイズの変更や細かなレイアウト調整が必要な場合には専用のソフトウェアから修正することも可能である．. マークシートを作成するためには，まず図 4 の設問入力フォームに各設問の必要事項を入力しなければならない．設問入力フォームは多くのユーザーが利用できるように Excel で作成されており，シンプルな作りに設計されている．図 4 に示すように，フォームには試験名，各設問番号，配点，設問文，選択肢のための入力欄がある．図中 3 列目の解答数という項目は，穴埋め問題や複数の解答を求める選択問題のために設置されており，例えば図 4 中 2 つ目の設問のように３つの空欄がある穴埋め問題では，解答数が 3 となる．また，それらの配点については，図中 2 列目の配点入力欄で指定した値を解答数で割った値が各得点となる．ユーザーは各設問のレイアウトについて考慮する必要がなく，試験問題の論理的構造だけに集中することができる．. 4.3 論述式問題への応用. 試験問題作成支援ツールでは，択一式問題だけでなく，論述式問題にも応用可能である．図 6 は論述式問題に対応した１つのマークシート出力例である．図 6 中の縦線で区切られた右側の領域は採点者用記入欄になっており，採点項目毎にチェックボックス欄が設置されている．採点者は学生の解答に対して減点項目にチェックを入れるだけで，点数を計算する必要はない．例えば解答された文章の中で「WPA」についての説明が誤っている場合には，採点者は WPA の隣にあるチェックボックス欄にマークするだけでよい．このように明確な採点基準を設けることで，複数人で採点作業を行っても評価のばらつきを抑えることができる．また，学生にも評価基準が提示されているため，学生の自己評価と教員の評価との差異が小さくなる．得点の集計はスキャン時に出力される CSV ファイルを用いて，Excel などの表計算ソフトで計算することが可能である．. 図 4 設問入力フォームの入力例 Figure 4 Question input form. 4. ⓒ2010 Information Processing Society of Japan.

(5) Vol.2010-GN-76 No.17 2010/5/21. 情報処理学会研究報告 IPSJ SIG Technical Report. その他，設問文の下にある矩形の解答欄は，解答内容を再利用できるように画像切り出し領域として設定することも可能である．例えば，学生の模範的な解答を授業 HP に掲載することや，授業評価アンケートの回答を他の授業スタッフにフィードバックすることに役立つ機能である．以上のような試験問題作成支援ツールでは，択一式問題だけではなく，論述式問題も混在した試験やアンケートなどを効率的に作成することが可能である．. 図 6 論述式問題のマークシート出力例 Figure 6 A Sample sheet for written question. 5. 評価実験 5.1 評価実験方法. 本ツールの有効性を確認するために，オムニバス講義科目「メディア環境総論」の定期試験で出題された問題文を対象にして，マークシートの作成作業にかかる時間と再現性について評価した．まず，作成作業時間を比較するために，同一の被験者 1 名が Docushuttle の OCR・OMR 専用エディターを用いて作成する場合と本ツールで作成する場合で，それぞれマークシートを作成した．被験者は専用エディターを用いてマークシートを作成したこと経験のある者であり，マークシートを完成させるために必要な一応のスキルを持っている．被験者には試験問題の原稿をテキストファイルで渡し，マークシートを作成させた．被験者に作成させた設問形式は，すべて択一式問題であり，一つの設問に 5 つ以上の選択肢が用意されていた．設問数は計 64 問であり，チェックボックスの数は計 379 個であった．次に，本ツールの有用性について評価するために，本ツールの操作経験のない 5 名の被験者（大学 4 年生）に本ツールを用いてマークシートを作成させた．被験者には設問入力フォームへの入力方法を一通り説明し，作成作業中は一切助言しなかった．作成後に完成したマークシートを各自確認し，自身が意図したとおりにレイアウトやチェックボックスの設定が達成できたか確認させた．作成させた設問形式は 5 種類であり，単語選択問題（単一解答），文章選択問題（複数解答），穴埋め問題（穴埋め数 5 つ），分類問題（2 種類）論述式問題（4 つの評価項目は指定されている）をそれぞれ一つずつ，計 5 問を作成させた（5 名 5 問＝25 問）．. 図 5 択一式問題のマークシート出力例 Figure5 A Sample sheet for multiple-choice question . 5. ⓒ2010 Information Processing Society of Japan.

(6) Vol.2010-GN-76 No.17 2010/5/21. 情報処理学会研究報告 IPSJ SIG Technical Report 5.2 評価実験結果 OMR 専用エディターと本ツールでマークシートの作成に要した時間を比較した結果，OMR 専用エディターで作成した場合，作業完了までに 237 分間かかったのに対し，本ツールを使用した場合には 32 分間と大幅に作業時間を短縮することができた． OMR 専用エディターを使用した場合，設問数の多さゆえにレイアウトの調整やチェックボックス欄の属性値設定に多くの時間を要した．特にチェックボックスを多く設置しなければならず，属性の設定や配列に時間がかかった．一方，本ツールを用いた場合，レイアウトを微調整する程度で作業を終えることができた．また，OMR 専用エディターで作成したものにはチェックボックス数の設定ミスや属性値の入力ミスが発生していたが，本ツールを用いた場合ではそのような誤りは起こらなかった．しかし，本ツールを使用しても次の点において設問文を修正しなければならなかった．9 名の出題者から渡された設問文には様々な文言や記号が含まれており，それらをすべて統一させる必要があった．例えば穴埋め問題において，設問文中の括弧内の表記に大文字小文字のアルファベットや数字が使われており，一つに統一されていなかった．また細かな点として，設問中の文言に「選びなさい」や「選べ」などの異なる表現が使用されていたり，句読点を含む設問とそうでないものがあったりと，これらも統一しなければならなかった．次に，本ツールの有用性について評価した結果，5 名の被験者が作成した設問全 25 問中 23 問において，被験者が意図したとおりに正しいレイアウトの配置とチェックボックスの設定を行うことができた．1 名の被験者が穴埋め問題と分類問題に対して，設問入力フォーム中の解答数への入力方法を誤ったため，2 問だけは正しく作成することができなかった．しかし，残りの 4 名はすべて問題なくマークシートを作成することができたことから，本ツールの有用性を確認することができた．. 問題作成支援ツールによって作業時間を大幅に短縮することができ，人為的なミスも極力抑えることができた．また，設問の入力フォームをシンプルなインターフェイスにすることで，多くのユーザーが直感的に利用できるものとなった．今後は，図や表などを使った試験問題への対応や，より直感的に設問を入力できるフォームをデザインしていく予定である．また，マークシート作成におけるデータ入力を Excel ではなく，Web アプリケーションとして Web 上のフォームに設問文や選択肢を入力することでマークシートが作成できる環境を構築したいと考えている．オムニバス講義のように複数人の教員が一つの試験問題を作成する場合，集まって物事を進めていくことは難しい．各自が Web 上で他の設問内容を閲覧し，互いの設問ついて意見交換をするなど，協調的な試験作成が望ましいと思われる[11]．その他，採点の後処理として集計作業を効率的に行えるツールや，試験結果から正答率や傾向を分析するツールの開発も計画している．謝辞本研究において，富士ゼロックス社の山浦一郎氏、三浦均氏，田丸恵理子氏，佐藤悦志氏より有用な助言をいただきました．ここに感謝致します．. 参考文献 1) 2). 富士ゼロックス Docushuttle：http://www.fujixerox.co.jp/product/software/docushuttle/index.html 富士ゼロックス ApeosWare FlowService：http://www.fujixerox.co.jp/product/software/aw_flow _service/index.html 3) Apple iPad：http://www.apple.com/jp/ipad/ 4) 手書き OCR/OMR システム：http://www.ocr-system.com/ 5) テスト用紙 OCR ソリューション：http://panasonic.biz/it/sol/ocr/form/case/casestudy6.html 6) Remark Office OMR：http://remark.hammock.jp/ 7) AltPaper：http://www.altpaper.net/ 8) 市村哲, 山下亮輔, 松本圭介, 中村亮太, 上林憲行: 紙答案と電子フィードバックを併用した講義支援システム, 情報処理学会論文誌, Vol.49, No.1, pp.525-533 (2008) . 9) 塚田雅規，中村亮太，上林憲行：協調的な作問を可能にする試験用紙作成支援サービス，第 72 回情理学会全国大会，3ZG-5 (2010). 10) 上野歩，中村亮太，上林憲行：複合的なメディアを活用した模擬エントリーシートのフィードバックサービス，第 72 回情報処理学会全国大会，2ZG-5 (2010). 11) 高木正則, 田中充, 勅使河原可海：学生による問題作成およびその相互評価を可能とする協調学習型 WBT システム，情報処理学会論文誌, Vol.48, No.3, pp.1532-1545, 2007.. 6. おわりに本研究ではオムニバス講義における試験運用を支援するために，マークシート形式の試験問題を特別なソフトウェアを使用せず，容易に作成することが可能なツールを開発した．問題用紙と解答用紙が一体型になったマークシートを作成するためには，専用のエディターを用いて設問文やチェックボックスの配置などのレイアウト作業を行う必要がある．これらの作業は非常に手間がかかり，選択肢の数とチェックボックスの数が合わないなどの人為的なミスが発生する可能性も高い．そこで，マークシート作成におけるレイアウト作業を自動化することで，ユーザーは試験問題の論理的構造の作成だけに集中してマークシートを作成することが可能となった．開発した試験. 6. ⓒ2010 Information Processing Society of Japan.

(7)