授業におけるテキストマイニングの有効性に関する研究

授業におけるテキストマイニングの有効性に関する

研究

著者

岡田 孝, 谷田 薫, 黒崎 茂樹, 武田 俊之

雑誌名

情報科学研究

号

24

ページ

41-43

発行年

2010-03-19

URL

http://hdl.handle.net/10236/3740

研究課題

授業におけるテキストマイニングの有効性に関する研究

種別

指定研究

代表者

岡田 孝

（理工学部）

研究員

谷田 薫

（総合教育研究室）

、

黒崎 茂樹（情報メディア教育センター）、

武田 俊

之（情報メディア教育センター）

大学・大学院教育においても、授業評価とそれに基づく授業改善に取り組むことが必須となっ た。その際の学習者による授業感想やアンケート調査における自由記述等のテキストデータの分 析は不可欠である。あるいは提出されたレポートも授業から学生が知識を得た証拠のひとつであ る。これらの膨大な自由記述を分析する方法としてテキストマイニングという手法がある。テキ ストマイニングの手法の開発は活発であり、商用、フリーを含めてそれらを実装したソフトウェ アが利用されている。 テキストマイニングは、 1) データの整理 2) 分析 3) 解釈 4) 解釈に基づくデータの再吟味 の手順でおこなわれる。授業におけるテキストマイニング利用の特徴は、大量データの分析が可 能であること、文面を流し読むだけでは自明ではない役立つ情報が得られること、授業横断的な 分析が可能になること、(授業中に利用可能であれば）授業内コミュニケーションの改善に役立 つことなどにあると考えられる。しかし、テキストマイニングには知識と時間が必要であるため、 簡単に利用できるものとはいいがたく、効率性の点に問題がある可能性がある。現在の技術にお いて授業でテキストマイニングを導入するには、１) 授業運営の効率化 2) 学生の学力向上 3) 教員の授業能力向上 のいずれかにおいて単純な集計型のアンケートなど従来の方法以上の効果 が認められなければならない。 本研究は授業評価・授業改善のためのテキストマイニングの有効性について評価することを目 的として計画された。狭義には授業の概要を記述させたものはレポートの一種でありアンケート ではないと思われる。しかし、今回はそれを授業がどれほど理解されたかどうかを調査するため に用いるため、以下では授業評価アンケートとして区別せずに扱うことにする。

1. 授業評価アンケートの収集

まず、授業評価のためのアンケートを収集しなければならない。理解度を問うアンケートと理 解したことや質問などを記述させるミニッツペーパーがあり アンケートには、授業中に記述させる授業中アンケートと Web や携帯電話によるアンケート がある。授業中アンケートにも、選択肢をマークさせるマークシートとミニッツペーパーやさら にくわしい授業の要約や質問を書かせる記述式の 2 種類のアンケートがある。表 1 にそれぞれの アンケートの特徴をまとめている。 本研究においては、アンケートの記述およびマークシート用紙としてはスキャネットシート (http://www.scanet.jp/) を、Webアンケートとしてはメディア教育開発センター (NIME、現放送大 学 ICT活用・遠隔教育センター) のリアルタイム評価支援システムREAS2

(http://reas2.nime.ac.jp/cgi-bin/WebObjects/top) および関西学院大学教育研究システムとして提供 されている授業連絡ボードを用いた。

表 1 授業中アンケートと web 形式アンケートの比較 授業内アンケート web 形式アンケート 回答時間 授業中 授業中，または一定期間内の学生の都 合のいい時間 回答方法 マークシート，記述式 PC、または携帯電話によるオンライン 回答 回答場所 教室 ネット接続された PC のある場所 メリット 授業中に回収するので回収率が 高い 集計に時間がかからず，迅速な授業改 善ができる デメリット マ ー ク シ ー ト や 手 書 き デ ー タ を、テキストデータに変換する 必要があ、リアルタイム性がな い。 回収率が低くなる傾向がある

2. 方法

2008 年 10 月中旬-11 月下旬のうち数回の授業においてアンケートへの協力を得た。データ収 集の手順は以下の通りである。 1. 授業の展開について事前に教員にヒアリングをおこない、可能な限り、授業手順、配布 資料、パワーポイントやキーワードを整理する。 2. アンケート・ミニッツペーパー、確認テスト、授業中レポートなどの準備を Web アンケ ートの場合は、REAS 上に、手書きの場合は適当なスキャネットシートとインストラクシ ョンを用意した。手書きの場合は事前にデータ化の手順を考えておく。 3. アンケートをおこなう授業において、授業を観察し、後の分析に役立つよう記録を取る。 このとき、必要に応じて、ビデオ撮影をする。ビデオ撮影は観察の補助および、分析結 果から授業をふりかえる必要がある場合に利用する。 4. 授業終了後、収集されたアンケートなどを見てもらいながら、通常の授業でおこなって いるような評価をしてもらう。 5. データのクリーニングをおこなう。 6. テキストマイニング等により分析、可視化をおこなう (クラスタリング、MDS によるプ ロット、キーグラフなど)。 7. テキストマイニングによる可視化の結果をみてもらいながら、教員にインタビューする。 新しい発見はあるか？ データを収集した授業の概要を表 2 に示す。

表 2 対象授業概要

授業

回答方法

受講者数

文字数(字)

1

理工学部 専門科目

Web

65

1036

2

46

2154

3

理工学部 演習

Web

25

1959

4

商学部 専門科目

手書き

52

4544

5

情報科学科目 演習

Web

12

3083

6

情報科学科目 演習

Web

34

3654

7

手書き

34

1229

8

情報科学科目 演習

Web

25

3687

9

手書き

19

622

10

情報科学科目 演習

Web

129

6623

11

手書き

122

2839

12

情報科学科目 演習

手書き

17

601

3. 評価と知見

以下のような知見が得られた。詳細については別途専門誌において発表する予定である。 - 学生の理解度や授業への評価において、テキストマイニングは有効である。 - しかし、有効性を引き出すには、データのクリーニングをすることが必要である。 - 文章量が多い場合はクリーニングに時間がかかる。上記データにおいて、手書きデータの入 力とクリーニングで最大 2 時間程度が必要であった。 - 専門科目においては文章量が多くても意味を読み取りやすい可視化が可能であった。 - 演習授業で、文章量が多い場合には、可視化が困難である。しかし、事前に必須キーワード を要求しておくと可視化しやすくなる。 - 多肢選択アンケートと併用すると可視化しやすい。 本研究のデータ収集には理工学部学生上野絵梨佳の協力を得た。(文責 武田)