被験者実験

STDの有効性を評価するために，STDの使用者と不使用者の電子ノート見直し作業 にかかる時間の比較実験を行った．

被験者実験では，被験者10名によるノート見直し作業にかかる時間を測定した．被 験者は大学生・大学院生の10名である．作業内容は，一か月前に被験者が作成した講 義内容の電子ノートを参照しながら試験問題に解答するというものである．この解答

図 7.4: STD による検索結果の表示例

表 7.2: 実験で使用したSTDの性能 STD性能 F-measure=約0.17

Recall=約61%, Precion=約10%

検索語延べ数 108語 検索語種類数 49語 平均検索語数 22語／人

検索時間 約10秒／検索語(内，約7秒はインデックス構築時間) 平均音素数 9音素(最短4，最長20)

がすべて正答となるまでの時間を計測した．なお，ノート参照の際，全被験者の内半 数にはSTDを使用する．

ノート見直し作業時のSTD性能を表7.2に示す．この講義音声の単語認識率は約 26%であったが，STDのRecallは約61しかし，Precisionは約10これは，検索語とし て“実”や“ダル”等の音素数が短い検索語の湧き出し誤りが原因である．これら2語を 除いた際のSTD性能は，Recallが約67%，Precisionが約20%，F-measureが約30%で あった．

STDを使用した5名と不使用の被験者5名の正答時間の平均値と標準偏差を表7.3 に示す．STDの使用者5名と不使用者5名の設問ごとの平均正答時間を表7.4に示す．

表 7.3: STD使用者と不使用者の正答時間の平均値と標準偏差[分’秒”]

不使用者 使用者 平均値 40’58” 35’25”

標準偏差 14’34” 6’17”

表 7.4: STD使用者と不使用者の設問ごとの正答時間の平均値 [分’秒”]

設問 不使用者 使用者 差 1 2’27” 2’46” 0’19”

2 6’33” 1’28” -5’05”

3 5’11” 6’18” 1’07”

4 2’43” 3’49” 1’06”

5 14’33” 11’55” -2’38”

6 3’02” 4’03” 1’01”

7 3’55” 2’05” -1’50”

8 2’34” 3’00” 0’26”

表7.3の平均値から，STDの使用者は不使用者に比べ，5分程速く解答できている(た だし，危険率5%で有意差なし)．標準偏差では，STDの使用者は不使用者に比べ正答 時間の個人差が小さいことが確認できる．

STD使用者には，電子ノート見直し作業の後にSTDに関するアンケートに回答して 頂いた．5段階評価でSTDの必要性が4.2と高い評価を得られた．

また，全ての被験者には，電子ノート見直し作業の後に自由記述のアンケートに回 答して頂いた．STD不使用者のアンケートの結果では

• 認識ができていない単語が多かった

• 認識ができていない場合，広い範囲の音声を聞くことになり，解答に必要な箇所 を見つけ出すのに苦労した

との回答があった．

一方，STD使用者のアンケート結果では

• 認識結果にない単語も，STD を使用することで検索ができたため役立った

• 誤りがある場合でも聞くべき範囲を視覚的に特定できたため，解答に必要な箇所 を見つけ出せた(シークバーの位置に対応した検索結果表示)

• 検索速度が遅いと感じた との回答があった．

以上より，電子ノート見直し作業において，STDは有効である可能性があるという ことが示された．

しかし，アンケート結果に“検索速度が遅いと感じた”という回答があったことから 検索速度の向上が必要であることが示された．

7.3 ^まとめ

本章では，提案した音声中の検索語検出手法をシステムソリューションに用いるこ とが可能であるかを考察した．まず，提案した音声中の検索語検出手法を，大語彙連 続認識システムで用いる言語モデルの学習データ選別や，認識単語の選別に用いるこ とで，音声認識性能を向上させることが可能かを考察した．STDを用いた語彙推定処 理により，認識辞書の語彙を大幅に削減することが可能となり，それに伴い，すべて の講演・講義で音声認識率が改善することが示された．

また，電子ノート作成支援システム[38]に提案したSTD手法を利用し，その効果を 考察した．結果として，電子ノート見直し作業において，STDは有効である可能性が あるということが示された．しかし，検索速度の向上が必要であることが課題として明 らかになった．この検索速度が遅いことについては，NTCIR-9[47]，NTCIR-10[37]に おいても明らかである．これは，提案手法が検索性能に重点を置いているためである．