第 7 章 ケーススタディ
7.1 ケーススタディ 1
講 義 動 画 に 対 し て 提 案 し た 抽 出 処 理 を 適 用 し ， 講 師 が い な い 領 域 を 正 確 に 判 定 し ， ホ ワ イ ト ボ ー ド が 消 さ れ た タ イ ミ ン グ や 書 き 換 わ っ た タ イ ミ ン グ を 抽 出 で き て い る か 実 験 す る ．
対 象 と し た 講 義 動 画 は 96分 の MP4フ ァ イ ル で ，解 像 度 は フ ル HD（ 幅 1920・
高 さ 1080）で ，フ レ ー ム レ ー ト は 30フ レ ー ム/秒 で あ る ．こ の 動 画 か ら １ 分 お き に 画 像 を 抽 出 し て 処 理 の 適 用 を 行 っ た ． 左 側 と 右 側 で そ れ ぞ れ 一 回 ホ ワ イ ト ボ ー ド 領 域 を 講 師 に よ っ て 消 さ れ て お り ， 部 分 的 な 書 き 換 え も 行 わ れ て い る ．
7.1.2 結 果
動 画 に 処 理 の 適 用 後 ， 得 ら れ た 数 値 デ ー タ を グ ラ フ 化 し た と こ ろ ， 次 の よ う な 結 果 が 得 ら れ た ．
図 7.1: 黒 部 分 の 量 （ 左 右 ） 0
500 1000 1500 2000 2500 3000 3500 4000 4500 5000
1 6 111621263136414651566166717681869196 黒
部 分 の 量( p
)x
時間(min)
左側 右側
29
上 図 は 左 右 両 方 の 領 域 を 含 ん で お り ， か つ 講 師 が 重 な っ て い て 抽 出 出 来 な か っ た タ イ ミ ン グ 等 も 全 て 含 ん で お り 分 か り に く い ． そ こ で ， そ れ ら を 省 い た 図 を 作 成 し た ．
図 7.2: 黒 部 分 の 量 （ 左 側 ・ 判 定 成 功 時 ）
図 7.3: 黒 部 分 の 量 （ 右 側 ・ 判 定 成 功 時 ）
局 所 的 な 変 動 が み ら れ る も の の ， 図 中 に 示 し た よ う に ホ ワ イ ト ボ ー ド の 消 さ れ た タ イ ミ ン グ に つ い て は 正 し く 検 出 で き た ．
0 500 1000 1500 2000 2500
1 5 9 13 17 21 25 29 33 37 41 45 49 53 57 61 65 69 73 77 黒
部 分 の 量( p
)x
時間(min)
0 500 1000 1500 2000 2500 3000 3500 4000 4500 5000
1 4 7 101316192225283134374043464952555861646770 黒
部 分 の 量( p
)x
時間(min)
消 さ れ た 直 後 消 さ れ た 直 後
30 7.1.3 考 察
左 右 に 分 け て 抽 出 す る 方 法 の 妥 当 性 が 示 唆 さ れ た ． ホ ワ イ ト ボ ー ド が 消 さ れ る 直 前 の タ イ ミ ン グ が 分 か っ た こ と で ， そ の １ つ 前 の タ イ ミ ン グ で 画 像 を 抽 出 し て 超 解 像 処 理 を 適 用 す る こ と が 可 能 と な っ た ． し か し ， 今 回 の 実 験 で は ， 消 さ れ る ま で の ホ ワ イ ト ボ ー ド の 情 報 が 増 え て い く 過 程 を 適 切 に 観 測 と は で き な か っ た ． 講 義 開 始 か ら 消 さ れ る ま で の 間 に 値 が 上 下 し て い る 点 は ， 明 る さ の 変 化 に 伴 う 二 値 化 処 理 後 の 出 力 画 像 の 変 化 が 原 因 と 考 え ら れ る ．
ま た ， 本 手 法 で は ， 途 中 で ホ ワ イ ト ボ ー ド が 部 分 的 に 書 き 換 わ っ た 場 合 ， 検 出 す る こ と が 困 難 で あ る ． こ の 検 出 に は ， 情 報 量 の 比 較 に 加 え て ， 下 図 の よ う な 書 き 換 え ら れ る 前 と 後 の 差 分 を と る こ と で ， 異 な る 内 容 が 書 か れ た こ と を 観 測 す る 必 要 が あ る ．
図 7.4: ホ ワ イ ト ボ ー ド の 差 分
し か し ， 二 値 化 し た 差 分 を と る と ， も と も と ぼ や け た 画 像 の た め ， 鮮 明 な 差 分 を 抽 出 す る こ と が で き な い ． よ っ て ， 差 分 を そ の ま ま 書 き 換 え タ イ ミ ン グ の 抽 出 に 用 い る と 精 度 が 低 く な る 可 能 性 が あ る ． ま た ， 今 回 の 実 験 と 同 じ よ う に ， 明 る さ な ど 講 義 室 の 環 境 の 変 化 に 影 響 を 受 け る と 思 わ れ る ． し た が っ て ， グ レ ー ス ケ ー ル の ま ま 差 分 を と る と い っ た 工 夫 を 検 討 す る 必 要 が あ る ．
31 7.2 ケ ー ス ス タ デ ィ 2
7.2.1 方 法
ま ず ， 講 義 動 画 の ホ ワ イ ト ボ ー ド 領 域 を 抽 出 し た 画 像 に 対 し て ， 超 解 像 処 理 を 適 用 し 画 像 を 生 成 し ， そ の 画 像 中 の 文 字 や 図 を 選 択 し ， こ れ ら の 文 字 や 図 を 正 確 に 読 み 取 れ る か ， 被 験 者 に テ ス ト を 行 っ た ． ま た ， 被 験 者 が 超 解 像 処 理 を 行 っ た も の と 一 般 的 な ア ル ゴ リ ズ ム （ 最 近 傍 補 間 法 ） に よ っ て 拡 大 さ れ た 画 像 と ど ち ら が 読 み 取 り や す い か 調 査 し た ．
調 査 を 実 施 し た 被 験 者 は 4人 で あ る ．Google フ ォ ー ム を 利 用 し て ア ン ケ ー ト 調 査 を 実 施 し た ． 学 習 者 が PCで ア ク セ ス し て 学 習 す る と い う 講 義 ア ー カ イ ブ シ ス テ ム の 利 用 環 境 に 近 づ け る た め ， 被 験 者 が 各 自 の PCで ア ク セ ス し て 回 答 を 行 う と い う 形 式 と し た ．
読 み 取 り 課 題 に つ い て 実 験 に 使 っ た 画 像 は ， 実 際 の 講 義 動 画 か ら 抽 出 処 理 し た 画 像 に 対 し て 前 述 の 2 通 り の 処 理 を し た も の で あ り ，こ れ ら を ラ ン ダ ム に 並 べ る こ と で 行 っ た ． 被 験 者 は こ れ ら の 画 像 に 書 か れ た 内 容 を 再 現 す る こ と が 求 め ら れ た ． 用 意 し た 画 像 は 文 字 列 と 数 式 で ， 文 字 列 に つ い て は 比 較 的 単 純 な も の と や や 読 み 取 り に く い も の の 2 種 類 を 用 意 し た ．
図 7.5: 調 査 に 使 用 し た 画 像 の 例 （ 最 近 傍 補 間 法 ）
一 方 ， 読 み や す さ の 評 価 に あ た っ て は 超 解 像 処 理 を 適 用 し た 画 像 と 通 常 の 拡 大 処 理 を 適 用 し た 画 像 を 用 意 し ，そ れ ぞ れ を ラ ン ダ ム 並 べ A と B と い う 名 前 を 振 り 分 け た 上 で ， 以 下 の よ う な 評 価 項 目 を 用 意 し た ．
1. A の ほ う が と て も 読 み や す い 2. A の ほ う が 読 み や す い
3. A の ほ う が や や 読 み や す い 4. ど ち ら も 同 じ
5. B の ほ う が と て も 読 み や す い 6. B の ほ う が 読 み や す い
7. B の ほ う が や や 読 み や す い
32 7.2.2 結 果
超 解 像 処 理 を 適 用 し た 問 題 と 通 常 の 拡 大 処 理 を 適 用 し た 問 題 と に 分 け ， そ れ ぞ れ の 問 に 対 す る 被 験 者 が 正 し く 書 き 取 れ た 文 字 の 割 合 （ 再 現 率 ） を 求 め た こ と こ ろ 以 下 の よ う に な っ た ．
表 7.1: 調 査 結 果 （ 超 解 像 処 理 ）
文 字 列 A 文 字 列 B 数 式
被 験 者 A 83% 64% 67%
被 験 者 B 83% 91% 78%
被 験 者 C 83% 55% 67%
被 験 者 D 83% 82% 33%
合 計 83% 73% 60%
表 7.2: 調 査 結 果 （ 通 常 の 拡 大 処 理 ）
文 字 列 A 文 字 列 B 数 式
被 験 者 A 100% 25% 25%
被 験 者 B 100% 0% 17%
被 験 者 C 100% 0% 0%
被 験 者 D 100% 0% 33%
合 計 100% 6% 19%
読 み 取 り 評 価 に お い て は ，超 解 像 処 理 を 適 用 し た 画 像 は ，文 字 列 B と 数 式 に お い て は 再 現 率 が 高 い 一 方 で ，文 字 列 A で は 通 常 の 拡 大 処 理 の ほ う が や や 高 い 再 現 率 を 示 し た ．
一 方 読 み や す さ の 調 査 で は ， 以 下 の 様 な 結 果 が 得 ら れ た ． な お ，2つ の 問 の 結 果 を 比 較 し や す い よ う に ，A は 超 解 像 処 理 ，B は 通 常 の 拡 大 処 理 に 並 べ 替 え て い る ．
33
図 7.6: ア ル フ ァ ベ ッ ト の 読 み や す さ 評 価
図 7.7: 数 式 の 読 み や す さ 評 価
ア ル フ ァ ベ ッ ト に お い て は ，4人 中3人 が 超 解 像 処 理 を 読 み や す い と 回 答 し た ． 一 方 で 数 式 や 図 を 含 む 結 果 で は ，1人 が 超 解 像 処 理 を 読 み や す い と 評 価 し ， 特 に 2人 は 通 常 の 拡 大 処 理 を 読 み や す い と 評 価 す る 結 果 と な っ た ．
0 1 2 3
1 2 3 4 5 6 7
人 数
回答
0 1 2
1 2 3 4 5 6 7
人 数
回答
34 7.2.3 考 察
読 み 取 り 評 価 に お い て は ， 数 式 で は 超 解 像 処 理 の ほ う が 優 位 な 結 果 と な っ た ． こ れ は ，添 字 な ど の 小 さ い 字 の 読 み や す さ が 向 上 し た 可 能 性 が 考 え ら れ る ．ま た ， 一 方 で ， 文 字 列 に お い て は 超 解 像 処 理 の 優 位 性 が 十 分 に 示 さ れ な か っ た ． 超 解 像 処 理 の 文 字 列 A で は 全 被 験 者 が 全 く 同 じ 再 現 率 を 示 し て い る が ，こ れ は 講 師 が 漢 字 を 別 の 漢 字 を 書 き 直 し て お り ，書 き 直 す 前 の 字 の 形 と 認 識 し た も の と 思 わ れ る ． ま た ，通 常 の 拡 大 方 法 の 文 字 列 B は 再 現 率 が 著 し く 低 い ．こ れ は ，文 字 が 全 て 漢 字 で あ り 講 義 の 流 れ や 文 脈 な し に 回 答 す る こ と が 難 し い こ と が 理 由 と し て 考 え ら れ る ． こ の よ う に ， 部 分 的 に は 超 解 像 処 理 の 優 位 性 が 示 さ れ た も の の ， そ れ 以 外 の 要 因 よ る と 思 わ れ る 結 果 の 違 い も 見 ら れ た ．
読 み や す さ の 評 価 で は ， ア ル フ ァ ベ ッ ト に お い て は 超 解 像 処 理 の 適 用 の 有 効 性 が 示 さ れ た も の の ， 数 式 や 図 を 含 む 画 像 に お い て は そ の よ う な 結 果 が 得 ら れ な か っ た ． 読 み 取 り 評 価 で は 数 式 で の 再 現 率 が 高 か っ た の と は 逆 の 結 果 と な っ た ． 文 字 列 は 一 部 の 文 字 が 読 め な く て も 表 現 さ れ て い る 単 語 が 分 か れ ば 推 測 が 出 来 る が ， 数 式 で は そ の よ う な 推 測 が で き な い 場 合 が あ り ， 文 字 列 と 数 式 の 異 な る 特 性 が 現 れ て い る と 考 え ら れ る ．
以 上 よ り ， 画 像 の サ ン プ ル 数 や 被 験 者 の 人 数 を 増 や し た 実 験 を 行 い ， ど の よ う な 場 合 に 超 解 像 処 理 が 有 効 で あ る か を 再 検 証 す る 必 要 が あ る ． ま た ， 文 字 の 再 現 率 と 学 習 者 の 読 み や す さ が 一 致 し な い た め ，そ の 両 方 を 満 た す よ う な 条 件 を 調 べ ， そ れ を も と に シ ス テ ム の 改 善 を 図 り た い ．
35
第 8 章 ま と め
本 研 究 で は ，JAISTで 導 入 さ れ て い る 講 義 ア ー カ イ ブ シ ス テ ム に お い て ，講 義 動 画 中 の ホ ワ イ ト ボ ー ド 領 域 が 不 鮮 明 で あ り ， 振 り 返 り 学 習 に 活 用 し に く い と い う 課 題 に 着 目 し た ． 従 来 か ら ホ ワ イ ト ボ ー ド 領 域 の 文 字 情 報 を 抽 出 す る 様 々 な 研 究 が 行 わ れ て き た が ， そ の 多 く は 特 殊 な 機 材 の 導 入 が 必 要 で 高 額 の 費 用 を 要 し た り ， 講 義 動 画 へ の 適 用 に 適 し て い な い も の で あ っ た り ， 講 義 ア ー カ イ ブ シ ス テ ム に そ の ま ま 適 用 す る こ と が 困 難 な も の で あ っ た ． ま た ， 講 義 ア ー カ イ ブ シ ス テ ム は 2006年 に 導 入 さ れ て お り ，既 に 2000を 超 え る 講 義 動 画 が 収 録 さ れ て い る ．そ れ ら の 過 去 の 講 義 動 画 を 活 用 す る と い う 観 点 で は ， 新 た な 撮 影 機 材 の 導 入 は 必 ず し も 有 効 で は な い ．
そ こ で ， こ れ ら の 課 題 を 解 決 す る た め の 試 み と し て ， 講 義 動 画 か ら ホ ワ イ ト ボ ー ド 領 域 を 抽 出 し ， 超 解 像 度 処 理 を 行 う こ と で ， ホ ワ イ ト ボ ー ド の 鮮 明 化 を 行 う シ ス テ ム を 開 発 し ， 小 規 模 で は あ る が ケ ー ス ス タ デ ィ を 実 施 し た ． 本 研 究 で は ， 講 義 ア ー カ イ ブ 全 体 を 鮮 明 化 す る の で は な く ， ホ ワ イ ト ボ ー ド の 情 報 量 の 多 い 場 面 を 代 表 ホ ワ イ ト ボ ー ド 画 像 と し て 取 り 出 し ， そ の 中 で ソ フ ト ウ ェ ア 鮮 明 化 す る こ と を 目 指 し た ． し か し な が ら ， 講 義 中 に は 講 師 が 教 室 前 方 を 前 後 左 右 に 移 動 す る た め ， 複 数 フ レ ー ム 内 で 講 師 が 動 い て い る 状 態 は 鮮 明 化 を 行 う 上 で 望 ま し く な い ． そ こ で ， ホ ワ イ ト ボ ー ド 領 域 を 左 右 に 分 割 し て ， そ れ ぞ れ の 領 域 で ホ ワ イ ト ボ ー ド に 板 書 が 書 か れ て い て か つ 講 師 が 画 面 内 に 含 ま れ な い よ う な フ レ ー ム 群 を 利 用 す る 抽 出 処 理 手 法 を 提 案 し た ． 本 手 法 を 適 用 す る こ と に よ り ， 講 師 が ホ ワ イ ト ボ ー ド を 消 し た タ イ ミ ン グ を 特 定 す る こ と が で き ，90分 や 100分 と い っ た 長 時 間 の 講 義 動 画 に 対 し て も ， 適 切 な 画 像 に 対 し て 鮮 明 化 処 理 を 行 う こ と が 可 能 と な っ た ．
ま た ， 超 解 像 処 理 の 適 用 に つ い て は ， 大 幅 な 鮮 明 化 と は な ら な か っ た も の の ， 複 数 フ レ ー ム か ら 解 像 感 の 向 上 し た 画 像 が 生 成 さ れ ， 画 像 拡 大 時 に 文 字 や 線 の ブ ロ ッ ク ノ イ ズ が 軽 減 さ れ る な ど 一 定 の 効 果 が み ら れ た ． し か し な が ら ， 数 式 に お け る 添 え 字 な ど と い っ た 比 較 的 小 さ な 文 字 に つ い て は 読 み 取 る こ と が 困 難 で あ り ， さ ら な る 検 討 が 必 要 で あ る と い う 結 果 と な っ た ．
ホ ワ イ ト ボ ー ド 領 域 の 抽 出 に つ い て は ， ほ と ん ど の タ イ ミ ン グ で 講 師 が 片 側 に い る 講 義 や 部 分 的 な 書 き 換 わ り が 頻 繁 に 発 生 す る 講 義 な ど ， 今 回 の 条 件 の み で は 有 効 に 抽 出 で き な い 状 況 が あ る こ と も 予 想 さ れ る ． し た が っ て ， よ り 多 く の 講 義 に 本 手 法 を 適 用 す る こ と で 更 な る 課 題 の 明 確 化 を 行 う こ と が 必 要 で あ る ．
ホ ワ イ ト ボ ー ド の 鮮 明 化 に つ い て は ， 今 回 対 象 と し な か っ た パ ラ メ ー タ に 対 す る 調 整 を 始 め と す る 最 適 化 が 考 え ら れ る ． ま た ， 今 回 用 い た 超 解 像 処 理 よ り も さ