Japan Advanced Institute of Science and Technology
JAIST Repository
https://dspace.jaist.ac.jp/ Title 講義アーカイブシステムにおけるホワイトボード領域 の抽出・鮮明化 Author(s) 小林, 弘彬 Citation Issue Date 2017-03Type Thesis or Dissertation Text version author
URL http://hdl.handle.net/10119/14143 Rights
Copyright © 2017 by Hiroaki Kobayashi
修士論文
講義アーカイブシステムにおける
ホワイトボード領域の抽出・鮮明化
1510017 小林 弘彬
主指導教員 長谷川 忍
審査委員主査 長谷川 忍
審査委員 池田 心
飯田 弘之
北陸先端科学技術大学院大学
情報科学研究科
平成
29 年 2 月
内容
第1 章 はじめに ... 1 1.1 研究の背景・目的 ... 1 1.2 本論文の構成... 2 第2 章 講義アーカイブシステムの特徴と課題 ... 3 2.1 e ラーニング ... 3 2.2 講義アーカイブシステム ... 3 2.3 学生による評価 ... 5 2.4 課題 ... 6 解像度 ... 6 2.4.1 ビデオカメラの設置場所 ... 7 2.4.2 第3 章 関連研究 ... 9 3.1 講義動画のコンテンツ化 ... 9 3.2 ホワイトボードへの超解像処理の適用 ... 9 3.3 講義動画を活用するアプローチ ... 10 第4 章 提案手法 ... 11 4.1 抽出処理 ... 11 動画からの画像抽出 ... 11 4.1.1 ホワイトボード領域抽出 ... 11 4.1.2 情報量抽出 ... 11 4.1.3 4.2 超解像処理 ... 12 第5 章 システムの設計 ... 14 5.1 抽出処理の構成 ... 14 5.2 複数フレーム超解像処理 ... 15 第6 章 システムの実装 ... 19 6.1 開発・実行環境 ... 19 6.2 抽出処理 ... 21 動画から画像を抽出 ... 21 6.2.1 講師領域の検出 ... 21 6.2.2 講師領域の位置判定 ... 23 6.2.3 ホワイトボードの2 値化 ... 24 6.2.4 黒部分の量の測定 ... 26 6.2.5 文字量の変化の出力 ... 26 6.2.6 6.1 超解像処理 ... 26 第7 章 ケーススタディ ... 287.1 ケーススタディ1 ... 28 方法 ... 28 7.1.1 結果 ... 28 7.1.2 考察 ... 30 7.1.3 7.2 ケーススタディ2 ... 31 方法 ... 31 7.2.1 結果 ... 32 7.2.2 考察 ... 34 7.2.3 第8 章 まとめ ... 35 謝辞 ... 37 研究業績 ... 37 参考文献 ... 38
1
第 1章 は じ め に
1.1 研 究 の 背 景 ・ 目 的 コ ン ピ ュ ー タ の 高 性 能 化 や イ ン タ ー ネ ッ ト の 高 速 化 に よ り ， 容 易 に 画 像 や 動 画 な ど 高 度 な マ ル チ メ デ ィ ア を 扱 う こ と が 可 能 と な っ た ． ま た 近 年 ， ス マ ー ト フ ォ ン や タ ブ レ ッ ト 型 端 末 な ど の 小 型 の 端 末 に お い て も 高 性 能 化 が 進 み ， パ ー ソ ナ ル コ ン ピ ュ ー タ に 匹 敵 す る よ う な 処 理 が 行 わ れ る よ う に な っ た ． 大 学 教 育 に お い て も 時 間 や 空 間 の 制 約 を 超 え て 学 習 機 会 を 提 供 し た り ， 学 習 の 質 を 向 上 さ せ た り す る こ と を 目 的 と し て こ う し た 技 術 の 導 入 が 進 め ら れ て い る[1]．この ような 状況 の 下 ，2001 年 にマ サチ ュ ーセッ ツ工 科大学 によ ってコ ンセ プトが 発表 された OCW （Open CourseWare）は，高等教 育機 関に お け るシ ラバ スや講 義ノ ート ，スケ ジ ュ ー ル に 加 え ， 演 習 問 題 や 試 験 問 題 ， 講 義 映 像 等 の 情 報 を 公 開 す る 取 り 組 み と し て 発 展 を 続 け て い る[2]．ま た，2010 年代 に 大規 模オ ンラ イ ン教 育 プラ ット フォ ー ム と し て 著 し い 発 展 を 見 せ て い る MOOC（ Massive Open Online Course） の 典 型 的 な コ ー ス で は ，10～15 分に 分割 された 動画講 義に 加えて ，モ チベー ショ ン の 維 持 に つ な が る 受 講 者 コ ミ ュ ニ テ ィ や ， 達 成 度 を 高 め る た め の オ ン ラ イ ン テ ス ト な ど を 加 え た 総 合 的 な 学 び が 可 能 と な っ て い る[3]． そ う し た 中 ， 講 義 の 予 習 ・ 復 習 な ど へ の 利 用 を 狙 い と し て ， 北 陸 先 端 科 学 技 術 大 学 院 大 学 （ 以 下 ，JAIST）で は 2006 年度 より情 報科 学研究 科に おいて 講義 ア ー カ イ ブ シ ス テ ム が 導 入 さ れ[4]， 学 生 に 広 く 利 用 さ れ て い る ． な お 本 研 究 で は ， 講 義 室 で 行 わ れ る 対 面 講 義 の 映 像 ・ 音 声 を デ ジ タ ル デ ー タ と し て 収 録 し ， 体 系 的 に 管 理 ・ 配 信 す る も の を 講 義 ア ー カ イ ブ と 呼 ぶ ． 本 学 に お い て は ， 収 録 さ れ た 講 義 が 学 内 ネ ッ ト ワ ー ク で 配 信 さ れ ，Web ブラ ウザ上 で利 用でき るサ ービス とし て 提 供 さ れ て い る ． JAIST の講義 は一 般的 な前・ 後期 制では なく クォー ター 制とな って おり ，2 ヶ 月 15 コマ の短期 間で の理解 を要 する ． その 際の学 業成 績につ いて も 原則 的に は テ ス ト に よ る 格 別 厳 し い 採 点 方 法 が 採 用 さ れ て い る ． ま た ， 今 後 ， 他 大 学 の 修 士 課 程 の 講 義 に お い て も ， 教 育 の 改 革 に よ り 同 様 に 厳 し い 採 点 水 準 の 導 入 が 予 想 さ れ る ．文 部 科 学 省 は 大 学 院 教 育 に つ い て ，「 教 育 課 程 を 実 施 す る「 ス ク ー ル 」と し て の 視 点 が 弱 く ， 教 員 の 研 究 に 過 度 に 依 存 し て き た 」 と 指 摘 し て お り ， 大 学 院 教 育 の 実 質 化 を 目 的 と す る 改 革 を 推 し 進 め て い る[5]．こ のよう な背 景 から ，大 学院 の 講 義 に お い て 十 分 な 理 解 が 不 可 欠 と な っ て い る ． 高 等 教 育 機 関 に お け る 講 義 ア ー カ イ ブ に よ る 学 習 効 果 は ， 参 加 で き な か っ た 講 義 を 復 習 で き る[1]， 柔 軟 な 学 習 機 会 を 提 供 す る [2]， 個 々 の 学 習 者 の レ ベ ル や 要 求 に あ っ た 学 習 が 行 え る[3]，等 の観 点か ら，多くの 研究 で実証 され ている ．一般 に ， 講 義 中 の ホ ワ イ ト ボ ー ド の 内 容 や 講 師 の 説 明 を ノ ー ト に 書 き 写 す ノ ー ト テ イ2 キ ン グ は ， 講 義 理 解 の た め の 重 要 な 手 段 の 一 つ で あ る が ， 講 義 室 の 前 面 が 収 録 さ れ た 講 義 ア ー カ イ ブ で は ， 講 義 中 に 行 い き れ な か っ た ノ ー ト テ イ キ ン グ を 補 完 す る 観 点 か ら も 重 要 な 役 割 を 果 た す ． し か し な が ら 一 方 で ， 複 数 の 対 面 講 義 を 大 規 模 に 収 録 す る シ ス テ ム で は 講 義 毎 の 最 適 化 が 難 し く ， 必 ず し も 良 好 な 講 義 ア ー カ イ ブ が 収 録 で き る と は 限 ら な い と い う 課 題 も あ る[6] 本 研 究 の 目 的 は ， 講 義 ア ー カ イ ブ シ ス テ ム に お け る ホ ワ イ ト ボ ー ド 領 域 の 視 認 性 の 改 善 で あ る ． こ れ に よ り ， 視 聴 す る 学 生 の 学 習 の 効 率 向 上 や ノ ー ト テ イ ク 容 易 化 が 期 待 さ れ る ． 本 手 法 で は ， 講 義 ア ー カ イ ブ シ ス テ ム に よ っ て 自 動 的 に 生 成 さ れ た 動 画 に 対 し て ， 画 像 処 理 に よ る 鮮 明 化 を 図 る ． 利 用 す る 画 像 処 理 技 術 と し て は ， 複 数 フ レ ー ム を 利 用 し た 超 解 像 の 処 理 を 採 用 し ， そ の 適 用 を 試 み る が ， 超 超 解 像 度 処 理 は 一 般 的 に 長 い 時 間 が か か る た め ， ホ ワ イ ト ボ ー ド に 何 も 書 か れ て い な か っ た り ， 講 師 が 障 害 と な っ て ホ ワ イ ト ボ ー ド そ の も の を 読 み 取 れ な か っ た り な ど と い っ た ケ ー ス を 除 い て ， 超 解 像 度 の 適 用 に 適 し た 画 像 を 抽 出 す る こ と が 重 要 で あ る ．し た が っ て ，講 義 動 画 か ら 適 切 に デ ー タ の 抽 出 す る 方 法 を 検 討 す る ． 1.2 本 論 文 の 構 成 第 2 章 では 本手 法の対 象 とな る講 義アー カイ ブシス テム の概要 及び その問 題点 に つ い て 述 べ る ．第 3 章では 講義 動画や ホワ イトボ ード を対象 とし た 関連 研究 に お け る 取 り 組 み を 紹 介 す る ．第 4 章では 提案 手法に つい て概要 を述 べる ．第 5 章 で は ， 前 章 で 述 べ た 手 法 を 実 装 す る た め の シ ス テ ム の 設 計 に つ い て 述 べ る ． 第 6 章 で は 実 装 し た シ ス テ ム の 詳 細 に つ い て 述 べ る ．第 7 章では，実装 したシ ステ ム を 用 い た 評 価 実 験 の 概 要 及 び そ の 結 果 に つ い て 示 す ．第 8 章で は，本論文 のま と め と 今 後 の 課 題 を 述 べ る ．
3
第 2章 講 義 ア ー カ イ ブシ ス テ ム の 特 徴 と 課題
本 研 究 で は ，提 案 手 法 の 対 象 を JAIST の講 義アー カイ ブシス テム で撮影 され た 講 義 動 画 と す る ． 本 章 で は ， 本 学 の 講 義 ア ー カ イ ブ シ ス テ ム に つ い て 説 明 し ， そ の 特 徴 と 問 題 点 に つ い て 指 摘 す る ． 2.1 e ラ ー ニ ン グ イ ン タ ー ネ ッ ト 環 境 の 普 及 に 伴 い ，e ラー ニ ングが 急速 に注目 され ている ．e ラ ー ニ ン グ と は ，コ ン ピ ュ ー タ や ネ ッ ト ワ ー ク を 利 用 し た 教 育 を 行 う こ と を い う ． e ラーニ ングの 源流 と して CAI（computer-assisted instruction）が 挙げら れる ． CAI ではコンピ ュータ 用いた 個別 指導が 実現 され ， 日本 では特 に 1970 年代初 め に 盛 ん に 開 発 が 行 わ れ た ． さ ら に 1980 年 代 後半に は人 工知能 技術 を応用 して 個 人 の 能 力 に 応 じ た 学 習 支 援 を 提 供 す る こ と を 目 的 と し た ITS（Intelligent Tutoring System） に 注目が 集ま るよう にな った ． さら に，ネ ット ワーク の発 達 と 共 に ，e ラー ニン グ が主流 とな り，近 年で はネッ トワ ークの 高速 化 ，ハ ード ウ ェ ア の 高 性 能 化 に よ り ， 動 画 像 を 中 心 と し た コ ン テ ン ツ の 配 信 が 実 用 化 さ れ 始 め て い る ． 特 に ，WWW を利用 した e ラー ニン グの方 式で ある WBT（Web Based Training）が主 流と な ってい る [7]．また ，WBT 以外のネッ トワ ー クによ る遠 隔 学 習 と し て は ，携 帯 端 末 ，書 籍 を 電 子 デ ー タ 化 し た 電 子 ブ ッ ク（eBook），テレ ビ 会 議 シ ス テ ム ， 衛 星 通 信 ， 放 送 な ど が 想 定 さ れ る[8]． 2.2 講 義 ア ー カ イ ブ シ ス テ ム JAIST では，そう した e ラーニ ングの 一種 と して ，講義 アー カイ ブ システ ムが 2006 年度よ り情 報科 学研究 科の 講義に おい て導入 され ている ．講 義アー カイ ブシ ス テ ム で は ， ほ と ん ど の 対 面 講 義 の 動 画 を 講 義 動 画 と し て 収 録 し て い る ． 対 面 講 義 の 撮 影 か ら ， 動 画 の 圧 縮 ， シ ス テ ム に よ る 配 信 ま で 全 て 自 動 化 さ れ て お り ， 少 な い 労 力 で こ れ ら の 対 面 講 義 の 配 信 が 実 現 さ れ て い る ． 講 義 の 理 解 を 深 め る こ と を 目 的 と し て 運 用 さ れ て お り ， 講 義 の 振 り 返 り な ど に よ る 理 解 促 進 の た め 学 生 に 広 く 活 用 さ れ て い る ． ま た ， キ ャ ン パ ス ネ ッ ト ワ ー ク か ら ア ク セ ス す る こ と が で き ， 研 究 室 や 寄 宿 舎 な ど の 大 学 内 で 場 所 を 問 わ ず 利 用 す る こ と が で き る ． シ ス テ ム の 利 用 に は Web ブラウ ザを 使い ，ブ ラウザ 上で 講義の 動画 を再生 する こ と で 視 聴 を 行 う ．Web ブラウザ から ログ イ ンする と ，図 2.1 に 示 した よ うな画 面 が 表 示 さ れ る ． こ こ か ら 目 的 の 講 義 を 選 択 す る と ， 図 2.2 のよ う な再生 画面 が 表 示 さ れ る ． 再 生 プ レ イ ヤ ー に は ， シ ー ク バ ー や 一 時 停 止 機 能 な ど 基 本 的 な 動 画 プ レ イ ヤ ー と し て の 機 能 が 備 わ っ て お り ， 見 た い 部 分 の み を 見 た り ， 重 要 な 部 分 を 一 時 停 止 し て 確 認 し た り す る よ う な 動 作 も 可 能 と な っ て い る ．4 図 2.1: 講義 ア ー カイブ シ ス テ ム [9] 図 2.2: 講義 ア ー カイブ シ ス テ ム の再 生 画 面 [9] 図 2.3 に 本学に おけ る 講義ア ーカ イブシ ステ ム の構 成を 示す [10]． 収録対 象の 講 義 室 に は ， ア ー カ イ ブ 収 録 サ ブ シ ス テ ム と し て ， フ ル HD 対応ビ デオカ メラ で あ る Panasonic AW-HE70HW9 が天 井に設 置 されて いる ．一 方 ，エ ンコー ド装 置 と し て は ， フ ル HD 品 質のエ ンコ ードが 可能 な Photron PowerRec SS が 導入 さ れ て い る ．全 て の エ ン コ ー ド 機 器 は サ ー バ 室 に 集 約 さ れ て お り ，各 講 義 室 の 映 像・ 音 声 は PC 画面と ミキ シング を行 って講 義室 とサー バ室 の間を 接続 する光 ファ イ バ で 転 送 し ， マ ト リ ッ ク ス ス イ ッ チ ャ に 収 容 さ れ る 構 成 と な っ て い る ．
5 図 2.3: JAIST 講 義 アー カ イ ブ シ ステ ム の 構成 図 [10] 一 方 で ，長 谷 川 ら（2010）は ，従 来のシ ステ ムに対 して ，ホ ワイト ボード の内 容 を 読 み 取 る こ と が 難 し い と い う 課 題 を 挙 げ て い る[4]． この課 題に 対して ，HD 画 質 の カ メ ラ を 導 入 す る こ と で 対 応 を 試 み て い る ．一 定 の 改 善 が み ら れ る も の の ， ホ ワ イ ト バ ラ ン ス 設 定 が 崩 れ る な ど 画 質 に 対 す る 問 題 が 残 る ． 2.3 学 生 に よ る 評 価 シ ス テ ム に 対 す る 学 生 の 評 価 を 調 査 す る た め に ア ン ケ ー ト 調 査 が 行 わ れ て い る ． 全 部 で 15 問 の設 問が あり ， 回答は 0 から 5 までの 6 段 階評価 とな ってお り ，0 は「 利 用 し な か っ た 」，1 は「あ ては まらな い」，2 は，「あ まりあ ては まらな い」， 3 は「ど ちら とも いえ ない」，4 は「や やあ て はまる 」，5 は「 あて は まる 」と され て い る[11]． 図 2.4 は ，2013 年 度か ら 2015 年度ま での ア ンケー ト結 果であ る ．15 問の回答 項 目 の う ち ，視 認 性 に 関 す る 4 問 を抜粋 した ．回 答項 目の中 で「ホ ワイト ボー ド の 読 み や す さ 」が 他 の 項 目 に 比 べ て 低 く ，平 均 で 2 ポイ ント以 下に 留まっ てい る ． 学 生 が シ ス テ ム を 利 用 す る 中 で ， ホ ワ イ ト ボ ー ド の 視 認 性 が 課 題 と な っ て い る こ と が 分 か る ．
6 ホ ワ イ ト ボ ー ド に 書 か れ た 内 容 は ， 講 義 中 に 講 師 が 示 す 重 要 点 を 表 し て お り ， 講 義 の 内 容 に 密 接 に 関 連 す る た め ， 講 義 の 理 解 に 欠 か せ な い ． そ の た め ， ホ ワ イ ト ボ ー ド 領 域 の 視 認 性 向 上 は ， 非 常 に 重 要 な 課 題 で あ る と い え る ． 図 2.4: 学生 ア ン ケート の 結 果 （ 一部 ） [11] 2.4 課 題 「 ホ ワ イ ト ボ ー ド の 読 み や す さ 」 が 低 い 原 因 は 通 常 講 義 が 行 わ れ る 講 義 室 の 後 方 天 井 に 設 置 さ れ た 1 台のカ メラ で収録 され ている こと により ，講 義室の 照明 環 境 が 適 切 で な い 点 や ， 動 画 変 換 時 の 圧 縮 に よ る 劣 化 ， な ど 数 多 く 考 え ら れ る が ， 本 研 究 で は 以 下 の 要 素 に 着 目 す る ． 解 像 度 2.4.1 現 在 ，講 義 ア ー カ イ ブ シ ス テ ム の 講 義 動 画 は ，HD 画質（1080p）及 び SD 画 質 （480p）で配信 され て いる ．しか し，図 2.5 に示す よう に，ホワイ トボー ドが 全 て 含 ま れ る よ う に 収 録 す る と ， 講 義 室 の 条 件 に も よ る が ， ホ ワ イ ト ボ ー ド の サ イ ズ は 講 義 動 画 の 約 1/3 の領域 に留 まる ． その ため， 講義 動画は HD 画質で 提供 さ れ て い る に も 関 わ ら ず ， ホ ワ イ ト ボ ー ド の 読 み 取 り に は 解 像 度 が 不 足 す る と い っ た 課 題 が あ る ． 3.2 3.9 1.7 3.8 3.2 4.3 1.4 3 3.4 3.9 1.4 2.7 0 1 2 3 4 5 講師の映像は鮮明だった 講師の音声は聞き取りやすかった ホワイトボードの内容は 読み取りやすかった スライドの内容は読み取りやすかった 回 答 項 目 （ 抜 粋 ） 2010年度 2012年度 2013年度
7 図 2.5: 再生 画 面 の例 [9] な お ，JAIST の 東京サ テライ トの 講義動 画で はホワ イト ボード 領域 の切り 出し 機 能 が 導 入 さ れ て い る ． こ の 切 り 出 し 機 能 は ， ホ ワ イ ト ボ ー ド の 領 域 を 画 像 処 理 に よ っ て 抽 出 し ，5 分 おきに チャ プター 付与 を行い ，そ の中で 最も ホワイ トボ ー ド の 情 報 量 が 多 い 場 面 を 画 像 と し て 表 示 し て い る ． ホ ワ イ ト ボ ー ド の 視 認 性 の 改 善 と 動 画 配 信 の 低 ビ ッ ト レ ー ト 化 を 目 的 と し た 機 能 で ， 解 像 度 は 不 変 だ が ホ ワ イ ト ボ ー ド 部 分 の み が 切 り 出 さ れ て 見 や す く な っ て お り 一 定 の 改 善 が 見 ら れ る ． 図 2.6: 再生 画 面 の例（ JAIST 東 京 サ テ ライ ト ） [9] ビ デ オ カ メ ラ の 設 置 場 所 2.4.2 講 義 室 に 設 置 さ れ た カ メ ラ は ， 講 義 室 の 後 方 天 井 に 固 定 さ れ て い る が ， 既 設 設 備 の 影 響 も あ り ， 必 ず し も 中 央 で あ る と は 限 ら な い ． こ の 方 式 で は 安 定 し た 映 像
8
が 撮 影 で き る 一 方 で ， ホ ワ イ ト ボ ー ド と 水 平 で な い 角 度 か ら の 撮 影 と な る こ と で 映 像 に 傾 き が 発 生 す る ． こ れ は ， 実 際 の 講 義 に お け る 受 講 者 よ り も 斜 め か ら の 構 図 と な り ， ホ ワ イ ト ボ ー ド に 書 か れ た 文 字 や 図 の 歪 み が 発 生 す る ．
9
第 3章 関 連 研 究
3.1 講 義 動 画 の コ ン テ ン ツ 化 近 年 の フ ル HD カメ ラ の普及 によ り ，対 面講 義を収 録す ること で ，受講者 の復 習 用 途 に 有 用 な 講 義 ア ー カ イ ブ の 生 成 が 可 能 で あ る と の 指 摘 が さ れ て い る[12]． ま た ， 講 義 ア ー カ イ ブ の 品 質 向 上 と 運 用 負 担 の 課 題 に 対 し て は ，PC を利 用する 講 義 に お い て 高 画 質 な ア ー カ イ ブ を 自 動 生 成 す る 試 み[13]や， 講師 領域を 抽出 し ， プ レ ゼ ン テ ー シ ョ ン 資 料 と 合 成 し て 表 示 す る ア プ ロ ー チ[14]，講 師 の映像 ・音 声 情 報 だ け で な く ， 講 義 中 の 板 書 を プ レ ゼ ン テ ー シ ョ ン と い っ た 複 数 の 情 報 を 組 み 合 わ せ た 講 義 ア ー カ イ ブ を 自 動 生 成 す る 講 義 室 設 備[15]，固定 HD 映像か ら講 師 を 追 従 す る 動 画 と 講 師 を 除 い た 板 書 静 止 画 を 自 動 生 成 す る 手 法[16]などと いっ た 自 動 化 を 中 心 と し た ア プ ロ ー チ が 提 案 さ れ て い る ． さ ら に ， 嶌 田 ら(2012)はビデ オカ メラで 撮影 した講 義動 画から ホワ イトボ ード 領 域 の 判 定 や 傾 き 補 正 に 加 え て ， ホ ワ イ ト ボ ー ド 中 の 文 章 量 が 多 い 部 分 を 抽 出 す る 手 法 を 提 案 し て い る[18]． また ，澤田 らは ，アー カイ ブ画面 上の オプテ ィ カ ル フ ロ ー が 最 大 値 を と る 座 標 を 取 得 す る こ と で 講 師 の 位 置 を 推 定 し ， そ の 周 辺 の ホ ワ イ ト ボ ー ド 画 像 を リ ッ ピ ン グ す る 手 法 を 提 案 し て い る[17]． 3.2 ホ ワ イ ト ボ ー ド へ の 超 解 像 処 理 の 適 用 Ni（2016）は，スマー トフォ ンの アプリ で撮 影され たホ ワイト ボー ドの動 画に 対 し て 超 解 像 処 理 を 適 用 す る こ と で 鮮 明 化 を 試 み た ． 遠 く か ら ス マ ー ト フ ォ ン で 撮 影 し た ホ ワ イ ト ボ ー ド の 画 像 が 不 鮮 明 で あ る と い う 課 題 に 対 し て ， 複 数 フ レ ー ム を 利 用 し た 超 解 像 処 理 を 用 い て い る ．画 像 処 理 ラ イ ブ ラ リ OpenCV によって提 供 さ れ る 超 解 像 処 理 ク ラ ス を 利 用 し て 解 像 度 を 高 め る こ と で 対 処 し て い る ． 図 3.1 に 示すよ うに ，処 理後の 画像 では鮮 明さ が改善 され ，視認 性の 一定の 改善 が 認 め ら れ る ． 超 解 像 処 理 を ホ ワ イ ト ボ ー ド に 対 し て 適 用 す る 試 み に 対 す る 有 効 性 が 示 さ れ た[19]．し か し，講 義ア ーカイ ブシ ステム に収 録され る講 義動画 はホ ワ イ ト ボ ー ド が 書 き 換 え ら れ る ， 講 師 が 映 り 込 む と い う よ う な 異 な る 条 件 が あ る ， そ の ま ま で は 適 用 す る こ と が で き な い ．10 図 3.1: 超解 像 処 理の適 用 前 ・ 適 用後 [19] 3.3 講 義 動 画 を 活 用 す る ア プ ロ ー チ 大 西 ら(2002)は ，カ メ ラワー クを 自動化 する ことで 板書 画像の 品質 を向上 させ る 手 法 を 提 案 し[20]， 市村ら (2006)は ，複 数 台のカ メラ を用い て板 書を保 存す る こ と で 解 像 度 を 向 上 さ せ る 手 法 を 提 案 し た[21]． さらに ，井 上ら (2012)は ，講 師 が カ メ ラ ワ ー ク を 行 え る 簡 易 な 操 作 パ ネ ル を 提 供 す る こ と で 板 書 品 質 を 向 上 さ せ よ う と し た[22]．矢 田 ら（ 2004）は ，2 台の カメラ およ びペン 位置 検出装 置を 用 い て 鮮 明 な 板 書 画 像 の 抽 出 を 実 現 し た[23]． 西原ら （2014）は， 講 師・資 料・ 生 徒 映 像 を 用 い る こ と で 双 方 向 の 遠 隔 教 育 を 実 現 し ， ア ー カ イ ブ に も 容 易 に 応 用 で き る ．し か し な が ら ，複 数 台 の カ メ ラ や 講 師 の タ ブ レ ッ ト の 設 置 が 必 要 で あ る[24]． 現 在 の JAIST で 導入 されて いる 講義ア ーカ イブシ ステ ムにこ れら の試み を適 用 す る た め に は ， 新 た な 機 材 の 導 入 が 必 要 と な る ほ か ， 収 録 か ら 配 信 ま で の 自 動 化 処 理 を 実 現 す る の が 困 難 で あ る ．
11
第 4章 提 案 手 法
本 研 究 の 目 的 は ，90 分 あるいは 100 分の 講義 動画か らな るべく 少な い枚数 で全 て の ホ ワ イ ト ボ ー ド に 書 か れ た 文 字 を 画 像 と し て 抽 出 し ， ソ フ ト ウ ェ ア 処 理 に よ っ て そ の 画 像 の 鮮 明 化 を 目 指 す こ と で あ る ． こ れ を 実 現 す る た め に 本 手 法 は ， 動 画 か ら の デ ー タ 抽 出 処 理 及 び 超 解 像 処 理 の 2 つの処 理か ら構成 され る．抽 出処 理 で は ， 講 義 ア ー カ イ ブ シ ス テ ム で 生 成 さ れ た 講 義 動 画 を 対 象 と し て ， ト リ ミ ン グ 処 理 な ど を 行 っ た 上 で 抽 出 タ イ ミ ン グ の 決 定 を 行 う ． 次 に ， 抽 出 さ れ た ホ ワ イ ト ボ ー ド 領 域 画 像 に 対 し て 超 解 像 処 理 を 適 用 す る こ と で 画 像 の 鮮 明 化 を 図 る ． 以 下 に 手 法 の 概 要 を 示 す ． 4.1 抽 出 処 理 本 手 法 で は ， 次 節 で 説 明 す る 画 像 処 理 を 適 用 し て 適 切 な 形 に 講 義 動 画 を 変 換 す る 工 程 が 不 可 欠 で あ る ．本 処 理 は 大 き く 分 け る と ，動 画 か ら 画 像 を 切 り 出 す 処 理 ， 画 像 か ら ホ ワ イ ト ボ ー ド 領 域 を 抽 出 す る 処 理 ， ホ ワ イ ト ボ ー ド の 領 域 の 情 報 量 を 求 め る 処 理 の 3 つ から なる ． この 手法の 概要 につい て本 節で説 明す る ． 動 画 か ら の 画 像 抽 出 4.1.1 JAIST の講義は 2016 年までは 90 分 ，2017 年からは 100 分の 講義 が行わ れて い る ． し か し な が ら ， 次 節 で 説 明 す る 超 解 像 度 の 処 理 は 解 像 度 や 動 画 の 長 さ に 応 じ て 一 定 の 処 理 時 間 を 要 す る た め ， 元 の 講 義 動 画 に そ の ま ま 適 用 す る こ と は 難 し い ． ま た ， ホ ワ イ ト ボ ー ド が 書 き 換 え ら れ る タ イ ミ ン グ は 限 ら れ て お り ， 常 に 書 き 換 わ り 続 け る 訳 で は な い ． し た が っ て ， ホ ワ イ ト ボ ー ド 領 域 の 書 き 換 わ る タ イ ミ ン グ で 抽 出 す る こ と が 必 要 と な る ． ま た ， こ れ に よ り 講 義 ア ー カ イ ブ シ ス テ ム に よ る 学 習 者 が 必 要 と す る タ イ ミ ン グ の ホ ワ イ ト ボ ー ド 情 報 の 抽 出 が 可 能 と な る ． ホ ワ イ ト ボ ー ド 領 域 抽 出 4.1.2 講 師 領 域 が ホ ワ イ ト ボ ー ド の 前 面 に 重 な っ て い る フ レ ー ム で は ， ホ ワ イ ト ボ ー ド 内 の 板 書 の 内 容 を 読 み 取 る こ と が 難 し い ． そ こ で ， 本 手 法 で は ， ホ ワ イ ト ボ ー ド 領 域 全 面 を 対 象 と す る の で は な く ， ホ ワ イ ト ボ ー ド 領 域 を 半 分 に 分 割 し ， 講 師 が 左 右 ど ち ら か に い る と き ， 反 対 側 の 領 域 の み を 採 用 し ， 講 師 が 中 央 に い る と き は 採 用 し な い と い う ア ル ゴ リ ズ ム で 処 理 を 行 う ． 情 報 量 抽 出 4.1.3 こ れ ら の 処 理 に よ っ て 得 ら れ た 画 像 に 対 し て 二 値 化 し た 後 に 黒 く な っ て い る 領 域 を カ ウ ン ト す る こ と で ， ホ ワ イ ト ボ ー ド 領 域 に お い て 板 書 の 書 か れ て い る 量 を12 求 め る こ と が で き る ． 以 上 の 処 理 を 講 義 動 画 に 対 し て 適 用 す る こ と に よ り ， 次 節 の 超 解 像 処 理 を 適 用 す る タ イ ミ ン グ を 特 定 す る ． 4.2 超 解 像 処 理 本 研 究 で 対 象 と す る の は 講 義 動 画 で あ る た め ， 複 数 の フ レ ー ム 情 報 を 用 意 す る こ と が 容 易 で あ る ． そ こ で ， 本 手 法 で は 複 数 フ レ ー ム に よ る 超 解 像 技 術 を 利 用 し た 精 細 化 を 目 指 す ． 図 4.1 は ，ある 講義 動 画の 2 つの フレー ムの 差分で ある ．講師 や学 生 ，ス ライ ド な ど 変 化 し た 部 分 の み な ら ず ， 実 際 に は 変 化 し て い な い ホ ワ イ ト ボ ー ド の 文 字 に も 微 細 な 変 化 が 見 ら れ る ． こ の 複 数 の フ レ ー ム に 含 ま れ る 微 妙 な 情 報 を 組 み 合 わ せ る こ と に よ り ， ホ ワ イ ト ボ ー ド 領 域 の 超 解 像 化 が 実 現 さ れ る と 考 え ら れ る ． 図 4.1: 講義 動 画 のフレ ー ム 間 差 分 な お ， 超 解 像 処 理 の 他 に ， 画 像 の 鮮 明 化 手 法 と し て デ ィ ー プ ラ ー ニ ン グ に よ る も の が 考 え ら れ る ． 二 次 元 画 像 の 拡 大 手 法 と し て Chao ら（2014）が提案 した 畳 み 込 み ニ ュ ー ラ ル ネ ッ ト を 利 用 し た 手 法[25]を利用 した waifu2x[26]があ る． 本 手 法 は CNN への入力 として 低画 質化し た画 像を ， 出力 として オリ ジナル の画 像 を 適 用 す る こ と で ， 画 像 の シ ャ ー プ ネ ス の 向 上 や ノ イ ズ リ ダ ク シ ョ ン な ど の 補 正 ル ー ル を 学 習 す る こ と が で き る ． し か し ， 図 4.2 の ように ，元 々ぼ やけた 画像 の
13 た め ， １ 枚 の 画 像 か ら 拡 大 に よ っ て 情 報 を 復 元 す る こ と は 難 し い ． ま た ， 鮮 明 な 文 字 や 異 な る 環 境 条 件 の 画 像 な ど ， 多 数 の 学 習 デ ー タ を 用 意 す る こ と が 容 易 で は な い ． そ の た め ， 複 数 フ レ ー ム を 用 い た 超 解 像 技 術 に よ り ， 失 わ れ た 部 分 を 複 数 フ レ ー ム に 含 ま れ る 情 報 を 元 に 補 間 す る こ と が よ り 適 当 で あ る と 考 え る ． 図 4.2: waifu2x の 適用例
14
第 5章 シ ス テ ム の 設 計
本 章 で は ， 前 章 で 述 べ た 提 案 手 法 を 実 現 す る 仕 組 み や ア ル ゴ リ ズ ム に つ い て 説 明 す る ．
な お ， 次 章 で 説 明 す る シ ス テ ム の 実 装 に お い て は ， コ ン ピ ュ ー タ ビ ジ ョ ン ラ イ ブ ラ リ OpenCV 3 系 統 [27] を 用 い て 開 発 を 行 っ た ． OpenCV （ Open Source Computer Vision Library）と は， オ ープ ン ソー スの コン ピュ ータ ビジ ョン 向け ラ イ ブ ラ リ で あ る ．Intel によ って開 発・ 公 開され ，現 在 は WiitowGarage が 開 発 を 行 っ て い る ．OpenCV は，コンピ ュータ ビ ジョン や機 械学習 につ いての 2500 以 上 も の ア ル ゴ リ ズ ム を 有 し て い る ．そ の た め ，OpenCV が持つ様 々な関 数を 利 用 す る こ と に よ っ て ， 画 像 処 理 や ユ ー ザ イ ン タ ー フ ェ イ ス な ど の 機 能 を 容 易 に プ ロ グ ラ ム に 組 み 込 む こ と が で き る ． 5.1 抽 出 処 理 の 構 成 講 義 動 画 に 対 し て 適 用 す る 抽 出 処 理 の 主 な 処 理 は ， 以 下 の 流 れ で 構 成 さ れ る ． 図 5.1: 抽出 処 理 の流れ 動 画 か ら 画 像 抽 出 講 師 領 域 の 検 出 講 師 領 域 の 位 置 判 定 2 値 化 ・ ト リ ミ ン グ 黒 部 分 の 量 の 測 定 文 字 量 の 変 化 の 出 力
15 図 5.1 の処 理を 繰り返 すこと によ り ，動 画全 体での ホワ イトボ ード の情報 量の 変 化 を 判 定 し ，超 解 像 処 理 を 適 用 す べ き タ イ ミ ン グ を 求 め る こ と が で き る ．ま た ， こ の 途 中 の 処 理 を 通 じ て ， ホ ワ イ ト ボ ー ド 領 域 の み を 抽 出 し た 超 解 像 処 理 に 適 す る 画 像 が 得 ら れ る ． 5.2 複 数 フ レ ー ム 超 解 像 処 理 動 画 デ ー タ は ， 同 じ 被 写 体 で も フ レ ー ム ご と に 微 妙 に 異 な る 情 報 を 持 つ ． あ る フ レ ー ム に は 含 ま れ て い な い 情 報 が 他 の フ レ ー ム に は 含 ま れ て い る 可 能 性 が あ る ． そ こ で ， サ ン プ リ ン グ に よ っ て 失 わ れ た 情 報 を 他 の フ レ ー ム か ら 探 し だ し て 利 用 す る ． こ れ ら の 処 理 に よ り ， 次 図 に 示 す よ う に ， 失 わ れ た 情 報 の 復 元 が 可 能 と な る ． 図 5.2: 被写 体 情 報の復 元 の 仕 組 み [28] 前 章 で 示 し た よ う に ， 講 義 動 画 の フ レ ー ム 間 に も 異 な る 情 報 が 含 ま れ て お り ， こ の 処 理 を 適 用 す る こ と に よ り ， 画 像 の 鮮 明 化 が 実 現 さ れ る と 考 え ら れ る ． 本 手 法 で は ，OpenCV が持 つ SuperResolution クラスを 用い ること で ，超解像 の適 用 を 試 み る ． Mitzel ら（2009）は，従来の 超解 像手法 では その対 象が ，滑 らか な 動きや 事前 に 推 定 可 能 な 動 き の み で 構 成 さ れ る 動 画 ， ノ イ ズ の 無 い 動 画 な ど に 限 ら れ る と い う 問 題 点 を 挙 げ て い る ． そ こ で ， カ メ ラ の 動 き に 制 約 が 無 く ， か つ そ の 動 き を 事 前 に 仮 定 す る こ と 無 し に 実 現 す る 手 法 と し て TV‐L1 オプ ティカ ル フロー によ る
16 超 解 像 技 術 を 提 案 し て い る[29]．OpenCV の超解像 処理 では ， この 手法を ノイ ズ に 対 し て ロ バ ス ト 化[30]し たもの が実 装さ れ ている ． な お ，Ni（2016）は，OpenCV の超解像モ ジ ュール は十 分な文 書化 がされ てい な い こ と を 指 摘 し て い る[19]．そ の利 用に あた って ，十 分な 理解 のた めに OpenCV の ソ ー ス コ ー ド を 参 照 す る 必 要 が あ る ． OpenCV の 超 解 像 モ ジ ュ ー ル の ソ ー ス フ ァ イ ル は 次 の 様 な 構 成 と な っ て い る ． btv_l1.cpp btv_l1_cuda.cpp input_array_utility.cpp optical_flow.cpp super_resolution.cpp 図 5.3: OpenCV の超 解像 モ ジ ュ ー ルの ソ ー スフ ァ イ ル [27] こ の う ち ，btv_l1.cpp におい て具 体的な 超解 像の処 理が 行われ てい る ．そ の部 分 に つ い て 以 下 に 抜 粋 す る ．
for (int i = 0; i < iterations_; ++i) {
diffTerm_.setTo(Scalar::all(0));
for (size_t k = 0; k < src.size(); ++k) {
// a = M * Ih
remap(highRes_, a_, backwardMaps_[k], noArray(), INTER_NEAREST); // b = HM * Ih
GaussianBlur(a_, b_, Size(blurKernelSize_, blurKernelSize_), blurSigma_);
// c = DHM * Ih
resize(b_, c_, lowResSize, 0, 0, INTER_NEAREST);
diffSign(src[k], c_, c_);
// a = Dt * diff
upscale(c_, a_, scale_); // b = HtDt * diff
17
GaussianBlur(a_, b_, Size(blurKernelSize_, blurKernelSize_), blurSigma_);
// a = MtHtDt * diff
remap(b_, a_, forwardMaps_[k], noArray(), INTER_NEAREST);
add(diffTerm_, a_, diffTerm_); }
if (lambda_ > 0) {
calcBtvRegularization(highRes_, regTerm_, btvKernelSize_, btvWeights_, ubtvWeights_);
addWeighted(diffTerm_, 1.0, regTerm_, -lambda_, 0.0, diffTerm_); }
addWeighted(highRes_, 1.0, diffTerm_, tau_, 0.0, highRes_); } 図 5.4: btv_l1.cpp の 一部 こ の ソ ー ス コ ー ド の 処 理 に は ， 次 式 の ア ル ゴ リ ズ ム の 処 理 が 対 応 し て 行 わ れ て い る ． 𝐼𝐻𝑛𝑒𝑤= 𝐼𝐻𝑜𝑙𝑑+ 𝜏 (∑ 𝑊𝑘𝑇 𝑁 𝑘=1 𝐵𝑘𝑇𝐷 𝑘𝑇(𝐷𝑘𝐵𝑘𝑊𝑘𝐼𝐻𝑜𝑙𝑑− 𝐼𝐿 (𝑘) ) − 𝜆∆𝐼𝐻𝑜𝑙𝑑) (5.1) 超 解 像 は ，画 像 生 成 プ ロ セ ス 𝐼𝐿 = 𝐷𝐵𝑊𝐼𝐻+ 𝑒を 推 測 す る こ と が 基 本 的 な 考 え 方 と
な っ て い る ．IL（Low-Resolution image）は 低解像 度画 像を示 し ，IHは 高 解 像 度 画 像 （High-Resolution image） を 示 す ． 高 解 像 度 画 像 に 対 し て ダ ウ ン サ ン プ リ ン グ（D: Downsampling），画 像の ぼけ（ B: Blurring），カメ ラの 動 きによ る位 置 ず れ （W: Warping） 及び ノイ ズ（ e: Noise）が 加わ るこ とで 画像 が生 成さ れる ． し た が っ て ， こ れ ら の 生 成 プ ロ セ ス を 求 め る こ と で ， 高 解 像 度 画 像 を 求 め る こ と が で き る ． こ の た め に ， 次 式 の よ う な エ ネ ル ギ ー 関 数 の 最 小 化 を 行 う ． 𝐸(𝐼𝐻) = ∑ ‖𝐷𝑘𝐵𝑘𝑊𝑘𝐼𝐻− 𝐼𝐿 (𝑘) ‖ 𝑁 𝑘=1 (5.2)
18 こ の 式 で は ，DBW 各 処理を 施し た高解 像度 画像と 実際 の低解 像度 画像の 違い が 無 い と き エ ネ ル ギ ー が 0 となる ． 低 解 像 度 画 像 の 生 成 プ ロ セ ス を 求 め る こ と は ， 逆 問 題 と な る ． そ こ で Mitzel ら（2009）は 高解像 度 画像の 推測 に ，エネ ル ギー関 数に 対応す るオ イラー ラグ ラ ン ジ ュ 方 程 式 を 適 用 し ， 最 急 降 下 法 で 解 く こ と に よ り ， こ の 関 数 の 最 小 化 を 試 み て い る ． ま た ， 適 用 の 際 に は ， 正 規 化 に よ る 局 所 変 動 の 抑 制 を 行 っ て い る ．
19
第 6章 シ ス テ ム の 実 装
6.1 開 発 ・ 実 行 環 境
本 シ ス テ ム の 開 発 及 び 実 験 に お い て は ，Apple 社の MacBook Air (11-inch, Mid 2013)を用い た． メモ リは 4GB で，CPU は Intel Core i5 4250U 1.3GHz が搭載 さ れ て お り ， プ ロ セ ッ サ に は Intel HD Graphics 5000 が内蔵 され ている ．プ ロ グ ラ ム の 作 成 は ，Microsoft Visual Studio Express 2013 を使用 し， C++言 語で 行 っ た ． 後 述 す る UMat の処 理では ，Xcode 8.2.1 を使 用し た． ま た，利 用す る OpenCV のバージョ ン は ，本プ ログラ ムの 作 成時に おけ る最新 バー ジョン であ っ た 3.1.0 とし た． 本 章 で は ，OpenCV の関数に よっ てプロ グラ ムに実 装し た処理 につ いて説 明す る ．な お ，OpenCV の関 数の説 明に ついて は ，作成に 使用 した上 記バ ージョン 3.1.0 の 仕 様 に 基 づ い て 記 述 す る ． OpenCV では，通常 Mat と呼 ばれる デー タ構 造を用 いて 画 像 を 扱 う ． し か し ， 超 解 像 処 理 の 実 行 に あ た っ て は ，Mat で はな く OpenCV 3.0 か ら追 加され た UMat と 呼 ば れ る デ ー タ 構 造 を 用 い て 行 っ た ．UMat を使う こと で， OpenCL を用いる こ と が 可 能 と な る ．OpenCL（Open Computing Language）は，ク ロスプ ラッ ト フ ォ ー ム で 実 行 可 能 な ロ イ ヤ リ テ ィ フ リ ー の オ ー プ ン 規 格 で あ る ．特 に ，GPGPU （ 非 画 像 処 理 演 算 ）用 のGPU への アク セス をアプ リケ ーショ ンに 提供し てい る ． こ れ を 用 い て GPU による処 理を 行うこ とで ，次図 のよ うな大 幅な 高速化 が期 待 さ れ る ．
20
UMat を用い たコ ード が実行 され た場合 ，自 動的に OpenCL が使 え る環境 かど う か が チ ェ ッ ク さ れ ，使 え る 環 境 で は OpenCL が用いら れ，そう で ない場 合は従 来 通 り の Mat が 用いら れる [31]．した がっ て ，従来の コー ドを ほと んど書 き換 え る こ と な く CPU と GPU のどちら でも動 作し ，GPU による 高速 化 の実現 が期 待 さ れ る ．
そ こ で 以 下 に ，OS X El Capitan 及び Bootcamp 環境で実行 された Windows10 Pro の両方 で実 行した 結果に つい て比較 して 示す ． 実行 にあた って は ，講 義動 画 か ら 取 り 出 し た 画 像 に 対 し て ， ホ ワ イ ト ボ ー ド 領 域 を ト リ ミ ン グ し た 画 像 （ 幅 1135 ピク セル・ 幅 370）を 30 枚用 意し た． これを 繋げ ること で 30 フレーム /秒 の 無 圧 縮 AVI 形 式 で ， 1 秒 間 の 動 画 フ ァ イ ル を 作 成 し ， 超 解 像 処 理 を 適 用 し た ． 5.25.2 で 説明し た超 解 像処理 を実 現する SuperResolution ク ラス を 実行し た ． 表 6.1: 実行 環 境 による 処 理 時 間 OS デ ー タ 構 造 処 理 時 間 OS X Mat 40 秒 OS X UMat 20 秒 Windows10 (Bootcamp) Mat 60 秒 Windows10
(Bootcamp) UMat （Error）
表 6.1 に より ，Mac で の実行 では UMat の 使 用によ り高 速化さ れて いるの に対 し Bootcamp 環 境では 正しく 実行 されな いこ とが分 かる ．
し か し ，Windows 上 で これを 実行 すると き ，エラー が発 生し ，正 し く実行 され な い ケ ー ス が 見 ら れ た ． こ の 原 因 と し て ，Windows を Boot Camp と呼ば れる 機 能 を 用 い て イ ン ス ト ー ル し て い る こ と が 考 え ら れ る ．Boot Camp は Intel Mac に お い て Windows の 起 動を実 現す る機能 であ るが ，Apple の提 供す る Bootcamp ド ラ イ バ の 仕 様 に よ り ，GPU を正し く使 え ない可 能性 が考え られ る ．
し た が っ て ，本 研 究 で は 必 要 に 応 じ て Windows 10 Pro および OS X El Capitan を 使 い 分 け る こ と で 問 題 の 解 決 を 図 っ た ． 特 に ， 超 解 像 処 理 に は マ シ ン に 負 荷 が か か り ， ま た パ ラ メ ー タ や 対 象 の 動 画 の 条 件 に よ っ て は ， 極 め て 長 時 間 の 処 理 時 間 を 要 す る た め ，シ ス テ ム の 実 現 に は UMat を使用 する ことに よる OpenCL の実
21 行 が 不 可 欠 で あ る ． し た が っ て ， 将 来 的 に 本 手 法 に よ る シ ス テ ム の 実 現 に は ， OpenCL の実行が 問題 なく行 うこ とがで きる かどう かの 検証が 不可 欠であ ると 考 え る ． 以 上 の 結 果 に よ り ， 本 論 文 の 開 発 及 び 実 験 に お い て は ， 特 記 無 き 場 合 ， SuperResolution ク ラ スを使 用し ている 部分 につい ては ，Mac OS X で実行し ， そ れ 以 外 の 部 分 に つ い て は 原 則 と し て Bootcamp 上の Windows 10 Pro で実行 し て い る も の と す る ． 6.2 抽 出 処 理 動 画 か ら 画 像 を 抽 出 6.2.1 講 義 動 画 か ら 一 定 間 隔 で 画 像 を 抽 出 す る こ と に よ り ， 図 6.2 のよう な画像 が一 定 間 隔 お き に 出 力 さ れ る ． 本 手 法 で は ペ ン の 追 跡 等 を 行 わ ず フ レ ー ム 単 位 や 秒 単 位 で の 変 化 が そ れ ほ ど 重 要 で は な い た め ， 今 回 は 1 分間 隔とし た ．なお ，今 回の シ ス テ ム で は デ バ ッ グ や 実 験 中 の 観 察 の た め SSD に一 旦 PNG フ ァ イルと して 書 き 出 し て い る ． し た が っ て ， こ の 書 き 出 し 処 理 が 無 い 場 合 ， 処 理 が 高 速 化 さ れ る こ と が 考 え ら れ る ． 図 6.2: 抽出 さ れ る画像 の 例 講 師 領 域 の 検 出 6.2.2 ホ ワ イ ト ボ ー ド 領 域 の 抽 出 に あ た り ， 講 師 が ホ ワ イ ト ボ ー ド の 前 に 立 っ て い る 際 に は ，書 か れ て い る 文 字 が 隠 れ て し ま い 抽 出 す る こ と が で き な い ．し た が っ て ， 領 域 に 講 師 が い な い タ イ ミ ン グ で 抽 出 す る 必 要 が あ る ． そ の た め 本 節 で は ， 講 師 領 域 の 検 出 に つ い て 説 明 す る ．な お ，鷹 野 ら（2002）は特 定の 高さ の横方 向の 情 報 を 利 用 し た 手 法 に よ り 実 現 し た[32]が ， 本 手 法 で は 情 報 量 の 正 確 な 観 測 の た め
22
特 定 の 高 さ に よ ら な い 検 出 を 必 要 と す る こ と か ら 採 用 し な か っ た ．
今 回 の 抽 出 で は ，HOG 特徴量 を採 用す る ．HOG 特 徴量は Dalal（ 2005）に よ り 提 案 さ れ た 検 出 手 法 で あ り ， 画 像 の 輝 度 の 勾 配 情 報 を 学 習 デ ー タ と し て 用 い る こ と で ， 人 物 検 出 を 実 現 し た[33]． 図 6.3: 人物 画 像 の勾配 情 報 の 例 [33] 上 図 の よ う に ， 画 像 か ら 輝 度 の 勾 配 方 向 及 び 勾 配 強 度 が 得 ら れ る ． こ れ ら の ヒ ス ト グ ラ ム を 作 成 し ， 学 習 デ ー タ と し て 用 い る こ と で HOG 特徴 量 として いる ． 本 手 法 で は ，OpenCV に付属 して いる人 の HOG 特 徴量デ ータ を用 いて検 出を 行 っ た ． 講 義 動 画 に お け る い く つ か の 場 面 で 検 出 を 行 っ た と こ ろ 次 の よ う な 結 果 が 得 ら れ た ． 図 6.4: HOG 特 徴 量 によ る 講 師 の 検出 （ 失 敗）
23 こ の 図 で は ， 講 師 が 検 出 さ れ て い る も の の ， 内 側 に も う 一 人 が 誤 検 出 さ れ て い る ． 前 述 の 通 り HOG 特徴量 によ る検出 では 一定範 囲毎 の輝度 情報 を元に して い る こ と か ら ， そ の 範 囲 に 対 し て 極 端 に 大 き な 講 師 領 域 は 正 し く 検 出 が 出 来 な い と 考 え ら れ る ．し た が っ て ，対 象 の 画 像 が フ ル HD（1920×1080）で あった とこ ろ を 1/4 に縮 小した 画像 を用い て検 出を試 みた ．その 結果 ，次の よう に正常 に講 師 領 域 が 抽 出 で き た ． 図 6.5: HOG 特 徴 量 によ る 講 師 の 検出 （ 成 功） 講 師 領 域 の 位 置 判 定 6.2.3 前 節 で 抽 出 し た 講 師 位 置 に 対 し て ， 講 師 が い な い 領 域 を 抽 出 す る 必 要 が あ る ． 抽 出 処 理 で は 講 師 が い る 場 合 ， ホ ワ イ ト ボ ー ド 領 域 の 情 報 量 を 正 し く 求 め る こ と が で き な い ． ま た ， 超 解 像 処 理 で は 講 師 に ホ ワ イ ト ボ ー ド の 内 容 が 遮 ら れ て し ま う ． 本 手 法 で は ホ ワ イ ト ボ ー ド を 左 右 に 分 割 す る こ と で ， こ の 判 定 を 行 う ． 講 師 領 域 の 位 置 判 定 に つ い て は ， 左 右 及 び 中 央 ，検 出 無 し ， 複 数 人 物 が い る 場 合 の 5 つ の 場 合 が 考 え ら れ る ． 講 師 が 左 に い る と き は 右 ， 講 師 が 右 に い る と き は 左 の 領 域 を 抽 出 す る こ と で ， 講 師 が い な い ホ ワ イ ト ボ ー ド 領 域 の 画 像 を 抽 出 す る ． ま た ， 講 師 が ホ ワ イ ト ボ ー ド 領 域 に 存 在 し な い 場 合 は ， 左 右 両 方 の ホ ワ イ ト ボ ー ド 領 域 の 画 像 を 利 用 で き る ． し か し ， 中 央 に 及 び 複 数 人 物 が い る 場 合 は ， 本 手 法 で は 採 用 せ ず ， そ れ 以 外 の 画 像 の み に 対 し て 次 節 以 降 の 処 理 を 適 用 す る ．
24 図 6.6: 講師 の 位 置判定 前 節 で 講 師 領 域 の 座 標 が 得 ら れ る た め ，X 座 標を利 用し て ，講 師が どの位 置に い る か を 判 定 す る ． 上 図 で は 左 側 の 領 域 に 講 師 が い る た め ， 右 側 の 領 域 の み を 抽 出 す る ． ホ ワ イ ト ボ ー ド の 2 値 化 6.2.4 本 処 理 で は 最 終 的 に ホ ワ イ ト ボ ー ド に 書 か れ て い る 文 字 や 図 の 量 を 求 め る が ， カ ラ ー 画 像 の ま ま で は 書 か れ た 内 容 の 量 を 抽 出 す る こ と が 難 し い ． そ こ で ， ホ ワ イ ト ボ ー ド 領 域 の 二 値 化 を 行 い ， 白 と 黒 の う ち 黒 い 領 域 の 量 を 計 る こ と で 処 理 を 行 う ． 二 値 化 を 行 う に は ， グ レ ー ス ケ ー ル 化 し た 画 像 に 対 し て 閾 値 を 決 定 し な け れ ば な ら な い ． し か し ， 講 義 室 は ， 撮 影 条 件 や 照 明 ， 時 間 帯 な ど 様 々 な 要 因 に よ り ， 明 る さ が 一 定 で は な い ． し た が っ て ， ト リ ミ ン グ 処 理 の 座 標 な ど と は 異 な り ， 予 め 二 値 化 の 閾 値 を 設 定 す る こ と が 難 し い ． そ こ で ， 自 動 的 に 閾 値 を 決 め る 二 値 化 手 法 を 試 み た ． OpenCV に含ま れる二 値化の 閾値 を求め る手 法とし て ，「 大 津 の ア ル ゴ リ ズ ム 」 及 び 「 適 応 的 な 閾 値 処 理 」 が あ る ． し た が っ て ， 自 動 的 に 閾 値 を 決 め る 手 法 と し て ， こ の 2 つの手 法に ついて 検討 を行っ た ． 始 め に ， 大 津 の ア ル ゴ リ ズ ム と 呼 ば れ る 手 法 を 用 い た 二 値 化 を 行 っ た ． 大 津 （1980）は ，クラ ス分 離度を 最大 とする 判別 基準を 用い た自動 閾値 選定法 を提 案 し た[34]．大 津 の ア ル ゴ リ ズム で は ， 画 素 値 （0-255） の ヒ ス ト グ ラ ム を作 成 し， 最 も 分 離 度 が 高 く な る 値 を 閾 値 と す る 手 法 で あ る ． し か し ， 大 津 の ア ル ゴ リ ズ ム を ホ ワ イ ト ボ ー ド 画 像 に 適 用 し た と こ ろ ， 次 図 の
25 よ う に 黒 く 潰 れ て し ま う 部 分 が 発 生 し ， 上 手 く 適 用 出 来 な い こ と が 分 か っ た ． 大 津 の ア ル ゴ リ ズ ム は ， 明 る さ に 大 き な 差 が あ る よ う な ホ ワ イ ト ボ ー ド 全 体 の 二 値 化 に は 適 さ な い と 考 え ら れ る ． 図 6.7: 二値 化 の 結果（ 大 津 の ア ルゴ リ ズ ム） 次 に 適 応 的 な 閾 値 処 理 に よ る 二 値 化 を 行 っ た ． 適 応 的 な 閾 値 処 理 は ， 各 ピ ク セ ル に つ い て ， 近 傍 の 平 均 を 参 照 し て 二 値 化 の 閾 値 を 決 定 す る 手 法[35]で あ る ． こ れ を 実 際 に 適 用 し た 結 果 を 示 す ． 図 6.8: 二値 化 の 結果（ 適 応 的 な 閾値 処 理 ） 大 津 の ア ル ゴ リ ズ ム で は 黒 く 潰 れ て い た 箇 所 も 含 め て 二 値 化 が 上 手 く 適 用 さ れ た ． 以 上 よ り ， 本 手 法 で は ， 二 値 化 の 閾 値 決 定 に 適 応 的 な 閾 値 処 理 を 採 用 す る ．
26 黒 部 分 の 量 の 測 定 6.2.5 前 節 で 二 値 化 し た 画 像 に 対 し て ， 黒 の ピ ク セ ル 数 を 数 え る こ と で ， ホ ワ イ ト ボ ー ド に ど れ く ら い の 量 が 書 か れ て い る か を 求 め る ． 文 字 量 の 変 化 の 出 力 6.2.6 前 節 の 処 理 で 得 ら れ た 結 果 を CSV フ ァイル に出力 する ．これ を講 義動画 から 抽 出 し た 全 て の 画 像 に 繰 り 返 し 適 用 す る こ と に よ り ， 講 義 全 体 で 文 字 量 の 変 化 を 抽 出 す る こ と が で き る ． 6.1 超 解 像 処 理 超 解 像 処 理 を 講 義 動 画 に 適 用 す る ． な お ， 適 用 に つ い て は ， ト リ ミ ン グ 及 び 傾 き 補 正 を 適 用 す る ． 傾 き 補 正 に は ， 遠 近 法 が 実 現 さ れ る 透 視 変 換 を 用 い た ． OpenCV の SuperResolution で設 定出来 るパ ラメー タの 内 ，主な パ ラメー タで あ る 下 の 3 つ に着目 する ． scale: 拡大 率（ 既定値 4） temporalAreaRadius: 一時的 な探 索領域 の半 径（既 定値 4） iterations: 繰 り返 し回 数（既 定値 180） ま ず ，こ の 3 つの 値を 既定値 のま まで超 解像 処理を 行っ た ．実 行に あたっ ては ， 6.1 と 同様の 条件 で講 義動画 を作 成した ．そ の結果 ，次 の様な 画像 が得ら れた ． 図 6.9: 超解 像 処 理の結 果 1 線 と 白 い 部 分 の 境 界 が 滑 ら か に な る な ど ， 改 善 が 見 ら れ る ． 前 に 示 し た よ う に ， 超 解 像 処 理 で は い く つ か の パ ラ メ ー タ を 設 定 す る こ と が で
27 き る ． そ こ で ， そ れ ら の 値 を 変 化 さ せ る こ と で 結 果 の 改 善 を 図 っ た ． 始 め に ，よ り 多 く の フ レ ー ム を 対 象 と す る た め に temporalAreaRadius を 8 に 設 定 し た と こ ろ 次 の よ う な 画 像 が 得 ら れ た ． 図 6.10: 超 解像 処 理 の結 果 2 ホ ワ イ ト ボ ー ド 全 体 に 斑 模 様 が 発 生 し た ． こ れ は ， 探 索 す る フ レ ー ム 数 が 増 え た こ と に よ り ， 明 る さ の 変 化 が 強 く 反 映 さ れ た も の と 考 え ら れ る ． 次 に ，iterations を 540 に設定す ると 次の よ うな画 像が 得られ た ． 図 6.11: 超 解 像処 理 の適 用 結 果 3 1 枚目の 結果 とそ れほ ど変わ らな い結果 とな った ． 一定 以上に iterations を 増 加 さ せ て も 鮮 明 度 が 高 く な る 訳 で は な い こ と が 分 か っ た ． こ れ ら の 結 果 を 考 慮 し て ， 本 研 究 で は 既 定 値 の 設 定 で 処 理 を 行 う こ と と し た ．
28
第 7章 ケ ー ス ス タ デ ィ
本 実 験 の 目 的 は ， 抽 出 処 理 と 超 解 像 処 理 の ２ つ の 処 理 の 有 効 性 を 確 認 す る こ と で あ る ． ホ ワ イ ト ボ ー ド 領 域 を ど の 程 度 抽 出 で き る か ， 超 解 像 処 理 で ど の 程 度 鮮 明 化 が 達 成 さ れ て い る か を 調 査 す る た め ， ２ つ の 処 理 に 対 し て ， そ れ ぞ れ 別 の ケ ー ス ス タ デ ィ を 行 っ た ． 7.1 ケ ー ス ス タ デ ィ 1 方 法 7.1.1 講 義 動 画 に 対 し て 提 案 し た 抽 出 処 理 を 適 用 し ， 講 師 が い な い 領 域 を 正 確 に 判 定 し ， ホ ワ イ ト ボ ー ド が 消 さ れ た タ イ ミ ン グ や 書 き 換 わ っ た タ イ ミ ン グ を 抽 出 で き て い る か 実 験 す る ． 対 象 と し た 講 義 動 画 は 96 分の MP4 ファイ ル で ，解像 度は フル HD（ 幅 1920・ 高 さ 1080）で ，フレ ー ムレー トは 30 フ レー ム /秒で ある ．こ の動 画 から １ 分おき に 画 像 を 抽 出 し て 処 理 の 適 用 を 行 っ た ． 左 側 と 右 側 で そ れ ぞ れ 一 回 ホ ワ イ ト ボ ー ド 領 域 を 講 師 に よ っ て 消 さ れ て お り ， 部 分 的 な 書 き 換 え も 行 わ れ て い る ． 結 果 7.1.2 動 画 に 処 理 の 適 用 後 ， 得 ら れ た 数 値 デ ー タ を グ ラ フ 化 し た と こ ろ ， 次 の よ う な 結 果 が 得 ら れ た ． 図 7.1: 黒部 分 の 量（左 右 ） 0 500 1000 1500 2000 2500 3000 3500 4000 4500 5000 1 6 111621263136414651566166717681869196 黒 部 分 の 量( p x ) 時間(min) 左側 右側29 上 図 は 左 右 両 方 の 領 域 を 含 ん で お り ， か つ 講 師 が 重 な っ て い て 抽 出 出 来 な か っ た タ イ ミ ン グ 等 も 全 て 含 ん で お り 分 か り に く い ． そ こ で ， そ れ ら を 省 い た 図 を 作 成 し た ． 図 7.2: 黒部 分 の 量（左 側 ・ 判 定 成功 時 ） 図 7.3: 黒部 分 の 量（右 側 ・ 判 定 成功 時 ） 局 所 的 な 変 動 が み ら れ る も の の ， 図 中 に 示 し た よ う に ホ ワ イ ト ボ ー ド の 消 さ れ た タ イ ミ ン グ に つ い て は 正 し く 検 出 で き た ． 0 500 1000 1500 2000 2500 1 5 9 13 17 21 25 29 33 37 41 45 49 53 57 61 65 69 73 77 黒 部 分 の 量( p x ) 時間(min) 0 500 1000 1500 2000 2500 3000 3500 4000 4500 5000 1 4 7 101316192225283134374043464952555861646770 黒 部 分 の 量( p x ) 時間(min) 消 さ れ た 直 後 消 さ れ た 直 後
30 考 察 7.1.3 左 右 に 分 け て 抽 出 す る 方 法 の 妥 当 性 が 示 唆 さ れ た ． ホ ワ イ ト ボ ー ド が 消 さ れ る 直 前 の タ イ ミ ン グ が 分 か っ た こ と で ， そ の １ つ 前 の タ イ ミ ン グ で 画 像 を 抽 出 し て 超 解 像 処 理 を 適 用 す る こ と が 可 能 と な っ た ． し か し ， 今 回 の 実 験 で は ， 消 さ れ る ま で の ホ ワ イ ト ボ ー ド の 情 報 が 増 え て い く 過 程 を 適 切 に 観 測 と は で き な か っ た ． 講 義 開 始 か ら 消 さ れ る ま で の 間 に 値 が 上 下 し て い る 点 は ， 明 る さ の 変 化 に 伴 う 二 値 化 処 理 後 の 出 力 画 像 の 変 化 が 原 因 と 考 え ら れ る ． ま た ， 本 手 法 で は ， 途 中 で ホ ワ イ ト ボ ー ド が 部 分 的 に 書 き 換 わ っ た 場 合 ， 検 出 す る こ と が 困 難 で あ る ． こ の 検 出 に は ， 情 報 量 の 比 較 に 加 え て ， 下 図 の よ う な 書 き 換 え ら れ る 前 と 後 の 差 分 を と る こ と で ， 異 な る 内 容 が 書 か れ た こ と を 観 測 す る 必 要 が あ る ． 図 7.4: ホワ イ ト ボード の 差 分 し か し ， 二 値 化 し た 差 分 を と る と ， も と も と ぼ や け た 画 像 の た め ， 鮮 明 な 差 分 を 抽 出 す る こ と が で き な い ． よ っ て ， 差 分 を そ の ま ま 書 き 換 え タ イ ミ ン グ の 抽 出 に 用 い る と 精 度 が 低 く な る 可 能 性 が あ る ． ま た ， 今 回 の 実 験 と 同 じ よ う に ， 明 る さ な ど 講 義 室 の 環 境 の 変 化 に 影 響 を 受 け る と 思 わ れ る ． し た が っ て ， グ レ ー ス ケ ー ル の ま ま 差 分 を と る と い っ た 工 夫 を 検 討 す る 必 要 が あ る ．
31 7.2 ケ ー ス ス タ デ ィ 2 方 法 7.2.1 ま ず ， 講 義 動 画 の ホ ワ イ ト ボ ー ド 領 域 を 抽 出 し た 画 像 に 対 し て ， 超 解 像 処 理 を 適 用 し 画 像 を 生 成 し ， そ の 画 像 中 の 文 字 や 図 を 選 択 し ， こ れ ら の 文 字 や 図 を 正 確 に 読 み 取 れ る か ， 被 験 者 に テ ス ト を 行 っ た ． ま た ， 被 験 者 が 超 解 像 処 理 を 行 っ た も の と 一 般 的 な ア ル ゴ リ ズ ム （ 最 近 傍 補 間 法 ） に よ っ て 拡 大 さ れ た 画 像 と ど ち ら が 読 み 取 り や す い か 調 査 し た ． 調 査 を 実 施 し た 被 験 者 は 4 人であ る．Google フォー ムを 利用し てア ンケー ト調 査 を 実 施 し た ． 学 習 者 が PC でアクセス して 学習す ると いう講 義ア ーカイ ブシ ス テ ム の 利 用 環 境 に 近 づ け る た め ， 被 験 者 が 各 自 の PC でアクセ スし て回答 を行 う と い う 形 式 と し た ． 読 み 取 り 課 題 に つ い て 実 験 に 使 っ た 画 像 は ， 実 際 の 講 義 動 画 か ら 抽 出 処 理 し た 画 像 に 対 し て 前 述 の 2 通りの 処理 をした もの であり ，こ れら をラン ダムに 並べ る こ と で 行 っ た ． 被 験 者 は こ れ ら の 画 像 に 書 か れ た 内 容 を 再 現 す る こ と が 求 め ら れ た ． 用 意 し た 画 像 は 文 字 列 と 数 式 で ， 文 字 列 に つ い て は 比 較 的 単 純 な も の と や や 読 み 取 り に く い も の の 2 種類を用 意し た ． 図 7.5: 調査 に 使 用した 画 像 の 例 （最 近 傍 補間 法 ） 一 方 ， 読 み や す さ の 評 価 に あ た っ て は 超 解 像 処 理 を 適 用 し た 画 像 と 通 常 の 拡 大 処 理 を 適 用 し た 画 像 を 用 意 し ，そ れ ぞ れ を ラ ン ダ ム 並 べ A と B という名前 を振 り 分 け た 上 で ， 以 下 の よ う な 評 価 項 目 を 用 意 し た ． 1. A のほうがと ても 読み やすい 2. A のほうが読 みや すい 3. A のほうがや や読 みや すい 4. どちら も同 じ 5. B のほうがと ても 読み やすい 6. B のほうが読 みや すい 7. B のほうがや や読 みや すい
32 結 果 7.2.2 超 解 像 処 理 を 適 用 し た 問 題 と 通 常 の 拡 大 処 理 を 適 用 し た 問 題 と に 分 け ， そ れ ぞ れ の 問 に 対 す る 被 験 者 が 正 し く 書 き 取 れ た 文 字 の 割 合 （ 再 現 率 ） を 求 め た こ と こ ろ 以 下 の よ う に な っ た ． 表 7.1: 調査 結 果 （超解 像 処 理 ） 文 字 列 A 文 字 列 B 数 式 被 験 者 A 83% 64% 67% 被 験 者 B 83% 91% 78% 被 験 者 C 83% 55% 67% 被 験 者 D 83% 82% 33% 合 計 83% 73% 60% 表 7.2: 調 査 結 果（ 通常 の 拡 大 処 理） 文 字 列 A 文 字 列 B 数 式 被 験 者 A 100% 25% 25% 被 験 者 B 100% 0% 17% 被 験 者 C 100% 0% 0% 被 験 者 D 100% 0% 33% 合 計 100% 6% 19% 読 み 取 り 評 価 に お い て は ，超 解 像 処 理 を 適 用 し た 画 像 は ，文 字 列 B と数式 にお い て は 再 現 率 が 高 い 一 方 で ，文 字 列 A では通 常の拡 大処 理のほ うが やや高 い再 現 率 を 示 し た ． 一 方 読 み や す さ の 調 査 で は ， 以 下 の 様 な 結 果 が 得 ら れ た ． な お ，2 つの問 の結 果 を 比 較 し や す い よ う に ，A は超解 像処 理， B は通常の拡 大処 理に 並べ替 えて い る ．
33 図 7.6: ア ル フ ァベ ット の 読 み や すさ 評 価 図 7.7: 数式 の 読 みやす さ 評 価 ア ル フ ァ ベ ッ ト に お い て は ，4 人中 3 人 が超解 像処理 を読 みやす いと 回答し た ． 一 方 で 数 式 や 図 を 含 む 結 果 で は ，1 人 が超 解 像処理 を読 みやす いと 評価し ，特 に 2 人は通常 の拡 大処 理 を読み やす いと評 価す る結果 とな った ． 0 1 2 3 1 2 3 4 5 6 7 人 数 回答 0 1 2 1 2 3 4 5 6 7 人 数 回答
34 考 察 7.2.3 読 み 取 り 評 価 に お い て は ， 数 式 で は 超 解 像 処 理 の ほ う が 優 位 な 結 果 と な っ た ． こ れ は ，添 字 な ど の 小 さ い 字 の 読 み や す さ が 向 上 し た 可 能 性 が 考 え ら れ る ．ま た ， 一 方 で ， 文 字 列 に お い て は 超 解 像 処 理 の 優 位 性 が 十 分 に 示 さ れ な か っ た ． 超 解 像 処 理 の 文 字 列 A では 全 被験者 が全 く同じ 再現 率を示 して いるが ，こ れは講 師が 漢 字 を 別 の 漢 字 を 書 き 直 し て お り ，書 き 直 す 前 の 字 の 形 と 認 識 し た も の と 思 わ れ る ． ま た ，通 常 の 拡 大 方 法 の 文 字 列 B は再 現率 が 著しく 低い ．これは，文字が 全て 漢 字 で あ り 講 義 の 流 れ や 文 脈 な し に 回 答 す る こ と が 難 し い こ と が 理 由 と し て 考 え ら れ る ． こ の よ う に ， 部 分 的 に は 超 解 像 処 理 の 優 位 性 が 示 さ れ た も の の ， そ れ 以 外 の 要 因 よ る と 思 わ れ る 結 果 の 違 い も 見 ら れ た ． 読 み や す さ の 評 価 で は ， ア ル フ ァ ベ ッ ト に お い て は 超 解 像 処 理 の 適 用 の 有 効 性 が 示 さ れ た も の の ， 数 式 や 図 を 含 む 画 像 に お い て は そ の よ う な 結 果 が 得 ら れ な か っ た ． 読 み 取 り 評 価 で は 数 式 で の 再 現 率 が 高 か っ た の と は 逆 の 結 果 と な っ た ． 文 字 列 は 一 部 の 文 字 が 読 め な く て も 表 現 さ れ て い る 単 語 が 分 か れ ば 推 測 が 出 来 る が ， 数 式 で は そ の よ う な 推 測 が で き な い 場 合 が あ り ， 文 字 列 と 数 式 の 異 な る 特 性 が 現 れ て い る と 考 え ら れ る ． 以 上 よ り ， 画 像 の サ ン プ ル 数 や 被 験 者 の 人 数 を 増 や し た 実 験 を 行 い ， ど の よ う な 場 合 に 超 解 像 処 理 が 有 効 で あ る か を 再 検 証 す る 必 要 が あ る ． ま た ， 文 字 の 再 現 率 と 学 習 者 の 読 み や す さ が 一 致 し な い た め ，そ の 両 方 を 満 た す よ う な 条 件 を 調 べ ， そ れ を も と に シ ス テ ム の 改 善 を 図 り た い ．
35
第 8章 ま と め
本 研 究 で は ，JAIST で 導入さ れて いる講 義ア ーカイ ブシ ステム にお いて ，講義 動 画 中 の ホ ワ イ ト ボ ー ド 領 域 が 不 鮮 明 で あ り ， 振 り 返 り 学 習 に 活 用 し に く い と い う 課 題 に 着 目 し た ． 従 来 か ら ホ ワ イ ト ボ ー ド 領 域 の 文 字 情 報 を 抽 出 す る 様 々 な 研 究 が 行 わ れ て き た が ， そ の 多 く は 特 殊 な 機 材 の 導 入 が 必 要 で 高 額 の 費 用 を 要 し た り ， 講 義 動 画 へ の 適 用 に 適 し て い な い も の で あ っ た り ， 講 義 ア ー カ イ ブ シ ス テ ム に そ の ま ま 適 用 す る こ と が 困 難 な も の で あ っ た ． ま た ， 講 義 ア ー カ イ ブ シ ス テ ム は 2006 年に導 入さ れ ており ，既に 2000 を 超える 講義 動画が 収録 されて いる ．そ れ ら の 過 去 の 講 義 動 画 を 活 用 す る と い う 観 点 で は ， 新 た な 撮 影 機 材 の 導 入 は 必 ず し も 有 効 で は な い ． そ こ で ， こ れ ら の 課 題 を 解 決 す る た め の 試 み と し て ， 講 義 動 画 か ら ホ ワ イ ト ボ ー ド 領 域 を 抽 出 し ， 超 解 像 度 処 理 を 行 う こ と で ， ホ ワ イ ト ボ ー ド の 鮮 明 化 を 行 う シ ス テ ム を 開 発 し ， 小 規 模 で は あ る が ケ ー ス ス タ デ ィ を 実 施 し た ． 本 研 究 で は ， 講 義 ア ー カ イ ブ 全 体 を 鮮 明 化 す る の で は な く ， ホ ワ イ ト ボ ー ド の 情 報 量 の 多 い 場 面 を 代 表 ホ ワ イ ト ボ ー ド 画 像 と し て 取 り 出 し ， そ の 中 で ソ フ ト ウ ェ ア 鮮 明 化 す る こ と を 目 指 し た ． し か し な が ら ， 講 義 中 に は 講 師 が 教 室 前 方 を 前 後 左 右 に 移 動 す る た め ， 複 数 フ レ ー ム 内 で 講 師 が 動 い て い る 状 態 は 鮮 明 化 を 行 う 上 で 望 ま し く な い ． そ こ で ， ホ ワ イ ト ボ ー ド 領 域 を 左 右 に 分 割 し て ， そ れ ぞ れ の 領 域 で ホ ワ イ ト ボ ー ド に 板 書 が 書 か れ て い て か つ 講 師 が 画 面 内 に 含 ま れ な い よ う な フ レ ー ム 群 を 利 用 す る 抽 出 処 理 手 法 を 提 案 し た ． 本 手 法 を 適 用 す る こ と に よ り ， 講 師 が ホ ワ イ ト ボ ー ド を 消 し た タ イ ミ ン グ を 特 定 す る こ と が で き ，90 分や 100 分 といっ た長 時 間 の 講 義 動 画 に 対 し て も ， 適 切 な 画 像 に 対 し て 鮮 明 化 処 理 を 行 う こ と が 可 能 と な っ た ． ま た ， 超 解 像 処 理 の 適 用 に つ い て は ， 大 幅 な 鮮 明 化 と は な ら な か っ た も の の ， 複 数 フ レ ー ム か ら 解 像 感 の 向 上 し た 画 像 が 生 成 さ れ ， 画 像 拡 大 時 に 文 字 や 線 の ブ ロ ッ ク ノ イ ズ が 軽 減 さ れ る な ど 一 定 の 効 果 が み ら れ た ． し か し な が ら ， 数 式 に お け る 添 え 字 な ど と い っ た 比 較 的 小 さ な 文 字 に つ い て は 読 み 取 る こ と が 困 難 で あ り ， さ ら な る 検 討 が 必 要 で あ る と い う 結 果 と な っ た ． ホ ワ イ ト ボ ー ド 領 域 の 抽 出 に つ い て は ， ほ と ん ど の タ イ ミ ン グ で 講 師 が 片 側 に い る 講 義 や 部 分 的 な 書 き 換 わ り が 頻 繁 に 発 生 す る 講 義 な ど ， 今 回 の 条 件 の み で は 有 効 に 抽 出 で き な い 状 況 が あ る こ と も 予 想 さ れ る ． し た が っ て ， よ り 多 く の 講 義 に 本 手 法 を 適 用 す る こ と で 更 な る 課 題 の 明 確 化 を 行 う こ と が 必 要 で あ る ． ホ ワ イ ト ボ ー ド の 鮮 明 化 に つ い て は ， 今 回 対 象 と し な か っ た パ ラ メ ー タ に 対 す る 調 整 を 始 め と す る 最 適 化 が 考 え ら れ る ． ま た ， 今 回 用 い た 超 解 像 処 理 よ り も さ36 ら に ホ ワ イ ト ボ ー ド へ の 適 用 に 適 し た 鮮 明 化 手 法 が 実 現 さ れ た 場 合 ， そ の よ う な 手 法 と 容 易 に 置 換 可 能 な シ ス テ ム と す る こ と も 有 効 で あ る と 思 わ れ る ． ま た ，今 回 の ケ ー ス ス タ デ ィ を 踏 ま え ，ホ ワ イ ト ボ ー ド 領 域 の 抽 出・鮮 明 化 が ， 学 習 や ノ ー ト テ イ キ ン グ に ど の よ う な 効 果 が あ る か に つ い て ， 講 義 動 画 の み の 条 件 と の 比 較 を 行 う こ と で ，本 手 法 の さ ら な る 有 効 性 を 評 価 す る こ と を 検 討 し た い ． な お ， 今 回 作 成 シ ス テ ム は 要 素 技 術 の 組 み 合 わ せ に 留 ま っ て お り ， 講 義 ア ー カ イ ブ シ ス テ ム と 一 体 の も の と な っ て い な い ．現 行 の 講 義 ア ー カ イ ブ シ ス テ ム で は ， ホ ワ イ ト ボ ー ド に 書 か れ た 内 容 を 参 照 し な が ら 学 習 を 進 め る 場 合 ， 内 容 が 不 鮮 明 で あ る こ と に 加 え て ， 学 習 者 が シ ー ク バ ー な ど を 操 作 し て 自 身 で 必 要 な 箇 所 を 探 さ な け れ ば な ら な い と い っ た 学 習 上 の 課 題 が あ る ． 本 手 法 を シ ス テ ム に 組 み 込 む こ と で ， ノ ー ト テ イ キ ン グ が よ り 容 易 に な る と 思 わ れ る ． 今 回 ， 提 案 手 法 の 一 定 の 有 効 性 が 示 さ れ た こ と に よ り ， 講 義 ア ー カ イ ブ シ ス テ ム の 撮 影 か ら 配 信 ま で の 自 動 化 さ れ た 流 れ に 組 み 込 ん で い く こ と が 期 待 さ れ る ． さ ら に ， 将 来 的 に は 画 像 と し て の 抽 出 の み な ら ず ， 画 像 情 報 か ら 文 字 情 報 へ の 変 換 す る こ と で ， 講 義 動 画 の 検 索 支 援 や 字 幕 生 成 ， 翻 訳 支 援 な ど へ の 発 展 が 期 待 さ れ る ．
37
![図 6.1: OpenCL に よ る 高 速 化[31]](https://thumb-ap.123doks.com/thumbv2/123deta/6205197.1088851/23.892.215.681.744.1091/図61OpenCLによる高速化31.webp)
