講義アーカイブシステムにおけるホワイトボード領域の鮮明化

(1)

講義アーカイブシステムにおけるホワイトボード

領域の鮮明化

Whiteboard Sharpening for Lecture Archiving System

長谷川

忍

1,2

_小林

_弘彬

2

Shinobu Hasegawa

1,2

_{and Hiroaki Kobayashi}

2

1

_{北陸先端科学技術大学院大学}

_{情報社会基盤研究センター}

1

_{Research Center for Advanced Computing Infrastructure, JAIST}

2

_{北陸先端科学技術大学院大学}

_{情報科学研究科}

2

_{School of Information Science, JAIST}

Abstract: The purpose of this research is to propose a methodology to sharpen whiteboard images in a

lecture archiving system which records face-to-face lectures by a fixed ceiling camera. In the lecture archiving system, it is not so easy to read the whiteboard contents, which has important role for students in understanding the lecture, due to deficiency of the camera resolution, angle of the camera, lighting environment in the lecture rooms, overlapping of instructors, etc. We mainly focus on software processing to improve the quality of the whiteboard images in the lecture archive.

1. はじめに

情報量が爆発的に増大しているグローバルな現代社会においては，知識そのものに加えて，知識の伝達速度も求められており，インターネットで扱うことができるデータ量が急速に増大したことと相まって，時間や空間を限定せずに「いつでもどこでも」学習を行える環境が身近なものとなりつつある．本稿ではこうした学習環境の中でも特に，講義室で行われる対面講義の映像・音声をデジタルデータとして収録し，体系的に管理・配信するものを講義アーカイブと呼ぶ．筆者らが所属する北陸先端大学院大学情報科学研究科では 2006 年度よりほぼ全ての対面講義を収録し，学生による対面講義の予復習を支援する補完的な学習環境を提供してきた．これらの収録・配信作業の大部分は自動化されており，少ない運用コストにも関わらず，学生の講義の振り返りに活用されていることが示されている[1]．しかしながら，講義室の後方上部に固定された1 台のカメラで撮影されているため，カメラの解像度，角度，ピント，講義室の照明環境，講師の重なり等といった様々な要因で，ホワイトボードの内容が読みづらいという課題が指摘されている．本研究の目的は，講義アーカイブにおけるホワイトボード領域の読みにくさを改善する手法を提案することである．こうした課題を解決するアプローチとしては，カメラワークを自動化する方法[2]や複数台のカメラを用いて板書を保存する方法[3]，講師がカメラワークを行える簡易な操作パネルを提供する方法[4]，特殊なペンやスクリーンを利用する方法[5] などが提案されているが，これらを適用するためにはハードウェアの追加が必要となり，運用コストも向上することが見込まれる．そこで本研究では，ソフトウェア処理によるホワイトボード領域の鮮明化を目指す．嶌田らはホワイトボードの領域の判定や傾き補正に加えて，ホワイトボード中の文章量が多い部分を抽出する手法を提案している[6]．また，筆者らの先行研究では，アーカイブ画面上のオプティカルフローが最大値をとる座標を取得することで講師の位置を推定し，その周辺のホワイトボードの画像をリッピングする手法を提案している[7]．しかしながら，オリジナルのアーカイブにおけるホワイトボード領域の鮮明さが不十分である場合には，これらの手法は有効であるとは言えない．そこで本研究では，ホワイトボード領域の解像感を向上させる手法として，ディープラーニングによる超解像化手法や複数フレームを利用した超解像化手法 [8]を適用した鮮明化を試みる．また，これらの手法を講義アーカイブのデータに実際に適用する上で必要な前処理について検討する．人工知能学会研究会資料 SIG-ALST-B505-07 ― 30 ―

(2)

2. 講義アーカイブシステム

2.1 講義アーカイブの実現手法

講義アーカイブの実現手法については，図1 に示す通りいくつかのレベルが想定される[9]．最もシンプルな形式は，90 分の対面講義を教室後方からビデオカメラで収録し，ほぼそのままの形で配信する手法である．一方，専用のスタジオ等で収録を行い，プレゼンテーション資料などを同期した上で，必要があれば詳細な編集を行うアプローチもしばしば行われている．後者については対外配信や対面講義の代替として効果が期待できる反面，収録・編集にかかる費用面・作業面のコストや収録のための制約が大きくなる傾向がある．図1. 講義アーカイブの実現手法

2.2 講義アーカイブシステムの構成

筆者らは，品質とコストのバランスを考慮して，図1 の中央のレベルに相当する大規模運用可能な講義アーカイブシステムを運用している[10]．本節ではそのうち講義アーカイブの映像品質に関わる部分を中心に構成を述べる．図2 に示すように，収録対象の講義室には，アーカイブ収録サブシステムとして，フルHD 対応ビデオカメラであるPanasonic AW-HE70HW9 が天井に設置されている．一方，エンコード装置としては，フルHD 品質のエンコードが可能な Photron PowerRec SS が導入されている．全てのエンコード機器はサーバ室に集約されており，各講義室の映像・音声はPC 画面とミキシングを行って講義室とサーバ室の間を接続する光ファイバで転送し，マトリックススイッチャに収容される構成となっている．アーカイブ収録サブシステムで収録されたオリジナルの講義アーカイブは，1080p，4Mbps の高解像度コンテンツとしてそのまま配信するだけでなく，640 ×360，512kbps の低解像度コンテンツに変換される．また，高解像度コンテンツから一定時間(5 分間隔)であらかじめ指定した領域における画面変化量を判定し，情報量の最も多い場面を代表ホワイトボード画像として自動抽出を行っている．これにより，図 3 に示すように，画面上部に代表ホワイトボード画像，画面左下に低解像度動画，画面右下に動画掲示板を生成することで，ホワイトボード領域を振り返りやすい構成となっている．図2. 講義アーカイブシステムの構成

2.3 ホワイトボード品質の課題と要因

講義アーカイブシステムの満足度に関しては，継続してアンケート調査を行っているが，ホワイトボードの読みやすさに関する項目は，他の項目と比較しても特に悪い結果となっている[1]．この要因には様々なものが挙げられる．まず，天井に固定されたカメラの位置は，他の講義室内の機器の設置位置との制約により中央からずれていることが多く，また，天井近くから見下ろす形になっているため，映像に傾きが発生する．また，フルHD の解像度であっても，講義室前面一杯に広がるホワイトボードに対しては解像度が不足しており，添字などの細かい文字を読み取ることは困難である．さらに，カメラのホワイトバランスやフォーカスが自動設定になっているため，外光やプロジェクタ光とホワイトボード領域の照度の違いで露出オーバー／アンダーになることや，教員にピントが合うため，教員の立つ位置によってホワイトボードがピンボケするといった問題も見られる．また，講師がホワイトボードの前面に立つことで，ホワイトボードの内容と重なって読み取れないといったことも起きている． ― 31 ―

(3)

3. 超解像化技術の適用

3.1 CNN による超解像化

Chao らは 3 層の CNN(Convolutional NeuralNet)を

利用して，1 枚の画像から超解像化を行う手法を提案している[11]．本手法は CNN への入力として低画質化した画像を，出力としてオリジナルの画像を適用することで，画像のシャープネスの向上やノイズリダクションなどの補正ルールを学習することができる．予備実験として，図4 に本手法をオープンソースとして実装した waifu2x [12]を適用して 2 倍に拡大した結果を示す．画像を拡大したことによるブロックノイズはやや低減されているが，精細さについては大きな向上は見られなかった．今回はホワイトボード画像に特化した学習を行っていないため，そうした学習データを準備した際の効果については検討の余地があるが，オリジナルのデータが既に精細感がない本研究のケースではやや適用が難しいと考えられる．図4 CNN による超解像化の例

3.2 複数フレームを利用した超解像化

動画データにはフレーム毎に微妙に異なる情報が含まれており，あるフレームに含まれていない情報が他のフレームに含まれている場合がある．このため，複数フレームを利用してサンプリング時に失われた情報を復元することで画像を高精細化することが可能となる[13]．図 5 は講義アーカイブから 2 つのフレームの差分を表示したものである．講師は講義中に動いているため，その周辺の差分が強く表示されているが，この間に実際には変化のなかったホワイトボード領域でも文字の周辺に差分が見られる．図3. 動画掲示板のインタフェース ― 32 ―

(4)

図5. 講義アーカイブのフレーム間差分 Wode は，スマートフォンのカメラで撮影したホワイトボード領域に対し，OpenCV に実装された SuperResolution クラス[14]を適用することの有効性を示しており，本研究でも一定の効果が期待できる．

3.3 超解像化のための前処理

複数フレームを利用した超解像化の手法は講義アーカイブにおけるホワイトボード領域の鮮明化に効果があると考えられるが，実際に適用する上では適切な前処理を行う必要がある．本研究では，講義アーカイブ全体を鮮明化するのではなく，図3 のインタフェースに示すように，特定区間で情報量の多い場面を代表ホワイトボード画像として取り出し，その中で鮮明化することを目指している．しかしながら，講義中には講師が教室前方を左右に移動するため，複数フレーム内で講師が動いている状態は望ましくない．そこで，ホワイトボード領域を分割して，それぞれの領域でホワイトボードの情報量が同じで講師が画面内に含まれないようなフレームを複数抽出し，そのフレーム群を利用して処理を行う必要がある．本研究では，先行研究でも用いたオプティカルフローによる講師位置の推定[7]と，ホワイトボード領域の情報量の判定に基づき，講師のいない代表ホワイトボード画像周辺のフレーム群を入力動画として利用する．また，嶌田らの傾き補正の手法[6]や，ホワイトバランスを変更したフレームを挿入することで，画像の歪みや露出不良にロバストな処理を行うことを目指す．

4. おわりに

本稿では，講義アーカイブにおける運用コストを増大することなく，ホワイトボード領域の視認性を向上する試みとして，2 つの超解像化手法の適用について検討した．講義アーカイブでは講義の様子が動画として保存されているため，複数フレームを利用した超解像化手法が適していると考えられるが，特定の区間を代表するホワイトボード領域周辺の適切なフレームを抽出するアルゴリズムを検討する必要がある．今後は，生成されたホワイトボード画像の品質を，講義アーカイブシステムの利用者による再現率や主観評価によって確認する予定である．

参考文献

[1] 吉良，長谷川：大学院生の補完的学習環境としての講義アーカイブシステムの運用と分析, 教育システム情報学会誌，Vol.32, No.1, pp.98-110 (2015)． [2] 大西，村上，福永：状況理解と映像評価に基づく講義の知的自動撮影，電子情報通信学会論文誌，D-II， Vol.J85-D-II，No.4，pp.594-603，(2002)． [3] 市村，福井，井上，松下：Web 学習用コンテンツを自動作成する板書講義収録システム，情報処理学会誌， Vol.47，No.10，pp.2938-2946，(2006)． [4] 井上，品田，市村，星：板書の意識的な強調を利用した復習用コンテンツ自動生成システム，情報処理学会誌，Vol.53，No.1，pp.49-60，(2012)． [5] 矢田，鶴岡，吉川，篠木：遠隔授業映像撮影のためのカメラ映像と板書画像を併用したカメラ視野の決定法，電子情報通信学会技術研究報告 113(482), pp.89-94, (2014)． [6] 嶌田，東野，今野，三石，早川，静谷：学習支援や授業振り返りのための板書レクチャーの簡易コンテンツ化，電子情報通信学会技術研究報告 111(478), pp.217-222, (2012)． [7] 澤田，長谷川：講義アーカイブを対象とした編集プログラムの開発，2011 年春 JSiSE 学生研究発表会論文集，pp.122-123, (2011).

[8] N. Wode: Whiteboard Scanning Using Super-Resolution, Dickinson College Honors Theses. Paper 221, (2016). http://scholar.dickinson.edu/student_honors/221 [9] 長谷川，辻，但馬，宮下，安藤：講義アーカイブを活用したコミュニティ動画掲示板システムの構築，電子情報通信学会技術研究報告，ET2010-11, pp.25-30, (2010)． [10] 長谷川：3.1 遠隔学習システム，教育工学選書 II e ラーニング／e テスティング，ミネルバ書房，(2016)． [11] C. Dong, C. C. Loy, K. He, X. Tang: Learning a Deep Convolutional Network for Image Super-Resolution, in Proceedings of European Conference on Computer Vision (ECCV), 2014．

[12] waifu2x http://waifu2x.udp.jp/

[13] 木村：動画を高精細化する複数フレーム超解像度技術，東芝レビュー 71(4), pp.62-63, (2011)．

[14] OpenCV: Super Resolution,

http://docs.opencv.org/2.4/modules/superres/doc/super_re solution.html