[博士 一審 査 要 旨]
博 士 学 位 論 文 審 査 要 旨
学位 申請者氏名 二瓶 芙 巳雄 論 文 題 目
マ ル チ パ ー テ ィ ・マ ル チ モ ー ダ ル 信 号 の 共 起 に 基 づ く 会 議 要 約 の た め の 重 要 発 言 の推 定
審 査 委 員(職 名 ・氏 名 ・印)
主 査
審査委員
教 授 中野 有紀子 教 授 小池 淳 教 授 世木 寛之 教 授 藤 田 欣也
論文審査結果(合 否) 合 格
論 文 審 査 の 要 旨
対 面 会 議 の 要 約 は グ ル ー プ メ ンバ 間 で の 知 識 の 共 有 に 有 用 で あ る.し か し,要 約 の 作 成 に は経 験 や 人 手 を 要 す る.本 論 文 で は 会 話 の 要 約 を 自動 生 成 す る こ と を 目指 し,会 議 の 要 約 に貢 献 す る重 要 発 言 を,多 人 数 が表 出 す る マ ル チ モ ー ダ ル な行 動 の 共 起 関係 に 基 づ き推 定 す る 手 法 を 提 案 す る.
序 章 で あ る 第1章 で は,マ ル チ モ ー ダル な 行 動 の 共 起 関係 に着 目す る こ とが,本 研 究 の着 眼 点 で あ る こ とを 説 明 す る と と も に,本 研 究 の 目的 と論 文 の 構 成 を述 べ て い る.第2章 で は,本 研 究 の 基 礎 とな る 関 連 研 究 に っ い て ま とめ て い る.第3章,第4章 が 本 学 位 論 文 の 中核 を な し,申 請 者 が 筆 頭 著 者 とな る2編 の論 文 を 再 編 成 した 内 容 と な っ て い る.以 下 に,各 章 の 内 容 を簡 単 に 説 明 す る.
第3章 で は,デ ー タ収 集 と コ ー パ ス 構 築 に つ い て 述 べ て い る.本 研 究 で 収 集 した デ ー タ は,4名 か らな る グル ー プ が 対 面 状 況 で議 論 す る 様 子 を 多 様 な セ ンサ を用 い て 収 録 した も の で あ る.収 集 し た デ ー タ は 発 話 音 声,頭 部 動 作,身 体 動 作,視 線,顔 映 像,会 議 全 体 の 映像,そ して 性 格 特 性 で あ る.そ の 後,コ ー パ ス に 対 して 重 要 発 言 で あ る か 否 か の ラ ベ ル 付 け を行 っ た.重 要 発 言 は5名 の 評 価 者 に よ る投 票 で決 定 し,過 半 数 が 重 要 で あ る と判 断 した発 言 を本 研 究 で は 重 要 発 言 と定 義 した.
第4章 で は,2種 類 の 手 法 に よ り,多 人 数 が 表 出 す るマ ル チ モ ー ダ ル な 行 動 の 共 起 関 係 を考 慮 し た 重 要 発 言 推 定 モ デ ル を 作 成 して い る.第 一 の 手 法 がhandcraftedfeatureを 使 用 した推 定 モ デ ル, 第 二 の 手 法 が深 層 学 習 を 利 用 した 推 定 モ デ ル で あ る.
4.1節 で は,Handcraftedfeatureに よ るモ デ ル 作 成 の た め,様 ・々な 特 徴 量 を コー パ ス 観 察 か ら得 られ た 知 見 に 基 づ き定 義 して い る.コ ー パ ス観 測 に よ り得 られ た 知 見 は3種 類 に 大 別 され る.1)重 要 発 言 は発 言 者 の 振 舞 い だ け で な く,そ れ を 聞 く他 の 参 加 者 の 振 舞 い に よ っ て も特 徴 づ け られ る, 2)重 要 発 言 は 参 加 者 が もつ コ ミ ュニ ケ ー シ ョン能 力 に よ り表 出 の され 方 が 異 な る,3)重 要 発 言 が
生 じた とき,複 数 の 参 加 者 が 表 出 す る行 動 問 に は 特 徴 的 な 共 起 が 発 生 す る.従 っ て これ ら3つ の 知 見 に則 り,定 義 した 特 徴 量 も3種 類 に 大 別 した.定 義 した 具 体 的 な特 徴 量 は,発 話 音 声 の 強 度 や ピ ッチ,話 速 とい っ た 音 声 特 徴,頭 部 動 作 の 強 度 とい っ た 動 作 特 徴,そ して 参 加 者 に 対 す る注 視 の 頻 度 な ど の 注 視 特 徴 等 で あ る.こ れ らの 特 徴 量 を発 話 者 に 関 す る 特 徴 量,発 話 者 以 外 の 参 加 者(他 参
[博士 一審 査 要 旨]
論文審査の要 旨(続)
加 者)の 特 徴 量,コ ミ ュ ニ ケ ー シ ョ ン能 力 が 高 い 参 加 者 が 発 話 者 と して 振 舞 うと き の 特 徴 量 等 に 細 分 化 した.さ ら に 共 起 関 係 探 索 ア ル ゴ リズ ム を導 入 す る こ とで,多 人 数 が 表 出 す る マ ル チ モ ー ダ ル な 行 動 の 共 起 関 係 を探 索 し,顕 著 な 共 起 特 徴 を 同 定 した.共 起 関係 探 索 アル ゴ リズ ム に よ り,顕 著 な 共 起 パ タ ー ン を は じめ,人 手 で は 得 に くい よ うな 共 起 パ タ ー ン を見 出 して い る.作 成 され た モ デ ル の性 能 はF値 で0.706で あ り,発 話 者 と他 参 加 者 の 特 徴 量 の み か ら推 定 す るモ デ ル が 最 良 の性 能 を 示 した.ま た,共 起 関 係 を示 す 特 徴 量 は 音 声 特 徴 量 や 動 作 特 徴 量 を補 う情 報 で あ る 可 能 性 が 示 唆 され た.さ ら に,定 義 したhandcraftedfeatureを 分 析 した 結 果,重 要 発 言 は 比 較 的 発 話 長 が 長 く, ゆ っ く り と,ピ ッチ に 幅 を 持 たせ た 発 話 で あ り,そ の 間,話 者 は他 者 か ら よ く注 視 され て い る こ と が 明 らか と な っ た.
4.2節 で は,第 二 の 手 法 で あ る,深 層 学 習 を 使 用 し,多 人 数 が 表 出 す る マ ル チ モ ー ダ ル な 行 動 の 共 起 関 係 を 表 す 特 徴 表 現 を 学 習 す るネ ッ トワー ク を提 案 して い る.ネ ッ トワー ク は 複 数 参 加 者 間 の 行 動 の 共 起 を捉 え る た め の 下 層 の ネ ッ トワ ー ク と,複 数 モ ダ リテ ィ 問 の 共 起 を 捉 え る た め の 高 層 の ネ ッ トワ ー ク か ら形 成 され て い る.下 層 の ネ ッ トワ ー ク は さ らに,音 声 情 報 の た め の ネ ッ トワー ク, 動 作 情 報 の た め の ネ ッ トワ ー ク,言 語 情 報 の た め の ネ ッ トワー ク な ど に細 分 化 され て い る.こ こで, 多 人 数 が 表 出す る マ ル チ モ ー ダ ル 信 号 の 共 起 関係 を効 果 的 に扱 う こ とが で き る ネ ッ トワー ク 構 造 を 探 査 す る た め,下 層 の ネ ッ トワ ー ク構 造 を3種 類 検 討 して い る.時 間 変 化 に お け る全 参 加 者 の行 動 デ ー タ を 同 時 に 考 慮 で き る3D‑CNN,時 間 変 化 に お け る 各 参 加 者 の 行 動 デ ー タ を 独 立 に 考 慮 す る 2D‑CNN,そ して 画 像 処 理 の 研 究 で 高 い性 能 を示 して い るAlexNetを ベ ー ス と したCNNで あ る.
モ デ ル 評 価 の 結 果,3D‑CNNを 下 層 の ネ ッ トワー ク構 造 と して 使 用 す るネ ッ トワ ー クが 最 良 で あ り,F値 で0.783の 性 能 を達 成 して い る.さ ら に手 法 と して の 正 し さ を評 価 す る た め,音 声 認 識 誤 りに よ る ノイ ズ を 除 去 した デ ー タ を 用 い た 結 果,F値0.827の 高 性 能 な モ デ ル を達 成 し て い る.ま た,提 案 モ デ ル が と ら え る 重 要 発 言 は,ア イ デ ア を提 案 す る発 言 や 意 見 を 述 べ る発 言 で あ る こ と, さ ら に は 他 者 か ら静 か に傾 聴 さ れ,注 目 され た 発 言 で あ る こ と が 明 ら か に な っ た.こ の 結 果 を handcraftedfeatureに よ るモ デ ル か ら得 られ た 知 見 とあ わ せ る と,handcraftedfeatureに よ る手 法,深 層 学 習 に よ る手 法 は と も に,他 者 か ら静 か に傾 聴 され た 発 言 を 重 要 発 言 で あ る と判 断 して お
り,類 似 した 非 言 語 的 特 徴 を 捉 え て い た こ とが 示 唆 され た.
第5章 で は,提 案 モ デ ル を利 用 した 議 論 要 約 シ ス テ ム を 実 装 して い る.本 シ ス テ ム で は,発 言 の 可 視 化 に加 え,重 要 発 言 推 定 モ デ ル に基 づ き 重 要 発 言 が ハ イ ライ トされ る.重 要 度 の 設 定 を 変 化 さ せ る こ とに よ り,表 示 され る重 要 発 言 の 量 を 調 整 す る こ と が で き る.こ れ に よ り,ユ ー ザ の 利 用 法
に 沿 っ た 要 約(要 点 だ け を確 認 した い,重 要 な 点 を全 て 網 羅 した い)を イ ン タ ラ ク テ ィ ブ に 提 供 す る シ ス テ ム を 実 現 して い る.
本 論 文 は,多 人 数 の マ ル チ モ ー ダ ル な 信 号 とそ の 共 起 関 係 を と ら え る こ と に よ り,議 論 中 の 重 要 発 言 を検 出 す る とい う新 しい 技 術 を 提 案 して い る.ま た,従 来 の 機 械 学 習 と深 層 学 習 の2つ の ア プ ロー チ を厳 密 に 比 較 す る こ と に よ り,深 層 学 習 の 優 位 性 や,重 要 発 言 の 特 徴 を 明 らか に して お り, これ ら は新 しい 知 見 で あ る.よ っ て,本 論 文 の 内 容 は コ ミ ュ ニ ケ ー シ ョン の 科 学 と議 論 要 約 とい う 工 学 的 応 用 の 両 側 面 に 貢 献 す る も の で あ り,博 士(理 工 学)の 学 位 にふ さ わ しい も の で あ る.
(以 上)
