多言語表示に対する視線情報を用いた第一・第二言語推定

DEIM Forum 2016 F4-1

多言語表示に対する視線情報を用いた第一・第二言語推定

王

琛

†

浅井 洋樹

†

山名 早人

§

†早稲田大学大学院基幹理工学研究科 〒169-8555 東京都新宿区大久保 3-4-1

§早稲田大学理工学術院 〒169-8555 東京都新宿区大久保 3-4-1

国立情報学研究所 〒

101-8430 東京都千代田区一ツ橋 2-1-1

E-mail: {magaret1103, asai, yamana}@yama.info.waseda.ac.jp

あらまし 近年，人工知能を例としたインテリジェント技術の進化とウェアラブルデバイスの普及とともに，視線情報を利 用した研究が数多く行わるようになってきた．また2020 年の東京オリンピック開催を控え，空港や街中ではデジタルサイネー ジといった，様々な言語圏の訪問者が理解可能な表示を要求される場面が増加している．しかし，こうしたデバイスでは，ユー ザの明示的な表示言語選択無しに，ユーザ自身の理解できる言語を表示することは，これまで提案されてきた技術では困難であ る．ユーザが当該画面を見るだけでユーザの理解可能な第一・第二言語を自動検知できれば，非侵襲での自動言語選択を実現す ることができ，訪問者の満足度や広告効果が向上すると考えられる．視線情報を用いたこれまでの研究では，視線の移動軌跡や 注視時間などを用いた英語習熟度の推定や，画像の興味領域の測定などが行われている．しかし，視線情報を用いた第一・第二 言語の推定に関する調査は著者の知る限りまだ行われていない．そこで本研究では，ユーザが多言語で表示された画面を見るだ けで視聴者の第一・第二言語を自動検知し，非侵襲での自動言語選択を実現する手法を提案する． キーワード 視線情報，多言語表示，言語推定

1. は じ め に

近 年 ， 人 工 知 能 の よ う な イ ン テ リ ジ ェ ン ト 技 術 の 進 化 と ，Google Glass を は じ め と し た ウ ェ ア ラ ブ ル デ バ イ ス の 普 及 と と も に ， 視 線 情 報 を 利 用 し た 研 究 が 数 多 く 行 わ る よ う に な っ て き た ．2020 年 の 東 京 オ リ ン ピ ッ ク 開 催 を 控 え ， 日 本 語 を 母 語 と し な い 多 く の 旅 行 者 が 日 本 を 訪 問 す る こ と が 想 定 さ れ る ． こ の よ う な 背 景 の も と ， 空 港 や 街 中 で デ ジ タ ル サ イ ネ ー ジ(図 1)に 代 表 さ れ る 多 言 語 表 示 が 増 え て い る ． こ う し た デ バ イ ス で は ， 内 容 を 表 示 す る 前 に ， 表 示 言 語 を 選 択 す る 画 面(図 2)を 表 示 す る 場 合 が 多 い ． ユ ー ザ が 自 身 の 理 解 で き る 言 語 を 選 択 し て か ら ， 内 容 が 画 面 上 に 表 示 さ れ る ． し か し ， ユ ー ザ の 明 示 的 な 表 示 言 語 選 択 無 し に ， ユ ー ザ 自 身 の 理 解 で き る 言 語 を 表 示 す る こ と は で き な い ． こ こ で ， ユ ー ザ が 当 該 画 面 を 見 る だ け で 理 解 可 能 な 言 語 を 自 動 検 知 で き れ ば ， 非 侵 襲 で の 自 動 言 語 選 択 を 実 現 す る こ と が で き ， デ ジ タ ル サ イ ネ ー ジ や ウ ェ ア ラ ブ ル 設 備 へ の 応 用 は 格 段 に 広 が る と 考 え ら れ る ．

図

1 羽 田 空 港 で の デ ジ タ ル サ イ ネ ー ジ

1

図

2 表 示 言 語 を 選 択 す る 画 面

2 「 目 は 口 ほ ど に も の を 言 う 」 と い わ れ る よ う に ， 人 間 の 視 線 は そ の 人 の 思 考 を 反 映 す る ． 上 記 に 述 べ た 視 線 情 報 を 用 い て ， 目 の 動 き と 人 間 の 思 考 に 関 す る 研 究 が 行 わ れ て い る ．例 と し て ，藤 好 ら[1]は 英 文 問 題 解 答 1_{筆 者 撮 影 で あ る} 2_{筆 者 撮 影 で あ る}

時 の 視 点 情 報 を 用 い て ， 英 語 習 熟 度 を 推 定 し て い る ． Dixson ら [2]は 女 性 の 視 線 情 報 か ら 好 み の 男 性 の 体 タ イ プ を 推 定 す る 手 法 を 提 案 し た ． し か し ， 目 の 動 き か ら 第 一 ・ 第 二 言 語 の 推 定 に 関 す る 研 究 は 著 者 ら の 知 る 限 り 存 在 し な い ． 本 研 究 は 目 の 動 き か ら 理 解 で き る 言 語 を 自 動 推 定 す る 手 法 を 検 討 す る ． グ ロ ー パ リ ゼ ー シ ョ ン の 推 進 と と も に ， 二 言 語 を 理 解 し ， 話 せ る 人 も 一 般 的 に な っ て い る ． 本 稿 で は ， 母 語 と 第 二 言 語 を 理 解 で き る 言 語 と し て 定 義 し ， 視 線 情 報 か ら 母 語 と 第 二 言 語 を 推 定 す る 可 能 性 を 検 討 す る ． 人 間 は ， 複 数 言 語 が 同 時 に 表 示 さ れ て い る 画 面 を 見 る 瞬 間 に ， 無 意 識 的 に 自 身 が 理 解 で き る 言 語 を 見 つ け て 読 む と 考 え ら れ る た め ， 自 身 が 理 解 で き る 言 語 を 最 初 に 見 つ け て 長 く 注 視 す る 可 能 性 が 高 い ． こ れ を 検 証 す る た め に ， 複 数 言 語 が 同 時 に 表 示 さ れ る 以 下 の 複 数 表 示 方 式 を 検 討 す る ：1)国 旗 ・ 国 章 の 固 定 表 示 ， 2)一 単 語 の 固 定 表 示 ，3)一 文 全 体 の 固 定 表 示 ， 4)一 文 ス ク ロ ー ル の 固 定 表 示 ，5)ニ ュ ー ス リ ス ト の 固 定 表 示 ， 6) 一 文 全 体 の 動 的 表 示 ，7)一 文 ス ク ロ ー ル の 動 的 表 示 ， 8)ニ ュ ー ス リ ス ト の 動 的 表 示 ． 様 々 な 表 示 画 面 を 見 て い る 視 線 を Eye Tribe3で 読 み 取 り ， 注 視 中 に 第 一 ・ 第 二 言 語 を 分 析 す る シ ス テ ム を 構 築 す る ． 評 価 実 験 で は ， 異 な る 言 語 圏 の 被 験 者 が 構 築 し た シ ス テ ム を 使 い ，各 表 示 画 面 を 見 る よ う 指 示 し ， Eye Tribe で 読 み 取 っ た 視 線 情 報 か ら 各 自 の 理 解 で き る 言 語 を 推 定 す る ． 本 稿 で は 以 下 の 構 成 を と る ． ま ず 2 節 で は 視 線 情 報 を 用 い た 関 連 研 究 を 紹 介 し ，3 節 で 提 案 手 法 を 説 明 す る ． 次 に 4 節 で 実 験 と 評 価 を 行 い ， 最 後 に 5 節 で ま と め を 述 べ る ．

2. 視 線 情 報 を 用 い た 関 連 研 究

本 研 究 で は ， 視 線 情 報 を 用 い て 視 聴 者 の 第 一 ・ 第 二 言 語 を 推 定 す る こ と を 目 標 と す る ． し か し ， 視 線 情 報 を 用 い た 研 究 は 多 く 行 わ れ て い る が ， 視 線 情 報 を 用 い て 理 解 で き る 言 語 の 推 定 に 関 す る 調 査 は 著 者 の 知 る 限 り ま だ 行 わ れ て い な い ． 以 下 で は ， 視 線 情 報 を 用 い て 人 の 思 考 や 好 み を 推 定 す る 関 連 研 究 を 紹 介 す る ．

2.1. 視 線 情 報 を 用 い た 英 語 習 熟 度 の 推 定

藤 好 ら[1] は 題 量 が 少 な い 英 文 問 題 解 答 時 の 視 線 情 報 か ら ， ユ ー ザ の 英 語 習 熟 度 を 推 定 し て い る ． 装 着 式 ア イ ト ラ ッ カ ー で 英 文 問 題 と 解 答 を 読 ん で い る 時 の 視 線 情 報 を 取 得 す る ． 取 得 し た ア イ ト ラ ッ カ ー の シ ー ン カ メ ラ 上 の 視 点 情 報 を LLAH （ Locally Likely Arrangement Hashing） に よ る 文 書 画 像 検 索 で 文 書 画 像 上 の 視 点 座 標 に 変 換 す る ． そ し て 眼 球 運 動 の 特 性 を 利 3 _{https://theeyetribe.com/} 用 し た 35 個 特 徴 量 を 抽 出 し ，線 形 回 帰 で 読 者 の 英 語 習 熟 度 を 推 定 し て TOEIC ス コ ア と し て 評 価 す る ．推 定 か ら 得 ら れ た ス コ ア と 本 人 の TOEIC ス コ ア と 比 較 し た 差 が±35 以 内 で あ れ ば 推 定 成 功 と 定 義 し て い る ． 推 定 結 果 と し て ， 被 験 者 9 名 中 6 名 の 推 定 に 成 功 し た ． こ の 手 法 は ， 非 リ ア ル タ イ ム で ユ ー ザ の 英 語 習 熟 度 を 推 定 す る ． し か し ， 本 研 究 は 応 用 上 か ら 考 え る と ， デ ジ タ ル サ イ ネ ー ジ や ウ ェ ア ラ ブ ル 設 備 へ の 応 用 に は リ ア ル タ イ ム の 推 定 が 適 当 で あ る た め ， こ の 手 法 を こ の ま ま 適 用 す る こ と は 困 難 で あ る ．

2.2. 視 線 情 報 か ら の 好 み の 体 系 推 定

Dixson ら [2] は 女 性 の 視 線 情 報 か ら 好 み の 男 性 の 体 タ イ プ と 体 の 部 位 を 推 定 す る 研 究 を 行 っ た ． 男 性 の 体 タ イ プ を Mesomorphs，Ectomorphs と Endomorphs 三 種 類 ， 各 タ イ プ に 7 エ リ ア に 分 け て ， そ れ ぞ れ の 写 真 複 数 枚 を 女 性 の 被 験 者 に 見 せ る 実 験 を 行 っ た ． 被 験 者 が 各 写 真 を 見 て い る 5 秒 間 の 視 線 情 報 を 取 得 し ， 最 初 の 1 秒 間 と 以 後 の 4 秒 間 で 注 視 点 の 数 と 注 視 時 間 を 分 析 し て ， 好 み の 男 性 の 体 タ イ プ と 部 位 を 推 定 し て い る ． 結 果 と し て ，女 性 全 体 の 視 線 か ら 見 る と ，Mesomorphs タ イ プ が 好 み に な る こ と が 多 い こ と と ， 女 性 は 男 性 の 全 身 を 見 る タ イ ミ ン グ で は 背 中 の 上 半 部 と 肩 に 注 目 す る こ と が 多 い こ と が わ か っ た ． こ の 研 究 は 一 人 の 好 み を 推 定 す る の で は な く ， 収 集 し た デ ー タ の 統 計 を 解 明 す る た め の 研 究 で あ る た め ， 非 リ ア ル タ イ ム の 手 法 を 使 用 し て い る ．

2.3. 視 線 情 報 か ら 注 目 語 抽 出 に 基 づ く 検 索 意

図 の リ ア ル タ イ ム 推 定

梅 本 ら[3] は ユ ー ザ が ウ ェ ブ ペ ー ジ を 閲 覧 す る 時 の 視 線 情 報 を 用 い て ， 注 目 し て い る 対 象 語 に 基 づ く 検 索 意 図 を リ ア ル タ イ ム で 推 定 す る 研 究 を 行 っ た ． 梅 本 ら は 「 注 目 度 の 高 い 単 語 ほ ど ， ユ ー ザ の 検 索 意 図 に 適 合 し て い る 」 こ と を 仮 定 し ， そ れ を 検 証 す る た め に 視 線 情 報 を も と に 常 に 注 目 語 を 抽 出 で き る プ ロ ト タ イ プ を 構 築 し た ． ユ ー ザ が こ と プ ロ ト タ イ プ で 表 示 し た ウ ェ ブ ペ ー ジ を 閲 覧 し て い る 間 に ， 実 際 に 注 目 さ れ て い る 語 彙 の 同 定 を 繰 り 返 し 行 い ，tf-idf に よ り ペ ー ジ 中 の 各 語 に 対 す る 注 目 度 を 計 算 す る ． そ し て 得 ら れ る 各 閲 覧 ペ ー ジ に お け る 注 目 語 集 合 を 1 つ 集 約 す る こ と で ， ユ ー ザ の 検 索 意 図 を リ ア ル タ イ ム で 推 定 す る ． 語 彙 の 注 目 度 を 計 算 す る た め に ， 梅 本 ら は MGT(Multiply Gaze by Tf)， nMGT(normalized MGT) ， DGT(Divide Gaze by Tf) ， nDGT((normalized DGT))の 4 モ デ ル を 提 案 し ， ベ ー ス ラ イ ン と し て の TF モ デ ル と 比 較 手 法 GAZE モ デ ル と と も に 合 計 6 種 類 の 手 法 間 で 推 定 精 度 を 比 較 し た ． 結 果 と し て ，MGT と nMGT モ デ ル は 比 較 的 に 高 い 精 度 で の 意 図 推 定 が 可 能 で あ る が ，DGT と nDGT モ デ ル の

推 定 精 度 は ベ ー ス ラ イ ン や 比 較 手 法 よ り 低 い こ と が わ か っ た と 報 告 し て い る ． 本 研 究 で 用 い ら れ て い る よ う な 視 線 情 報 の 利 用 方 法 は ，様 々 な 分 野 で 利 用 さ れ て い る が ，被 験 者 の 第 一・ 第 二 言 語 を 推 定 す る 研 究 は ， 著 者 が 知 る 限 り 存 在 し な い ．

3. 提 案 手 法

本 節 で は ， 提 案 手 法 で あ る ， 多 言 語 表 示 に 対 す る 視 線 情 報 を 用 い た 第 一 ・ 第 二 言 語 推 定 手 法 に つ い て 述 べ る ．

3.1. 概 要

本 研 究 で は 「 自 身 が 理 解 で き る 第 一 ・ 第 二 言 語 を 最 初 に 見 つ け て 長 く 注 視 す る 可 能 性 が 高 い 」と 仮 定 す る ． こ れ を 検 証 す る た め に ， 複 数 言 語 が 同 時 に 画 面 に 表 示 さ せ る ． ユ ー ザ が 多 言 語 表 示 画 面 を 見 る 視 線 を Eye Tribe で 読 み 取 り ， 時 系 列 の 視 点 座 標 が 得 ら れ る ． 視 線 情 報 と し て の 時 系 列 注 視 点 を 一 定 時 間 間 隔 で 切 り 分 け ， 言 語 別 に 注 視 の 時 間 割 合 を 算 出 す る ． 画 面 全 体 を ス キ ャ ン す る 視 線 移 動 を 含 め ， 注 視 時 間 割 合 の 第 一 ピ ー ク ，す な わ ち 最 初 に 一 番 長 く 停 留 す る 言 語 が 母 国 語 ， 第 二 ピ ー ク が 第 二 言 語 に な る と 仮 定 す る ．

3.2. 多 言 語 表 示

提 案 手 法 で は ， 多 言 語 で 記 述 さ れ た 単 語 や 文 ， あ る い は 画 像 を 表 示 し ， 被 験 者 の 第 一 ・ 第 二 言 語 を 推 定 す る ．ま た ，表 1 に 示 す よ う に 静 的 な 固 定 表 示 だ け で は な く ， 動 的 表 示 方 式 も 考 え る ． 固 定 表 示 と は ， 一 画 面 で 表 示 さ れ た 内 容 を 固 定 し ，変 化 は し な い 方 式 で あ る ． 動 的 方 式 で は 一 画 面 で 表 示 さ れ た 内 容 は 一 定 時 間 で 変 更 し ， 変 更 前 と 変 更 後 の 位 置 も 変 化 す る の で ， 読 ん で い れ ば 視 線 が 移 動 す る こ と に な る ． そ の 視 線 の 移 動 を 検 出 す る こ と で 第 一・第 二 言 語 を 推 定 す る こ と を 狙 う ．

表

1 多 言 語 表 示 リ ス ト

固 定 表 示 動 的 表 示 l 国 旗 ・ 国 章(図 3) l 一 単 語(図 4) l 一 文 全 体(図 5) l 一 文 ス ク ロ ー ル(図 6) l ニ ュ ー ス リ ス ト(図 7) l 一 文 全 体 l 一 文 ス ク ロ ー ル l ニ ュ ー ス リ ス ト 一 単 語(図 4)で 表 示 さ れ た 単 語 は Google Trends4_か ら ピ ッ ク ア ッ プ し た 意 味 が 理 解 し や す い 単 語 を 使 用 す る ． 一 文 表 示 で は ， 意 味 を 持 ち ， か つ ， わ か り や す い 文 が 求 め ら れ る た め ， グ ロ ー バ ル な ニ ュ ー ス サ イ ト か ら ピ ッ ク ア ッ プ し た ニ ュ ー ス の タ イ ト ル 文 を 使 用 す る ． 全 体 表 示(図 5)は 一 文 全 体 を そ の ま ま 表 示 し ， ス ク ロ 4 _{https://www.google.com/trends} ー ル 表 示(図 6)は 一 文 の 一 部 の み 表 示 し て 左 か ら 右 へ ス ク ロ ー ル す る ． ニ ュ ー ス リ ス ト 表 示(図 7)で は ， 画 面 を 複 数 ブ ロ ッ ク に 分 け ら れ ， 一 ブ ロ ッ ク で は 一 種 言 語 の 複 数 ニ ュ ー ル タ イ ト ル を 箇 条 書 き で 表 示 す る ．

図

3 国 旗 表 示 の 例

図

4 一 単 語 表 示 の 例

図

5 一 文 全 体 表 示 の 例

図

6 一 文 ス ク ロ ー ル 表 示 の 例 の ス ク リ

ー ン シ ョ ッ ト

図

7 ニ ュ ー ス リ ス ト 表 示 の 例

3.3. 推 定 手 法

3.3.1. 視 線 測 定 本 研 究 で は ， 被 験 者 に 対 す る 負 担 を 無 く す た め ， ウ ェ ア ラ ブ ル な 視 線 測 定 装 置 で は な く ， 設 置 式 の 装 置 Eye Tribe を 使 用 す る ．ユ ー ザ が 上 記 の 多 言 語 表 示 画 面 を 見 る 視 線 をEye Tribe で 読 み 取 り ， Eye Tribe の API に よ り 視 線 情 報 を 画 面 上 の 座 標 へ と 変 換 し ， 時 系 列 の 視 点 座 標 を 得 る ． 3.3.2. 注 視 点 処 理 人 は ど こ か に 注 視 す る 時 ， し ば し 注 視 点 外 に 視 線 を 移 す こ と が あ る が ，こ の よ う な 不 安 定 な 視 線 デ ー タ は ， 推 定 精 度 を 落 と す 原 因 と な る た め ， 前 後 の 視 点 と の 距 離 が50mm 以 上 ず れ て い る よ う な 視 点 座 標 は 削 除 す る こ と と す る ． 次 に ， 被 験 者 が 文 を 読 ん で い る か ど う か を 判 定 す る ． 文 の 途 中 ま で し か 読 ま な い 場 合 や 読 む 方 向 が 文 字 方 向 と 一 致 し な い 場 合 ， 被 験 者 は 当 該 文 の 記 述 言 語 を 読 ん で い る わ け で は な く ， 好 奇 心 で 見 て い る 可 能 性 が 高 い と 仮 定 す る ． 人 間 の 眼 球 運 動 は 注 視(fixation) と サ ッ カ ー ド (saccade)の 二 種 類 に 分 類 さ れ る [4]． 注 視 と は ， 視 点 が あ る 範 囲 内 で 一 定 時 間 と ま る こ と で あ る ． サ ッ カ ー ド は 注 視 点 間 を 移 動 す る 目 線 の 動 き で あ る ． 人 が 何 か を 見 て い る 時 ， 目 は 注 視 と サ ッ カ ー ド を 繰 り 返 し て 動 い て い く ． 注 視 点 の 領 域 や 注 視 時 間 ， サ ッ カ ー ド の 速 さ と 距 離 な ど は 視 線 情 報 と な る た め ， 時 系 列 の 視 点 座 標 か ら 注 視 と サ ッ カ ー ド 判 定 を 行 う ．判 定 方 式 はBuscher ら[5]の 手 法 を 使 用 す る ．注 視 と サ ッ カ ー ド 判 定 を 行 っ た ら ， 各 言 語 に 注 視 時 間 ， 注 視 点 数 ， サ ッ カ ー ド の 速 さ と 長 さ が 得 ら れ る ． 3.3.3. 注 視 時 間 割 合 の 算 出 時 系 列 の 視 点 座 標 を 一 定 時 間 間 隔(500ms)で 切 り 分 け ， 言 語 別 に 時 間 間 隔(500ms)を 占 め る 割 合 を 算 出 す る ．図 9 は 注 視 時 間 の タ イ ム ラ イ ン の 例（ 被 験 者 １ 名 ） を 表 し ， 図 10 は 一 定 時 間 間 隔 内 で の 注 視 時 間 割 合 の 例 を 示 し て い る ．画 面 全 体 を ス キ ャ ン す る 視 線 を 含 め ， 注 視 時 間 割 合 の 第 一 ピ ー ク ， す な わ ち 最 初 に 一 番 長 く 停 留 す る 言 語 が 母 国 語 ， 第 二 ピ ー ク が 第 二 言 語 に な る 可 能 性 が 高 い と 考 え ら れ る ．

図

9 注 視 時 間 タ イ ム ラ イ ン の 例 [ms]

(日 本 人 )

図

10 注 視 時 間 割 合 の 例 (日 本 人 )

3.3.4. 視 線 移 動 の 検 出 各 画 面 で 固 定 表 示 に よ る 推 定 を 行 う 同 時 に ， 画 面 の 切 り 替 え に よ る 動 的 表 示 か ら も 推 定 す る ． ① 被 験 者 が 一 画 面 を ス キ ャ ン し ，理 解 で き る 言 語 を 読 ん で い る 間 に 固 定 表 示 に よ る 推 定 を 行 う ． ② 5 秒 後 ， 画 面 を 切 り 替 え る ． こ の 時 ， 表 示 方 式 は 変 え ず ，各 言 語 の 内 容 と 表 示 場 所 の み を 変 更 す る ． ③ ① に 戻 る ． こ の よ う な 画 面 切 り 替 え 前 後 で ， 推 定 言 語 が 一 致 す れ ば ， 被 験 者 の 第 一 ・ 第 二 言 語 の 推 定 の 精 度 が 高 い と 判 断 す る こ と が で き る ．

4. 評 価 実 験

本 節 で は ， 第3 節 で 述 べ た 提 案 手 法 を 評 価 す る ．

4.1. 実 験 内 容

本 手 法 の 評 価 を 行 う た め ，8 名 の 大 学 生 ・ 院 生 (日 本 人 3 名 ， 中 国 人 2 名 ， 韓 国 人 1 名 ， ル ワ ン ダ 人 1 名 ， ミ ャ ン マ ー 人 1 名 )を 被 験 者 と し ，第 一・第 二 言 語 推 定 実 験 を 行 っ た ． 実 験 で は ， 置 き 式 視 線 測 定 装 置 Eye 30 386 1840 170 30 419 125 0 500 1000 1500 2000 2500 3000 Hindi English Japanese Korean French Chinese

図

8 停 留 注 視 点 の 例 （ 赤 丸 ： 注 視 点 ）

Tribe を デ ィ ス プ レ イ の 下 部 に 置 き ，被 験 者 を デ ィ ス プ レ イ の 前 に 座 っ て ，デ ィ ス プ レ イ で 多 言 語 表 示 を 見 る ． 視 点 校 正 の た め ， 実 験 が 始 ま る 前 に ， 各 被 験 者 が そ れ ぞ れ キ ャ リ ブ レ ー シ ョ ン を 行 う ． 実 験 後 被 験 者 の 本 当 の 第 一 ・ 第 二 言 語 を ヒ ア リ ン グ に よ り 記 録 す る ． 本 手 法 の 各 表 示 方 式 で 推 定 し た 第 一 ・ 第 二 言 語 の 結 果 を 正 解 で あ る 第 一 ・ 第 二 言 語 と 比 較 し ， 一 致 す る 時 の 推 定 正 解 率 を そ れ ぞ れ 算 出 す る ． 実 験 環 境 と し て ， 今 回 の 評 価 実 験 は CPU が Intel(R) Core(TM) i7-4770 CPU @3.4GHz， メ モ リ が 16.0GB， OS が 64bit Windows 7 の コ ン ピ ュ ー タ で 実 施 し た ．

4.2. 表 示 内 容

一 文 表 示 で 使 用 す る ニ ュ ー ス タ イ ト ル の 出 典 サ イ ト を 表 2 に 表 示 す る ．各 言 語 は そ れ ぞ れ の ニ ュ ー ス サ イ ト か ら 50 個 ず つ タ イ ト ル を 記 録 す る ．一 文 表 示 で は 毎 回 各 言 語 ラ ン ダ ム で1 個 表 示 す る ． ニ ュ ー ス リ ス ト の 場 合 は 毎 回 各 言 語 ラ ン ダ ム5 個 箇 条 書 き で 表 示 す る ． 各 表 示 方 式 に お け る 表 示 内 容 と 位 置 を 表 3 で 示 す ．一 単 語 ， 一 文 表 示 ， ニ ュ ー ス リ ス ト 表 示 は そ れ ぞ れ 5 回 表 示 す る た め ， 固 定 表 示 に よ る 推 定 は そ れ ぞ れ5 回 ， 動 的 表 示 で 視 線 の 追 い か け に よ る 推 定 は そ れ ぞ れ 4 回 行 う こ と に な る ． 表 示 時 間 の 長 さ に 関 し て ， 被 験 者 に 対 象 画 像 を 見 せ て か ら5 秒 以 内 の 視 線 が 最 初 の 意 思 を 表 す 可 能 性 が 高 い の で ， 本 研 究 で は 被 験 者 が 言 語 を 選 択 し て 見 る 意 思 を 推 定 す る た め に ， す べ て の 表 示 方 式 に 対 し て 各 回 の 表 示 時 間 を 5 秒 と 設 定 す る ．

表

2 各 言 語 の 出 典 ニ ュ ー ス サ イ ト

言 語 出 典 ニ ュ ー ス サ イ ト

Chinese _{(http://www.bbc.com/zhongwen/simp)} BBC Chinese English _{(http://www.bbc.com/)} BBC

French _{(http://www.bbc.com/afrique)} BBC French Hindi _{(http://www.bbc.com/hindi)} BBC Hindi Japanese _{(http://news.yahoo.co.jp/)} Yahoo Japan

Korean _{(http://www.naver.com/)} Naver Thai _{(http://www.thairath.co.th/)} Thairath

表

3 各 表 示 方 式 に お け る 表 示 内 容 と 位

置

表 示 方 式 表 示 言 語 数 固 定 表 示 回 数 各 回 表 示 位 置 各 回 表 示 内 容 国 旗 8 2 random -- 国 章 8 2 random -- 一 単 語 65 5 random 50 件 中 random で 1 件 一 文 全 体 76 _{5 random} 50 件 中 random で 1 件 一 文 ス ク ロ ー ル 7 6 _{5 random} 50 件 中 random で 1 件 ニ ュ ー ス リ ス ト 6 5 _{5 random} 50 件 中 random で 5 件

4.3. 実 験 結 果

実 験 結 果 と し て は ， 各 表 示 方 式 に お け る 固 定 表 示 に よ る 第 一・第 二 言 語 の 推 定 正 解 率 は 図 11 と 図 12 に 示 す ．図 13 と 図 14 で は そ れ ぞ れ 第 一 と 第 二 言 語 に お け る 判 定 ま で の 時 間 と 平 均 正 解 率 の 関 係 を 表 す ．

図

11 固 定 表 示 に よ る 第 一 言 語 推 定 正 解

率

5 _{Chinese, English, French, Japanese, Korean, Thai} 6 _{Chinese, English, French, Hindi, Japanese, Korean,}

図

12 固 定 表 示 に よ る 第 二 言 語 推 定 正 解

率

図

13 第 一 言 語 に お け る 判 定 ま で の 時 間

と 平 均 正 解 率 の 関 係

図

14 第 二 言 語 に お け る 判 定 ま で の 時 間

と 平 均 正 解 率 の 関 係

3.3.4 で 述 べ た よ う に ， 本 研 究 で は 各 画 面 で 固 定 表 示 に よ る 推 定 を 行 う 同 時 に ， 画 面 の 切 り 替 え に よ る 動 的 表 示 か ら 母 語 を 推 定 す る ．各 表 示 方 式 に お い て 4 回 ず つ 表 示 内 容 変 更 に よ る 4 回 動 的 表 示 の 中 に ，視 線 追 い か け を 行 っ た 率 は 追 い か け 率 と し て ，図 15 に 示 す ．

図

15 視 線 の 追 い か け 率

4.4. 考 察

4.3 か ら わ か る よ う に ， 各 表 示 方 式 に お い て 第 一 言 語 の 推 定 正 解 率 が 第 二 言 語 よ り 高 く な っ て い る ． 母 語 の 推 定 で は ， 一 文 全 体 表 示 の 推 定 正 解 率 が 一 番 高 く 67.5%と な る ． 図 13 か ら 画 面 を 表 示 し て か ら 1500ms で は 推 定 正 解 率 が 低 い こ と が わ か る ． 原 因 と し て は ， 画 面 を 表 示 し て か ら 1500ms ま で は 人 の 視 線 が 画 面 全 体 を ス キ ャ ン し ， 理 解 で き る 言 語 を 探 し な が ら 読 ん で い る 視 線 で あ る こ と が わ か る ．ま た ，4500ms 以 上 を 見 る と ， 推 定 正 解 率 が 下 が る こ と か ら ， 理 解 可 能 な 言 語 を 読 み 終 え て ， 好 奇 心 で 他 の 言 語 を 長 く 注 視 し て し ま う こ と が 考 え ら れ る ． 動 的 表 示 で は ， 一 文 ス ク ロ ー ル 表 示 と ニ ュ ー リ ス ト 表 示 は 画 面 の ス キ ャ ン の 時 間 が 長 く な り ， 表 示 内 容 が 変 更 さ れ た 後 は す ぐ に 追 い か け し に く い た め ， 追 い か け 率 が 一 文 全 体 表 示 よ り 低 く な る ．

5. ま と め

本 稿 で は ， ユ ー ザ が 複 数 種 類 の 多 言 語 表 示 画 面 を 見 る 視 線 情 報 を 用 い て ， 各 言 語 に 注 視 時 間 や 視 線 の 追 い か け を 検 出 す る こ と に よ っ て ， 非 侵 襲 的 に ユ ー ザ の 第 一 ・ 第 二 言 語 を リ ア ル タ イ ム で 推 定 す る 手 法 を 提 案 し た ． ま た 今 回 の 実 験 は デ ジ タ ル サ イ ネ ー ジ で は な く ， パ ソ コ ン の デ ィ ス プ レ イ で 行 っ た ． 実 際 の デ ジ タ ル サ イ ネ ー ジ で は ，ユ ー ザ が 立 っ た ま ま 見 る 場 合 が 多 い た め ， そ の 時 の 視 線 か ら 推 定 が 難 し く な る ． ま た ， 機 械 学 習 や パ タ ー ン 認 識 な ど の 手 法 を 用 い て 推 定 正 解 率 を 向 上 す る こ と も 今 後 の 課 題 に な る ．

参 考 文 献

[1]. 藤 好 宏 樹 ,吉 村 和 代 ： "英 文 問 題 解 答 時 の 視 点 情 報 を 用 い た 英 語 能 力 推 定 法", 電 子 情 報 通 信 学 会 技 術 研 究 報 告:信 学 技 報 (パ タ ー ン 認 識 ・ メ デ ィ ア 理 解), Vol.115, No.24, pp.49-54 (2015)

[2]. Dixson, Barnaby J., et al.: "Eye-tracking women’s preferences for men’s somatotypes," Evolution and

0 20 40 60 80 100 500 1000 1500 2000 2500 3000 3500 4000 4500 5000 平均推定正解率 [%] 時間[ms] 国旗 国章 一単語 一文全体 一文スクロール ニュースリスト 0 50 100 500 1000 1500 2000 2500 3000 3500 4000 4500 5000 平均推定正解率 [%] 時間[ms] 国旗 国章 一単語 一文全体 一文スクロール ニュースリスト

Human Behavior, Vol.35, No.2, pp.73-79 (2014) [3]. 梅 本 和 俊 , 山 本 岳 洋 , 中 村 聡 史 , 田 中 克 己 : "視 線

情 報 か ら の 注 目 語 抽 出 に 基 づ く 検 索 意 図 の リ ア ル タ イ ム 推 定", 情 報 処 理 学 会 論 文 誌 (デ ー タ ベ ー ス), Vol. 6, No.3, pp. 120-131 (2013)

[4]. Keith Rayner: "Eye movements in reading and information processing: 20 years of research," Psychological bulletin, Vol. 124, No.3, pp.372-422 (1998)

[5]. Georg Buscher and Andreas Dengel: "Gaze-based filtering of relevant document segments," Proc. of International World Wide Web Conference (WWW), 2009.