The 28th Annual Conference of the Japanese Society for Artificial Intelligence, 2014
- 1 -
音韻
用い
性動画
推薦
手法
提案
A Method to Recommend Viscosity Animation Appropriate for Japanese Onomatopoeia Based on
Sound Symbolism
鍵谷
龍樹
*1白川
貴
*1土斐崎
龍一
*1渡
淳
*2丸谷
和
*2河
隆寛
*2坂
樹
*1Tatsuki Kagitani Yuki Shirakawa Ryuichi Doizaki Junji Watanabe Kazushi Maruya Takahiro Kawanabe Maki Sakamoto
*1
電気通信大学大学院
情報理
学研究
Graduate School of Informatics and Engineering, The University of Electro-Communications
*2
NTT
ニ
ン
学基礎研究所
NTT Communication Science Laboratories
Viscosity has long been a problem in texture perception. Viscosity perception is one of those frequently expressed by onomatopoeia–a set of words that are often used to express sensory experiences in Japanese. In this paper we investigate the associations between phonemes of Japanese onomatopoeia for expressing viscosities and subjective evaluations of viscosities. Additionally, we propose a system that can recommend viscosity animations consistent with onomatopoetic expressions based on Japanese sound symbolism. Our system estimates meanings evoked by a certain onomatopoetic expression quantitatively, and calculate the viscosity values from the meanings.
1.
めに
近 多 質感 知 関 研究 行わ い 例えば
滑感 硬軟感 冷温感 感 摩擦感 様々 特性
関 触覚 視覚 両面 定 化 行わ [永
2011] 成果 学術的 面 新素 新製品 開
発 CG制作 広い分 応用 い 様 質感
知 要 特性 あ 性知覚 い 視触覚
両方 定 化 行わ [辻 2002 大西 2005 林 2008 岡 2011] 特 視覚 知覚 性 定 化 心理物 理学 観点 行わ [Kawabe 2012 Fleming 2012] 視
覚的 性 知覚 物理 間 関 明 い
人間 言語 利用 感覚入力 化
素 触覚特性 感覚的印象 把握 い [苧阪 1999]
性 知覚 い 視覚的 感 動 性
言語 化 い 考え 研究
質感 表現 際 頻繁 用い 擬音語 擬
態語 総称 注目 性 主観的 評価 音
韻 間 音象徴的 結 明 目的
学的 応用 直感的 表
現 適 動画 推薦 構築
人 質感 表現 日常的 使用
特 性 表現 表現
用い 感 強 関連 語 あ 人間 感性
直感的 表現 語 あ [矢口 2011]
主観 入 人 解釈 異 あい い 表現
い 近 様々 学的研究 用い
感覚 定 化 試 行わ い
感覚 構成 音韻 間 強い
結 あ [Hamano 1986] 例えば /a/音
広 い 面的 意味 /i/音 一直線 伸
う 線的 意味 喚起 い い [藤沢 2006] 擬
音語 構成 音韻 擬音語 印象 与え 影響 数 化
線形和 擬音語 印象評価値 予測 仮定
ッ ン 2 擬音語表現 音韻 印象評価値
関 化 い 拡張 任意
数 持 表現 対 印象 予測
基 印象 定 的 評価 提
案 い [清水 2014]
以 研究 構成 音韻 質感 知
覚 強い結 [早川 2010] 着目 性
評価手法 用い 視覚刺 直感的
質感 定 化 試 分析結果 応用
印象 適 性表現 提案 構築
性感 視覚的 表現 映像 作
い 要望 対 具体的 作成指針 提案 可能
期待
2.
粘性
評価実験
研究 性 評価手法 用い
視 覚 知覚 性 質感 定 化 行う 結
果 用い 印象 適 性表現 提案
構築 性感 視覚的 表現 映
像 作 い う要望 対 具体的 作成指針 提案
可能 目的 記 目的 達成 心
理実験 行い 構成 音韻 主観的 性評価
値 関 検討
2.1
実験素材
選定
研究 性 評価 適 素 動 識
い 素 選 CG 作成 動画素 50種 被験
者3 評価 予備実験 行 CG動画 異 度
流体 流 様子 表現 60枚 画像 30枚/
合わせ 2 間 再生 流体 動 10
ン 存 在 ン 5 段 階 度
10^-0 m2/s： 度高～10^-4 m2/s： 度 与え い
予備 実験 各 動画素 知覚 性 点数 0点 ～
連絡 ：坂 樹 電気通信大学大学院情報理 学研究
東京都調 調 ヶ丘1-5-1 Tel: 042-443-5535 FAX:
042-443-5535 [email protected]
The 28th Annual Conference of the Japanese Society for Artificial Intelligence, 2014
- 2 -
100点 評価 流体 動 想起回 答 い う 方法 行 結果 5 個 ン
Collision，Cream，Faucet，Overflow，Throw 性評
価 適 素 断 計 25 種 動画素 実験刺
実験 使用 以 選定 動画 一部
画像 30 目/全60 図 1 示
2.2
実験方法
用い 評価 視覚 通 知覚 性
質感 定 化 行う 目的 以 内容 行 実
験 被験者 28 実験素 動画25 種( 度5 段階
×動作5 ン) 静 画25 種( 度5 段階×動作5
ン) 計50 種 用い 人間 視覚情報 処理 行う際 物
体 動 形状 い 処理 置 運動 い 処理
々 経路 行 い 処理経路 印
象評価 影響 視覚刺 素 静 画
動画 2 ン 用意 実験 50 素 ン 順
複数回表示 1 順目 回答 2～
4 順目 性 0～100 点 評価 せ 方法 行
2.3
結果
実験 結果 回答 完 あ 3 結果 除い
動画素 性 表 素 25 種×被験者13 ＝
325 個 静 画素 性 表 素 25 種×被験
者12 ＝ 300 個 各素 性 評価 値( 性値)
素 50 種×被験者25 × 3 回＝ 3750 個 得
性値 前後 回答 影響 抑え 各被験者 3 回
分 回答 均 解析 用い 解析 各
第 第 分解 い
子音 種類(k,g,s,z,t,d,n,h,b,p,m,y,r,w) 母音 種類(a,i,u,e,o)
音 半 音 拗音 長音 撥音 音 無 型 種
類 後 全体 性値 均 対 各要素
性値 均 意差 あ う 調 t 検定
行 結果 意差 確 音韻 表1及 表2
示
表 1 第1 ー のt検定結果 一部
音韻 個数 性値 均 優 水準
全体 652 39.4
子音
g 32 56.0 *** s 73 23.9 *** z 74 25.7 *** d 147 50.0 *** n 40 57.2 ***
母音
a 185 23.9 *** i 56 20.2 *** u 90 55.3 *** e 58 51.4 ** o 236 47.1 *** *p<0.1, **p<0.01, ***p<0.001
表 2 第2 ー のt検定結果 一部
音韻 個数 性値 均 優 水準
全体 325 39.4
34 18.7 ***
子音
s 40 29.0 *** n 21 67.5 *** m 3 84.3 ** y 5 71.0 *** r 206 43.7 *
母音
a 162 32.5 * i 7 64.0 * e 2 84.2 * o 108 49.7 *** *p<0.1, **p<0.01, ***p<0.001
検定結果 第1 ” ” 用い
g ” ” 用い d ” ば ば” 用
い n ” ” 用い m 意 高い
性 表 ” ” 用い s ” ”
用い z 意 い 性 表 要素 あ 分
用い a
用い i い 性 用い
u ば ば 用い e
用い o 高い 性 表 い 分 [Hamano 1986] n 気 ”s” 水 流 液体 ”z” 水
喚起 論 実験結果 結果 一致
拗音 長音 音 無 性値 意差
あ 拗音 い ば ば 拗音 付属
う 付属 い 比 性値 傾
向見 長音 音 い 様
い 要素 付属 う
何 付 い 性値 傾向
見 (a) Collision
(b) Cream
(c) Faucet
(d) Overflow
(e)
(e) Throw
The 28th Annual Conference of the Japanese Society for Artificial Intelligence, 2014
- 3 -
第2 5 子音 い 意差
ば ば 用い s 第 様 い
性 表 い 用い n
第 様 結果 高い 性 表 い
用い m 用い
y 非常 高い 性 表 い
様々 性 表 用い r 均
高 性 表 い 一方 第 音韻
構成 " ” ” ”
う 複数 構成 性 感
わ 第1 構成
方 複数 構成 性
感 わ
う 各要素 性 間 強い関 性
見 性 評価手法 用い
性 質感 定 化 可能 考え
結果 利用 性表現 提案 作成
3.
シス
ム
設計
質感評価 [清水 2014] 一
部 内 利用 質感評価 利用
1度 入力 複数 形容詞尺度 表現可
能 新奇性 あ 入力 い 対応
可能
3.1
オノマ
ペ印象評価シス
ム
あ ゆ 対象 感性的印象 評価
印象評価 構成 子
音 母音 音 無 印象 予測
43対 形容詞尺度 定 化 行 い 印
象予測 各音韻特性 印象 線形和 表 ( )式 提
案 い
�
̂ = � + � + � + ⋯ + �
式 い あ 形容詞尺度 � = , , ⋯ , い ̂�
尺度 印象予測値 � ∼ � 各音韻要素
数 各音韻特性 印象 与え 影響 大 , � ∼ �
第1 子音行 音 半 音 拗音 母音 母音
語中標識 数 � 第 付 特殊語尾 撥音
音 長音 数 あ � ∼ � 第
2 子音行 音 半 音 拗音 母音 母音 語 標
識 数 � 第2 付 特殊語尾 あ � 反
復 数 表
数 化理論I類 用い 各形容詞尺度 対 数
算 結果 一部 表 3 示 . 数
音韻要素 全体 与え 影響 大 計
算 . 例えば “ わ わ” いう い- わ
い 評価尺度 い 音韻特性 わ(/h/ /u/ /w/ /a/) 反復 あ 第 /h/ /u/ 第 /w/ /a/
以 式 印象 予測 .
�
̂ = � + � + � + � + �
= − . + . + . + . + . = .
式 印象予測値 ７段階 尺度 設定
い 予測値 6.17 い- わ い (1~7) 評価尺
度 い , わ い 印象 強い 分 被験者
音韻 印象評価実験 “ わ わ” 尺度 評価 実
測値 被験者 回答 印象評価値 均 6.54 あ 予
測値 実測値 近い値 新奇性 高い
印象推定 い 高い 効性 得 い
研究 利用 新奇性 あ
対 性値 推定 可能
表 3 音韻要素の ゴ 数量 一部
形容詞尺度
第
子音行 音 無
行 行 行 音 半 音
明 い− い -2.11 -2.05 -2.36 1.09 -0.34 い−冷 い -1.15 0.52 -0.28 0.18 -0.13
固い−柔 い -0.82 -0.67 0.29 -0.39 0.48
湿 −乾い 0.62 0.49 0.49 -0.46 -0.68
滑 − -0.19 -0.5 -0.18 0.68 -0.15
3.2
音韻に適
た粘性値印象予測モ
ル
実験 得 625個 306種類
印象評価 い 43尺度
形容詞対 評価値 得 評価値 い 回帰
分析 行い 性 表 尺度 構成 以 回帰
式 R2=0.532 P<0.001 43尺度 中 特 性
深 関 尺度 変数増減法 ップワ 法 求
際Pin=0.5,Pout=1.0 回帰式
回帰分析 結果 以 数式 あ 回帰
分析 目的変数 使用 動 性 値 0～4 素
作 成 使 用 blender 一 あ 動 度 kinematic viscosity 単 m2 s-1 底10 log 符
反転 せ あ
動 性 = . × (厚い−薄い) .
× (自然 −人 的 ) .
× (滑 − ) .
× (鋭い−鈍い) .
× (静的 −動的 ) .
3.3
オノマ
ペ印象に適
た粘性動画
推薦
性表現 実験 使用 動画素 計
25種 用い 素 blender 利用 1 log101＝0 ～0.0001 log100.0001＝-4 動 度 作成
3.2 示 回帰式 結果 最 近い値 動
画素 返
今回実装 実行画面 図2 あ ウ ン ウ 部
ッ 任意 性 表
入力 定 ン 押 部 4.4.2
回帰式 結果 実際 動 度 表示
性 関 5尺度 い 印象
評価結果 表示 部 性表現
動 性 最 近い値 動画
5 ン 表示 図3 入力 得
結果 示 図 う 画面 部 入力
入力 喚起 感性的 印象
提示 3.2節 式 動
性 値 算 (“ ” 入力 場合 動 性
10^-1.39) 画面 部 動 性値 近い 5個 ン Collision Cream Faucet Overflow Throw 素 動画 推
The 28th Annual Conference of the Japanese Society for Artificial Intelligence, 2014
- 4 -
4.
おわりに
近 質感 知 関 研究 行わ 性
定 化 心理物理的 観点 行わ [Kawabe 2012]
研究 性 主観的 評価 音韻 間
音象徴的 結 利用 表 性 推
定 手法 提案 直感的 粘性表
現 適した動画を推薦する を構築した．
具体的 用い d ば ば
用い n g m い 子音 母音 u
e o 高い 性 表 用い s
用い z 母音 a i
拗音 長音 い 要素 い 性 表 い わ
子音 b 性 直接表 組 合わ
母音 性 強調 特異 要素 あ 明
結果 [Hamano 1986] 構成音 意
味 関 合致 あ 他 質感 感覚
性 い 表現 い いえ
音韻 性 間 関 性 利用
印象 適 性表現 提案
制作 活用 性感
視覚的 表現 映像 作 い い
具体的 作成指針 提案 可能 今後
妥当性 検証 評価実験 行う
参考文献
[永 2011] 永 , 岡 吾, 山 陽滋: 触覚的
質感次元構成 関 研究動向, 日
学会論文 , 16(3), pp.343-353, 2011
[辻 2002] 辻敏夫, 島崎知之, 金子 : ッ ン ン
対 人間 知覚能力 解析, 日 ッ 学会 , 20(2), pp.58-64, 2002
[大西 2005] 大西仁, 望 要: 力覚 プ 与え
感覚 心理物理学的検討: 性知覚 遅延 影響,
電 子 情 報 通 信 学 会 技 術 研 究 報 告, 105(406), pp.41-46 2005
[林 2008] 林大作, 大西仁, 中 直人: 性 触運動知覚 与
え 影 響 検 討, 電 子 情 報 通 信 学 会 技 術 研 究 報 告,
108(137), pp.33-36, 2008
[岡 2011] 岡 吾, 昆陽 , 所諭: 力 錯覚：指
振動触刺 質 性知覚 ,
ン 論文 , 16, pp.267-274, 2011
[Kawabe 2012] Kawabe, T., Maruya, K., & Nishida, S. The role of dynamic visual information in the estimation of liquid viscosity. Journal of Vision, 12(9): 870, 2012.
[Fleming 2012] Fleming, R., & Paulun, V. Goop! On the visual perception of fluid viscosity. Journal of Vision, 12(9): 949, 2012.
[苧坂 1999] 苧坂直行：感性 ば 研究 -擬音語 擬態
語 読 心 あ , 新曜社, 1999
[矢口 2011] 矢口幸康: い 共感覚的表現 意
味理解構造, 知心理学研究, 8(2), pp.119-129, 2011 [Hamano 1986] Shoko Hamano: The Sound-symbolic System of
Japanese, Doctoral dissertation, Gainesville, University of Florida, 1986
[藤沢 2006] 藤沢望, 尾畑文 , 高 幸, 岩宮 一郎: 2
擬音語 音 印象, 日 音響学会 ,
62(11), pp.774-783, 2006
[清水 2014] 清水祐一郎, 土斐崎龍一, 坂 樹:
微細 印象 推定 , 人 知能学会論文 ,
29(1), pp. 41-52, 2014
[早川 2010] 早川智彦, 松 茂, 渡 淳 : 利用
触 心地 分類手法, 日 学会論文 ,
15(3), 2010
図 3 “ ろ ろ”の 出力結果
ー
ー ンタ ェー
グ ー
ンタ ェー
粘性評価 ー
評価管理部
粘性評価部
粘性 ー 判定部
質感評価
43尺度 ノマ
質感評価
粘性表現
ータ ー
粘性 ー
ー
