甲南大学大学院 自然科学研究科
知能情報学専攻 灘本研究室
背景
人とロボットとの円滑なコミュニケーションの
手助けとなるものが必要
人
人がロボットをコミュニケーションの対象とするには抵抗がある
コミュニケーションロボット
しかし共存
背景
参考文献:Takayuki T Kanda, Hiroshi Ishiguro, Tetsuo Ono, Michitaka Imai, and Ryohei Nakatsu.,
Development and evaluation of an interactive humanoid robot robovie. In Proceedings of the IEEE International Conference on
ロボット同士の対話観察を人が行うことで、人とロボットと
の自然で円滑なコミュニケーションが可能になる
漫才
ロボット同士の対話漫才ロボット
3背景
漫才
漫才台本
Webニュース
漫才ロボットによる漫才では、漫才台本を
Webニュースから自動生成して漫才を行う
漫才台本を自動生成
時事ネタは ユーザの共感 を得られやすいあいちゃん
(ツッコミ)
ゴン太
(ボケ)
背景
受動型情報提供メディア
メディア
ロボットコンテンツ
Webニュースロボットに対する親しみの向上
ニュース離れの克服
テレビよりもさらに速い速報性
input output
お題
漫才台本
ユーザ
漫才ロボット
リアルタイム作成
(2~3分程度)
3分程度 の漫才漫才ロボットの流れ
漫才台本自動生成
お題に関連したニュース 記事をWebから取得 記事の文章を基にして ボケやツッコミを自動生成漫才の構成(三段構成)
つかみ
本ネタ
オチ
漫才の導入部分
挨拶と一笑い
漫才の主軸となる部分
ニュース記事を読み上げ
て紹介しながら様々なボ
ケとツッコミで笑いを取る
まとめと最後の笑い
表情ボケ
言葉遊び
ノリツッコミ
過剰ボケ
対立ボケ
例え表現
謎かけ
例え表現
例え表現
ある物事を別の似ている物事で表現すること羽生結弦がNHK杯で3連覇
Webニュース記事タイトル
上原浩治が日本選手権シリーズで 優勝
野球で例え表現
ユーザの興味を考慮した情報の推薦が可能
羽生結弦が
NHK杯
で3連覇
Webニュース記事タイトル
日本選手権シリーズ
で優勝
野球で例え表現例え表現は例える
ものの価値
を考慮して行うことで
より内容が伝わりやすくなる
神戸草野球大会
で準優勝
野球で例え表現例え表現
ユーザの興味
ものの価値
Webニュース記事タイトルの
例え表現自動生成
Webニュース記事内容の理解支援
情報視野の拡大
異なるカテゴリ間の新たな関係構築
例え表現
羽生結弦
が
NHK杯
で
3連覇
Webニュース記事タイトル
𝑺
(主語)が
𝑶
(目的語) で
𝑽
(述語)
誰がどこ/何でどうした
上原浩治
が
日本選手権シリーズ
で
優勝
例え表現
例え表現の自動生成は,
閲覧記事タイトルを対象に,タイトル中の
𝑺
𝟎,𝑶
𝟎,𝑽
𝟎に対して
𝑺
𝟏,𝑶
𝟏,𝑽
𝟏を取得しそれぞれ置換することで成り立つ
𝑺
𝟎
𝑶
𝟎
𝑽
𝟎
𝑺
𝟏
𝑶
𝟏
𝑽
𝟏
例え表現
条件
𝑺
𝟏
ユーザの知識や興味のカテゴリに属する語
閲覧記事タイトルの
𝑺
𝟎と価値が近似している語
𝑶
𝟏
𝑺
𝟏に対して文脈的繋がりを持つことができる語
閲覧記事タイトルの
𝑶
𝟎と価値が近似している語
𝑽
𝟏
𝑺
𝟏と
𝑶
𝟏に対して文脈的繋がりを持つことができる語
閲覧記事タイトルの𝑽𝟎と意味合いのベクトルが近似している語𝑺
𝟏と
𝑶
𝟏は
価値の類似性
を考慮する
𝑽
𝟏は
意味の類似性
を考慮する
羽生結弦がNHK杯 で 優勝 Webニュース記事タイトル 上原浩二が日本選手権シリーズで優勝 例え表現例え表現
𝑺𝟏の取得
𝑶𝟏の取得
𝑽𝟏の取得
例え表現生成
ユーザの興味の入力
閲覧記事タイトルを取得
例:
野球
例:「羽生結弦がNHK杯で3連覇」
例え表現
例え表現
羽生結弦
が
NHK杯
で
3連覇
閲覧記事タイトル𝑺
𝟎
羽生結弦
𝑶
𝟎
NHK杯
𝑽
𝟎
3連覇
𝑺
(主語)が
𝑶
(目的語) で
𝑽
(述語)
誰がどこ/何でどうした 形態素解析 係り受け解析閲覧記事タイトル中
の
𝑺
𝟎,
𝑶
𝟎,
𝑽
𝟎を取得
𝑺
1
???
𝑶
1
???
𝑽
1
???
例え表現
𝑺
𝟏
の取得
𝑺𝟏の候補𝑺𝟏𝒊をWikipediaのコーパスから ユーザの興味に着目して取得下位概念
野球(ユーザの興味
𝑻 )
オリンピック野球日本代表選手
松坂大輔 松中信彦 上原浩治 野茂英雄 田中将大 ダルビッシュ有 古田敦也 𝑺𝟏𝒊 𝑺𝟎の価値を決めるために比較指標となる 語をWikipediaのコーパスから取得 𝑺𝟎𝒊上位概念
羽生結弦(
𝑺
𝟎)
小塚崇彦
羽生結弦
石田治子
渡辺明
浅田真央
五女瀦カ男
天野真
オリンピックフィギュアスケート日本代表選手取得した語の価値を推定
価値の推定
価値あるものには価値あるものが関わる
仮説
価値が時間的に持続しているものはより価値がある
価値は指標や視点により判断は様々
PageRank
Wikipediaの閲覧履歴
𝑉𝑎𝑙 = 価値の最終スコア
𝑡
𝑖= 価値を求める語
𝑃𝑅 = PageRank
(価値あるものには価値あるものが関わる)
𝑇𝐷= Wikipedia閲覧スコア
(価値が時間的に持続しているものはより価値がある)
𝑉𝑎𝑙 𝑡
𝑖
= 𝛼𝑃𝑅 𝑡
𝑖
+
𝛽
log 𝑇𝐷(𝑡
𝑖
)
※
𝛼 + 𝛽 = 1.0
価値の推定
フィギュアスケー ト選手(順位)
(𝑉𝑎𝑙 𝑡
価値
𝑖)
正規化
𝑉𝑎𝑙 𝑡
𝑖)
荒川静香(1)0.00449
1.0
浅田真央(2)0.00439
0.9769
安藤美姫(3)0.00360
0.8023
井上怜奈(4)0.00227
0.5060
村主章枝(5)0.00225
0.5025
羽生結弦(6)0.00214
0.4778
鈴木明子(7)0.00174
0.3889
本田武史(8)0.00163
0.3628
八木沼純子(9)0.00162
0.3616
小塚崇彦(10)0.00148
0.3302
オリンピック野球 日本代表(順位)
価値
(𝑉𝑎𝑙 𝑡
𝑖)
正規化
𝑉𝑎𝑙 𝑡
𝑖)
野茂英雄(1)0.0132
1.0
松坂大輔(2)0.0120
0.9072
田中将大(3)0.0113
0.8531
森野将彦(4)0.0074
0.5618
古田敦也(5)0.0070
0.5318
上原浩治(6)0.0062
0.4675
宮本和知(7)0.0061
0.4618
松中信彦(8)0.0060
0.4549
ダルビッシュ(9)0.0057
0.4358
小笠原道大(10)0.0051
0.3872
「
羽生結弦
」と価値の正規化値が近似している
「
上原浩治
」を
𝑺
𝟏
として取得
例え表現
𝑺
𝟏
の取得
例え表現
𝑶
𝟏
の取得
𝑶𝟏の候補𝑶𝟏𝒋をWikipediaのコーパスから ユーザの興味に着目して取得 𝑶𝟎の価値を決めるために比較指標となる 語をWikipediaのコーパスから取得上位概念
NHK杯国際フィギュアスケート 競技大会 将棋の棋戦 NHK全国学校音楽コンクール 日本ラグビーフットボール選手権 大会 NHKマイルカップ 全日本相撲選手権大会 NHK全国大学放送コンテスト 全日本選抜ボウリング選手権大会 𝑶𝟎𝒌NHK杯
下位概念
ユーザの興味(野球) 将棋の棋戦 クライマックスシリーズ みやざきサンシャインシリーズ 全日本リトルリーグ野球選手権大会 全日本クラブ野球選手権大会 社会人野球日本選手権大会 日本選手権シリーズ 𝑶𝟏𝒋日本の野球大会
NHK杯(順位)
価値
(𝑉𝑎𝑙 𝑡
𝑖)
正規化
(𝑉𝑎𝑙 𝑡
𝑖)
天皇杯全日本サッ カー選手権大会(1)0.00449
1.0
NHK全国学校音楽 コンクール(2)0.00439
0.9769
日本ラグビーフット ボール選手権大会 (3)0.00360
0.8023
日本オープンゴル フ選手権競技(4)0.00227
0.5060
NHKマイルカップ(5)0.00225
0.5025
NHK杯体操選手権 (21)0.00174
0.3889
NHK杯国際フィギュア スケート競技大会(22)0.00163
0.3628
野球大会(順位)
価値
(𝑉𝑎𝑙 𝑡
𝑖)
正規化
(𝑉𝑎𝑙 𝑡
𝑖)
クライマックスシリーズ (1)0.0101
1.0
社会人野球日本選手 権大会(2)0.0079
0.7803
全日本クラブ野球選手 権大会(3)0.0045
0.4528
日本選手権シリーズ(4)0.0044
0.4370
全日本リトルリーグ野 球選手権大会(5)0.0025
0.2477
ナショナルクラブベース ボールシリーズ(6)0.0013
0.1306
みやざきサンシャイン シリーズ(7)0.0008
0.0887
イースタン・リーグ チャ レンジ・マッチ(8)0.0003
0.0334
「
NHK杯国際フィギュアスケート競技大会
」と価値の
正規化値が近似している「
日本選手権シリーズ
」を
𝑶
𝟏として取得
例え表現
𝑶
𝟏
の取得
・ ・ ・ ・・・ ・・・連覇(
𝑽
𝟎)
意味ベクトルが近い語 Cos距離 制覇 0.738 勝利 0.710 優勝 0.702 決勝 0.684 ワンツーフィニッシュ 0.682 チャンピオン 0.668 雪辱 0.609 快勝 0.604 圧勝 0.592 勝ち 0.588𝑽
𝟎と意味ベクトルが近い語(
𝑽
𝟏𝒍)をWord2vecを用いて取得
𝑽𝟏𝒍例え表現
𝑽
𝟏
の取得
𝑽
𝟏𝒍の中から
𝑽
𝟎と最も共起度が高い語を
𝑽
𝟏として取得
連覇(
𝑽
𝟎)
意味ベクトルが近い語 共起度 制覇 0.12 勝利 0.30 優勝 0.62 決勝 0.18 ワンツーフィニッシュ 0.02 チャンピオン 0.17 雪辱 0.03 快勝 0.07 圧勝 0.07 勝ち 0.16𝑽
𝟏
例え表現
𝑽
𝟏
の取得
𝑺
1
上原浩治
𝑶
1
日本選手権シリーズ
𝑽
1
優勝
羽入結弦
が
NHK杯FS競技大会
で
3連覇
(
𝑺
𝟎)
(
𝑶
𝟎)
(
𝑽
𝟎)
閲覧記事タイトル
置換例え表現
上原浩治
が
日本選手権シリーズ
で
優勝
(
𝑺
𝟏)
(
𝑶
𝟏)
(
𝑽
𝟏)
例え表現
𝑺
𝟎
羽生結弦
𝑶
𝟎
NHK杯
𝑽
𝟎
3連覇
ニュースタイトル
例え表現(野球)
本田圭佑がACミランへ移籍
田中将大がヤンキースへ移籍
DeNAが任天堂と資本提携
古田敦也 が楽天と契約
ラグビー日本代表が南アフリカに歴史
的勝利
阪神タイガースがドジャースに大勝
福山雅治が吹石一恵と結婚
イチローが山本昌と復縁
ニュースタイトル 例え表現(他) 羽入結弦がNHK杯FS競技大会で3連覇 国枝慎吾が全国高等学校総合体育大会テ ニス競技大会で3連覇(テニス) ラグビー日本代表が南アフリカに歴史的 勝利 森下卓が羽生善治に勝利(将棋) 大村智がノーベル賞を受賞 セガ・インタラクティブ が日本ゲーム大賞を 獲得(ゲーム)例え表現
例え表現
わかってるわ!野球で言えば
「
上原浩治が
日本選手権シリーズで優勝
」
したぐらいのことやろ?
ボケ ツッコミ「
羽入結弦がNHK杯で 3連覇
」
がどれくらいすごいことか
わかってるか?
まあ,間違ってはないけど
なんでも野球に置き換えれば
いいってもんちゃうで!
記事 タイトル 例え表現実験
目的
漫才ロボットの漫才コンテンツとしての有用性の評価
漫才ロボットのメディアとしての有用性の評価
被験者
男女計18名(20代)
条件
2種類の比較実験(漫才ロボット,ロボットによるニュースの読み上げ,
CGアニメーション)
を行い,被験者は各実演を見た後アンケートの各設
問に回答する
評価項目
(1)漫才ロボットとロボットによるニュースの読み上げとの比較 漫才ロボットの漫才コンテンツとしての有用性の評価 (2)漫才ロボットとCGアニメーションとの比較 漫才ロボットのメディアとしての有用性の評価メディア
ロボットコンテンツ
Webニュース 提案手法に基づき漫才ロボットあいちゃんとゴン太の2体のロボットが漫才を 実演する 漫才の題材となるWebニュースは「ラグビーワールドカップ」の記事を用いる 漫才ロボットあいちゃんとゴン太の2体のロボットがWebニュース記事のタイト ルおよび本文をそのまま読み上げる 読み上げるWebニュースは同様に「ラグビーワールドカップ」の記事を用いる あいちゃんは記事タイトルを読み上げた後,以降ゴン太が記事本文の内容を すべて読み上げる
実演パターン(1):漫才ロボット
実演パターン(2):ロボットによるニュースの読み上げ
漫才ロボットとロボットによる
ニュースの読み上げとの比較
結果と考察
設問:漫才ロボット/ロボットによるニュースの読み上げはそれぞれ
「わかりやすかったか」,「おもしろかったか」,「親しみやすかったか」
各5段階評価(5:高,1:低)
2つの実演実験の各評価結果の平均と比較 各評価結果のt検定 ・漫才ロボットがニュースを読むロ ボットと比較としてわかりやすさ,おも しろさ,親しみやすさの全項目におい て有意差が認められる ・提案手法によりWebニュース記事に 娯楽性を付加できているだけでなく, 漫才形式によりわかりやすさも向上 する見込みがある 評価値設問:漫才ロボットとロボットによるニュースの読み上げではどちらが好きか
・被験者18人中16人が漫才ロ ボットを指示 ・同様のロボット(メディア)を用 いた実験であることから,漫才 ロボットがコンテンツとして高い 有意性を得ていると考えられる結果と考察
2つの実演実験の評価結果の総計 評価値実験
目的
漫才ロボットの漫才コンテンツとしての有用性の評価
漫才ロボットのメディアとしての有用性の評価
被験者
男女計18名(20代)
条件
3種類の比較実験(漫才ロボット,ロボットによるニュースの読み上げ,
CGアニメーション)
を行い,被験者は各実演を見た後アンケートの各設
問に回答する
評価項目
(1)漫才ロボットとロボットによるニュースの読み上げとの比較 漫才ロボットの漫才コンテンツとしての有用性の評価 (2)漫才ロボットとCGアニメーションとの比較 漫才ロボットのメディアとしての有用性の評価メディア
ロボットコンテンツ
Webニュース
先の実験と同様
提案手法に基づき漫才ロボットが漫才を実演する
TVML( Television Making Language ) を用いて,2体のCGキャラクターが漫
才を行う
漫才には先の漫才ロボットの実験で自動生成した漫才台本を用いる
実演パターン(1):漫才ロボット
実演パターン(2):CGアニメーション
漫才ロボットと
CGアニメーションとの比較
結果と考察
設問:漫才ロボット/CGアニメーションはそれぞれ
「わかりやすかったか」,「おもしろかったか」,「親しみやすかったか」
各5段階評価(5:高,1:低)
2つの実演実験の各評価結果の平均と比較 各評価結果のt検定 ・漫才ロボットがCGアニメーションと比 較して親しみやすさの項目において 有意差が認められる ・ロボットによる実体での漫才の方が より親近感を促すことができる 評価値・被験者18人中14人が漫才ロ ボットを指示 ・ロボットによる存在感や実体感 により被験者が漫才に引き込ま れ易くなり,漫才ロボットがメディ アとしてより有意であると考えら れる
設問:漫才ロボットとCGアニメーションではどちらが好きか
結果と考察
2つの実演実験の評価結果の総計 評価値まとめと今後の課題
まとめ
人とロボットの円滑なコミュニケーションの実現を目的に漫才ロボット
を提案し、そのための漫才台本自動生成手法を提案した
漫才台本をつかみ・本ネタ・オチに分割し、台本中に用いる例えボケ
の自動生成手法を提案した
提案システムのコンテンツとしての有用性,メディアとしての有用性
を検証するために3種類の実験を行い結果的に漫才ロボットの有用
性がそれぞれ確認できた
課題
例えボケの台本への取り入れ手法の確立
ユーザの年代や興味を考慮した台本の生成
世代を広げ,より公平かつ厳密なアンケート実験による有用性の確
認
Tomohiro Umetani, Ryo Mashimo, Akiyo Nadamoto, Tatsuya Kitamura and
Hirotaka Nakayama, ``Manzai Robots: Entertainment Robots based on
Auto-created Manzai Scripts from Web News Articles'‘, Journal of Robotics
and Mechatronics, Vol. 26, No. 5, pp. 662-664, 2014.
研究成果(1)
• Ryo Mashimo, Tomohiro Umetani, Tatsuya Kitamura and Akiyo Nadamoto,
`` Generating Funny Dialogue between Robots based on Japanese Traditional Comedy Entertainment”, Proceedings of the 2014 Conference on Interactive Entertainment, IE2014, 2014.
• Ryo Mashimo, Tomohiro Umetani, Tatsuya Kitamura and Akiyo Nadamoto,
`` Automatic Generation of Japanese Traditional Funny Scenario from Web Content based on Web Intelligence” , The 15th International Conference on Information
Integration and Web-based Applications & Services (iiWAS2015) , Brussels, Belgium, December, 2015. 採択率:30%
• Ryo Mashimo, Tomohiro Umetani, Tatsuya Kitamura and Akiyo Nadamoto,
``Human-Robots Implicit Communication based on Dialogue between ``Human-Robots using Automatic Generation of Funny Scenarios from Web”, In Proceedings of the 11th ACM/IEEE International Conference on Human-Robot Interaction(HRI 2016), March 7-10, Christchurch, New Zealand, 2016(to appear). . 採択率:25%
• Tomohiro Umetani, Satoshi Aoki, Kazuhiro Akiyama, Ryo Mashimo, Tatsuya Kitamura and Akiyo Nadamoto, ``Manzai Robot System with Scalability based on Distributed Software Components”, in Proceedings of the 26th 2015 International Symposium on Micro-Nano Mechatronics and Human Science, pp. 139-142, 2015.
研究成果(2)
•
真下 遼, 梅谷 智弘, 北村 達也, 灘本 明代,`` Webニュースからの漫才台
本自動生成を用いたコミュニケーションロボット”, Webとデータベースに
関するフォーラム2014(WebDB2014), B3-2,芝浦工業大学・豊洲キャンパ
ス,2014年11月,採択率:59% (
企業賞受賞
)
国内会議(査読あり):1本
研究成果(2)
• 真下 遼, 梅谷 智弘, 北村 達也, 灘本 明代,``つかみ・本ネタ・オチから構成される漫 才ロボット台本自動生成手法の提案”, ARG 第4回Webインテリジェンスとインタラク ション研究会,隠岐開発総合センター島民ホール,2014年5月. • 真下 遼, 梅谷 智弘, 北村 達也, 灘本 明代,``文の感情を考慮した漫才ロボット台本自 動生成手法の提案”,第7回データ工学と情報マネジメントに関するフォーラム, (DEIM2015),2015年3月 • 真下 遼,灘本明代,``Webニュース内容理解支援のための例え表現自動生成手法の 提案”, 電子情報通信学会データ工学研究会(DE),東大寺総合文化センター,2015年 8月 • 真下遼,灘本明代,``ユーザの興味を考慮したWebニュース理解支援のための例え 表現生成手法",第8回データ工学と情報マネジメントに関するフォーラム(DEIM2016), 2016(to appear). • 大原正章,真下遼,灘本明代,``Webニュースの閲覧記事に対する対立記事抽出手研究会発表:5本
研究成果(3)
紀要:1本
• 孝橋一希, 真下遼, 久井晶太, 梅谷智弘, 北村達也, 灘本明代,
``小型漫才ロボットの制御システムの開発", 甲南大学紀要知能情報学編, Vol. 8, No. 1, pp. 9-18, 2015.
ポスター発表:5本
研究成果(4)
• 真下 遼, 梅谷 智弘, 北村 達也, 灘本 明代,``Webニュースからの漫才台本自動生成 を用いたコミュニケーションロボット”,WebDB Forum 2014 ,芝浦工業大学・豊洲キャン パス,2014年11月 • 真下 遼, 梅谷 智弘, 北村 達也, 灘本 明代,``文の感情を考慮した漫才ロボット台本 自動生成手法の提案”,第7回データ工学と情報マネジメントに関するフォーラム, (DEIM2015) ,2015年3月 • 青木哲,秋山和寛,林拓実,原口和貴,真下遼,梅谷智弘,北村達也,灘本明代 ``XML台本に基づく複数ロボットの同期制御コンポーネント”, 第16回計測自動制御学会システムインテグレーション部門講演会講演論文集, pp. 1055-1057, 2015. • 青木哲,秋山和寛,孝橋一希,真下遼,梅谷智弘,北村達也,灘本明代, ``Raspberry Piを利用した小型漫才ロボットの開発”, 日本機械学会ロボティクス・メカトロニクス講演会2015講演論文集,1A1-J01, 3 pages (DVD-ROM), 2015. • 梅谷智弘,孝橋一希,北村達也,真下遼,灘本明代, ``分散駆動型ソフトウェアコンポーネントを利用した小型漫才ロボットの開発”, ロボティクス・メカトロニクス講演会2014講演論文集, 3A1-T02,