テレビ電話によるロボットの遠隔制御と
アイドル応援システム
埼玉大学
大学院理工学研究科
数理電子情報部門
2
本日の内容
• 人を中心としたセンシングとそのインタラクションシステムへの応用 人と人の間で役立つ情報/ロボット技術 ロボット 人を中心としたセンシング システム ユーザ ユーザ センシング結果の応用 斜め 横並び 縦一列 情報デバイス カメラ 距離センサ 加速度センサ 社会学的分析 人とロボットが 共存する社会 実世界事象の 計算機理解 テレビ電話によるロボットの遠隔制御 アイドル応援システム研究背景
• テレプレゼンスロボットなど，テレビ電話をしながら 相手側にあるロボットを遠隔操作する研究が増えている • 我々もテレビ電話とロボットを使用した、認知症介護支援を 目的とする遠隔コミュニケーションシステムを研究している 遠隔コミュニケーションシステム テレプレゼンスロボット4
問題点
遠隔地 • のロボットの操作には，テレビ電話と別の通信が必要 テレビ – 電話用とロボット操作用で２回線の通信路が必要 ロボット – 操作用の回線の管理は大変 一般的 – なテレビ電話システムを使えばテレビ電話の利用は簡単 テレビ電話回線ひとつにまとめられないか？ テレビ電話 ロボット操作 テレビ電話システム が管理 通信設定サーバ管理アカウント管理提案手法
• ロボットを操作する可視聴信号を テレビ電話で流す • テレビ電話で伝達された信号を ロボットのマイクやカメラで認識 伝達された信号に応じて ロボットが動作 音の場合の例 ♪ ♪ ♪ ！6
音声信号によるロボット操作
• 人が聞いても不快にならない音を使う
– 音楽や動作に関連付けられた音は聞こえても テレビ電話コミュニケーションを（あまり）妨げない
遠隔通話システムへの応用
• テレビ電話で高齢者と近親者が写真を見ながら会話 • ロボットが写真を指差すなどで会話を支援 ♪ ♪ 1. 操作側で画像をクリック ロボット操作用の可聴音信号を流す 2. ロボット側で信号を認識 ロボットが操作側でクリックした画像 と同じ画像を指す8
映像信号によるロボット操作
• 人が見ても不快にならないマークなどを使う – 邪魔にならない場所に表示 – 背景との区別を容易に – ユーザにも意味が分かるマーク ！ビデオ通話への影響
ビデオ通話時の可聴信号，可視信号の会話への影響を調査 • 全体として会話を大きく妨げることは無かった • 音声よりもマークのほうが良い印象 0 1 2 3 4 5 6Conversation flow Signal's presence Timing Robot's movement
Robot's intellectuality
Questionnaire Result
10
関連技術との比較
• Googleトーンなどの可聴音通信や電光掲示に情報を埋め込む 可視光通信などがあるが，これらは実空間で伝播される信号 • 音声カプラの頃から可聴音によるネットワーク通信は使われており， プッシュ式電話のDTMF信号は現在でも広く普及しているが， これらは人が聞くことを前提としていない信号 • 電子透かしなどのように，情報を不可視聴で埋め込む方式は 符号化，圧縮に対応することは容易ではない • 複数の遠隔地からロボットなどを 協調制御する際にも役立つ – ロボットへの操作信号をお互いの ビデオ通話画面に表示することで， 相手の制御が理解可能に 可視聴情報，テレビ通話という構成が新しい ♪ ♪まとめ
• ロボットの制御信号を可視聴情報として伝達する • 人に見える，聞こえる形で情報を伝達することで，テレビ電話 システムの様々な符号化，圧縮方法に影響を受けない • テレビ電話のコミュニケーションを妨げないように 人が理解できる，不快にならない音，マーク等を使う • 音声信号と映像信号を組み合せて用いることで， バリエーションを増したり，エラーを低減することができる12
アイドル応援システム
• ライブパフォーマンスの演出 – 参加者の非日常感をより盛り上げることができる • 従来の演出：演者や観客の振舞いをリアルタイムに反映できない （演者や観客がその場で意図的に操作できない） ⇒演者と観客の振舞いを双方向で伝達するシステムを提案演者の振る舞いの伝達
• 演者の振舞いをセンサで捉えて観客へ伝える – 演者の動きを真似させる（ミラーリング効果） • 動き，歌声を届けるシステムを試作 – 演者の動き・歌声を振動・光として伝搬するライブ支援ツール 演者側 リストバンド型加速度センサ ワイヤレスマイク で演者の振舞い情報を取得 加速度 振動(モータ) ・ 光(LED) 観客側 人形型デバイス ペンライト 処理用PC 歌声14
複数人の振る舞いの伝達
• 特定の演者の振舞いを特定の演者を応援する観客に伝達 – グループの特定メンバー（押しメン）との一体感を増強する 受信機 オーディオインタフェース マイ ク リストバンド型加速度センサ 1 2 3 4 1 2 3 送信機 加速度データ 振動モータ振動強度 音声強度データ LED点灯強度 参加者 デバイス (受信機) リストバンド内に 無線加速度センサ を内 受信機となるマイコン TWE-DIPと制御回路時間・空間の隔たりを越える
• ライブ配信映像に演者の振舞い情報を同梱して 遠隔地へ伝達できる • 振舞い情報を抽出・記録することで，過去のライブでも 臨場感を得られる 演者 加速度 加速度 データ 音声強度 データ 音声強度 演者の動き・声に連動して モータが振動・LEDが点灯 モ ダ リ テ ィ 変 換 Internet 振動 光 映像・音声 ライブ配信映像 遠隔地の視聴者 人形型デバイス16
観客同士の一体感の増強
• 応援が演者に反映されることで，
双方向アイドル応援システム
• 演者の動きと観客の応援を伝え合うペンライト型デバイス 演者 加速度 加速度センサによる 動きデータの取得 モータの振動 LEDの 光 音声強度 演者の動き・声に連動して モータが振動・LEDが点灯 モータ 制御用PC内でモダリティ変換 演者 観客のデバイスの振りに応じて 演者の衣装のLEDが点灯 加速度 LEDの光 観客のデバイスの振り具合を 加速度センサで取得 LED 演者⇒観客：パフォーマンスの伝達 観客⇒演者：応援の伝達 加速度 センサ マイクから音声強度 データの取得18
試作システム
被験者実験
• 演者 • 参加者 • 曲ごとにペンライトの振動パターンや単方向・双方向システムを変更 • 各曲終了時にその曲についてのアンケートを実施 大学のアイドルダンスサークルメンバー 5人のうち3人がそれぞれ「赤」「青」「緑」の電飾衣装を着用 アイドルライブに行ったことがある学生24人 「赤」「青」「緑」のメンバーをそれぞれ応援する3グループ20
振動パターンの比較
演者 • から聴衆への単方向で振動パターンによる印象を比較 • B-3（応援したいメンバーとの一体感を感じましたか） の項目で動き連動の評価が有意に高い （B-1） システムを使用することで 臨場感を感じましたか （B-2） ライブに集中することは できましたか （B-3） 応援したいメンバーとの 一体感を感じましたか （B-4） 参加者全体での一体感を 感じましたか （B-5） 同じグループの参加者間で 一体感を感じましたか双方向システムとの比較
• 演者から聴衆への単方向システムと双方向システムを比較 • アンケートの結果から見ると，全ての項目の平均値より高く， 単方向のスコアよりも有意に高い （B-1） システムを使用することで 臨場感を感じましたか （B-2） ライブに集中することは できましたか （B-3） 応援したいメンバーとの 一体感を感じましたか （B-4） 参加者全体での一体感を 感じましたか （B-5） 同じグループの参加者間で 一体感を感じましたか22
