字幕放送を利用したテレビ放送への香り付加

全文

(1)情報処理学会論文誌. デジタルコンテンツ. Vol.1 No.1 27–34 (Aug. 2013). 研究論文. 字幕放送を利用したテレビ放送への香り付加多々良樹1,a). 遠藤裕之1. 岡田謙一2. 受付日 2013年1月15日, 採録日 2013年5月27日. 概要：テレビの発展は人々の生活に大きな影響を与えてきた．香りとともにテレビ放送を楽しむことができるようになれば，テレビは新しい可能性を発揮できるようになるだろう．テレビコンテンツに香りを付加するためには，テレビ放送とともに香りに関するデータを送受信する必要がある．しかし，現在のテレビ放送はその方式が厳重に定められており，香りデータを新たに付け加えるのは困難である．そこで本研究では，字幕放送を利用したテレビ放送への香り付加を提案する．この提案では，テレビ放送の字幕放送に香り情報を書き込むことで，テレビ放送に香りを付加することを実現する．すでに確立されたインフラである字幕放送を利用することで，従来の放送形式を変えることなく，テレビ放送に香りを付加できるようになる．本研究では，字幕放送を用いたテレビ放送への香り付加の実装を行い，また作成したシステムが正常に動作することを確認した．キーワード：テレビ，香り，字幕放送. Adding Scent to Television Broadcasting by Using Closed Caption Data Tatsuki Tatara1,a). Hiroyuki Endo1. Ken-ichi Okada2. Received: January 15, 2013, Accepted: May 27, 2013. Abstract: Television (TV) has often changed people’s life. If we can add scent to TV broadcasting, TV’s effects to people become larger. Scent TV requires communication data for scent. TV broadcasting’s standards is strictly defined by government and committee, therefore adding new data for scent to TV broadcasting is difficult. Thus, in this paper, we propose a way of adding scent to TV broadcasting using the closed caption data. Writing data for scent to the closed caption that is included in TV broadcasting enable us to broadcast the data for scent and adding scent to TV contents. We add scent to TV broadcasting without changing the used TV standards by using the closed caption, this have been already established infrastructures. In this research, we implement getting closed caption, communication of data for scent, ejecting the scent, and we check this implementation is running without problems. Keywords: TV, scent, closed caption broadcasting. 1. はじめに近年，3D 化や 4K 画質などテレビの発展が目覚ましい．. た．近年では，主に視覚的な効果における発展が著しい．また，高い臨場感を得るためには五感すべてを刺激する必要があると考えられており，五感情報に関する研究がさか. 広く大衆に，高い臨場感，豊かなコンテンツを供給するた. んである．なかでも嗅覚は大脳辺縁系に直接届けられるた. めにテレビは発展し，人々の生活に大きな影響を与えてき. め，人の情動に大きな影響を与えることができるとされ注. 1. 2. a). 慶應義塾大学大学院理工学研究科 Graduate School of Science and Technology, Keio University, Yokohama, Kanagawa 223–8522, Japan 慶應義塾大学理工学部情報工学科 Department of Information and Computer Science, Faculty of Science and Technology, Keio University, Yokohama, Kanagawa 223–8522, Japan [email protected]. c 2013 Information Processing Society of Japan . 目を集めている．嗅覚を利用した香り付き映像の研究も行われ，映像に嗅覚情報を付与することで，映像の臨場感や誘目性を高められることが分かっている [1]．もし，テレビ放送を香りとともに楽しむことができるようになれば，テレビは新たな発展を遂げ，テレビコンテンツはユーザの情動に直接訴えかけることができるようになる．シーンに香. 27.

(2) 情報処理学会論文誌. デジタルコンテンツ. Vol.1 No.1 27–34 (Aug. 2013). りをつけることによる臨場感の向上以外にも，香りの強弱. た [1], [6]．さらに映像に合わせて香りの強度を変化させる. で遠近感を演出する，場面転換や次週の放送の「引き」に. ことで，遠近感の演出も可能である [7]．実際に香り付き映. 利用する，コンテンツの雰囲気に合った香りを提示するこ. 像を作成し利用する研究として，浜田らの香りを付加した. とで緊張や弛緩などの心理効果を得る，などテレビに香り. デジタルサイネージがある [8]．また，Pornpanomchai ら. を付けることは多くの効果的な演出をもたらす．これまで. は，香りを用いた映像広告の研究を行った [9]．これらの大. にテレビが社会に与えてきた影響を考えれば，テレビコン. 規模・商業的な利用だけでなく，より簡易に香り付きコン. テンツが情動に直結する演出を得ることには大きな意義が. テンツが楽しめるような研究として，Kim らの「Fragrant. ある．. Memories」がある [10]．この研究では，映像コンテンツで. テレビ放送に香りを付加するためには，テレビ放送とともに香りに関するデータ（香りデータ）を発信し，また各家. 使用していない音声トラックに 10 種類のダイヤル音を録音し，その高低と時間によって香りの制御がなされている．. 庭でそのデータを受信する必要がある．しかし，現在のテレビ放送はその方式が厳格に定められており [2]，香りデー. 2.2 香り付きコンテンツの配信. タを新たに付け加えるのは困難である．さらに，現在行わ. 香りを用いたメディアの中でも，香り情報を遠隔地に送. れている香り付きコンテンツの配信では，香りデータはイ. るものが存在する．公共性の高いメディアを利用し，香り. ンターネットを介して送信されている．この方法をテレビ. を遠隔地に送るものとしては「香るラジオ」がある [11]．. 放送に持ち込む場合，コンテンツがテレビ電波以外にも依. これは曲のイメージに沿った香りの調合データをラジオの. 存してしまうという難点がある．これらのことから，既存. インターネットサイトから取得させるもので，放送との同. の方法でテレビ放送に香りを付加するのは困難であり，こ. 期はなかった．そのほか境野らは，映画に香りを付加しよ. れまで行われてこなかった．. うとする試みを行った [12]．ここでは香りデータベースか. そこで本研究では，字幕放送を利用したテレビ放送への. ら専用の受信機にデータを送信することで，映像と香りを. 香り付加を提案する．テレビ放送に香りデータを付加する. 同期した．また，Web コンテンツに香りを付加するシステ. 際，すでに確立されたインフラである字幕放送を利用する. ムが Kaye の論文に紹介されている [13]．これらは Web 上. ことで従来の放送形式を変えることなく，香り付きテレビ. に登録された香りをコンテンツに同期するものである．ほ. コンテンツを配信できるようになる．字幕放送は，映像と. かに，Web を用いたコンテンツとして辻らの「香り Web」. 同期されているテキストデータであるため，香りコンテン. があげられる [14]．香り Web では「香り通信」と呼ばれる. ツのオーサリングが容易になるという利点もある．さらに. プロトコルをもとに香りを配信している．坂内らは，香り. 近年，Youtube や Google Video，ニコニコ動画をはじめ. を用いたコンテンツを統一的に扱えるよう，感性語を用い. とする多くのインターネット上のストリーミング動画サ. た香りコミュニケーションモデルを提案した [15]．ここで. イトなど，テレビ放送以外の映像コンテンツにも字幕やそ. も香りの伝送ではインターネットを使用している．以上の. れに準ずる機能が導入されている．これらの字幕も画面中. ように，香りコンテンツの放送はこれまでインターネット. に文字が表示されるという意味で字幕放送と同じであり，. が主として利用されており，公共電波に直接香りデータを. 4.1.2 項で説明する手法を応用することで字幕放送と同様. 付加したものは見当たらない．. に扱えるため，字幕を用いることで多くの映像コンテンツに香りを付加することが可能になる．そのため，字幕を用いた香り付加には高い将来性が期待できる．. 3. 字幕を利用したテレビ放送への香り付加 3.1 既存の香り付き映像. 本研究では，字幕放送の取得および香り射出の実装を行. 2.1 節で述べたように，映像に香りをつけることで，臨. い，またこれらが実際に動作することを確認した．この実. 場感や誘目性が向上することが分かっており，この知見に. 装を用いることで字幕放送を用いたテレビ放送への香り付. 基づき，現在，香り付き映像が研究されている．香り付き. 加が可能になる．. 映像において，映像と香りが自然に同期されていない（映. 2. 関連研究 2.1 香りメディア. 像と関係のない香りがする，あるいは映像から大きくずれて香りが射出されるなど）場合，逆に混乱や不快感を与える原因になる [9]．そのため，効果の高い香り付き映像で. 嗅覚ディスプレイの発達にともない，香り技術のメディ. は，映像と香りの意味的，時間的な同期が必要になる．映. アへの利用が試みられている [3], [4]．視覚，聴覚以外の五. 像と香りを同期する際に必要な情報は，映像中のどの時間. 感情報を利用することでも，メディアやコンテンツの臨. で香りを出すのかという情報と，その際の香りの種類の情. 場感を高められることが分かっている [5]．特に，映像メ. 報である．テレビ放送に香りを付加する場合にもこれらの. ディアに関していえば，香りを付けることにより，その映. 香り用の情報（香りデータ）が必要になる．. 像に関する内容理解や誘目性が向上できることが分かっ. c 2013 Information Processing Society of Japan . 従来の香りと映像の同期方法では，香りデータを扱うた. 28.

(3) 情報処理学会論文誌. デジタルコンテンツ. Vol.1 No.1 27–34 (Aug. 2013). めの独自のデータ形式をつくっており，また，この香りデータを遠隔地に伝える際には，インターネットを利用していた．インターネットを用いてテレビ放送に香りを付加する場合，テレビ放送・インターネットという 2 つの媒体に，同期したデータを流さねばならない．テレビ放送の伝達がテレビ電波以外にも依存するようになるのは好ましくないうえ，受信方法が煩雑になることが考えられる．また，デジタル放送になったため，テレビのデコード性能などの環境の差によって，各家庭での番組の進行具合は秒単位でずれてしまっている [16]．インターネット上の標準時を基準に香りを射出しても，テレビ番組の進行具合が異なるため番組映像と香りがうまく同期されない可能性がある．以上のことからインターネットを用いてテレビ放送と香りを同期するのは困難であるといえる．しかしインターネットを用いない場合でも，テレビ放送に新しい形式のデータを図 1. 付与しなければならないという問題が出てくる．現在の日. 提案手法イメージ図. Fig. 1 Proposed system.. 本のテレビ放送は多くの規格によってその方式が厳格に定められているため [2]，新しい形式のデータを既存の放送に付加することは，技術的にだけでなく，法的，手続き的. 達することができるようになり，単純な実装で番組映像と. に困難である．仮にこの点が解決できたとすると，データ. 香りを同期することができる．また，字幕放送は現在すで. 放送に香り情報を付加することが考えられる．しかしデー. にテレビ放送の規格に含まれているものである．これを用. タ放送の録画に対応した TV デッキがいまだ多くはないこ. いることで既存の規格を変更することなくテレビ放送に香. と，また番組連動データ放送は時差ネットでは放送されな. りデータを付与することができる．さらに，字幕放送の作. いことから，録画して香り付きテレビ番組を楽しむ際，ま. 成，送受信は確立され普及している技術であるため，これ. た香り付きテレビ番組が地方で再放送されるケースなどで. までのテレビ番組制作のノウハウを流用して香りデータを. は，データ放送による香り付加は難しいといえる．以上の. 作成，編集することができる．香りを付けたいときは香り. ことから，従来手法またはデータ放送によってテレビ放送. データ用の字幕を入れ，付けたくないときは入れない，と. に香りを付加することは難しいことが分かる．また，従来. いう単純な編集により，テレビ放送に自由に香りを付ける. 手法では専用のデータを用いるため，香りデータの作成・. ことができる．香り用にデータ形式を変更する，などの新. 編集の方法も独自のものである．一方で，テレビ放送の制. しい作業も発生しない．. 作はすでに確立された作業である．香り付きテレビコンテ. 提案の実現のために，本研究では「香り字幕」の定義と，. ンツを制作する場合，これまでに確立された番組制作をな. 字幕の取得・解析，嗅覚ディスプレイとの通信の実装を行っ. るべく邪魔しない，容易な方法で香りデータを作成，編集. た．図 1 のように，テレビ放送と字幕放送を受信，含まれ. できる必要があると考えられる．. る香り情報を取得，それを嗅覚ディスプレイに送信するこ. 以上の点から，従来手法では香り付きテレビ放送に対応しきれないことが分かる．. とでテレビ放送に香りを付加している．「香り字幕」とは通常の字幕と混同されず，また香り制御の情報を書き込めるように工夫された字幕中の文字列である．字幕放送の取. 3.2 字幕放送を用いたテレビ放送への香り付加本研究では字幕放送を用いたテレビ放送への香り付加を提案する．提案手法のイメージを図 1 に示す．. 得に関しては，録画したテレビ放送を視聴する場合と，放送をリアルタイムで視聴している場合の 2 パターンを想定し実装した．. 本提案はテレビ局側で字幕放送に香りデータを文字列と. この実装では，字幕の受信と香りの射出をテレビ以外の. して書き込み，これをユーザ側で受信・解析して香り情報. 外部装置で行うようにした．字幕受信と香り射出の装置を. を嗅覚ディスプレイに送信し，香りを射出することでテレ. 外付けするだけで，現在のテレビのハードウェアを変更す. ビ放送に香りを付加しようというものである．. ることなくテレビ放送に香りを付加することが可能になっ. 字幕放送とは，聴覚障害者のために，映像の音声を文字. ている．以上の実装をすることで，既存のテレビ放送の様. 化したものを番組映像に重畳して表示する放送のことであ. 式を変更することなく，製作・編集の容易な香り付加が可. る．そのため，もとから映像に同期されている．字幕放送. 能になる（図 2）．また，インターネットを用いず，公共電. を利用することでテレビコンテンツはテレビ電波のみで伝. 波によって香り情報を伝達するという点で，これまでにな. c 2013 Information Processing Society of Japan . 29.

(4) 情報処理学会論文誌. デジタルコンテンツ. Vol.1 No.1 27–34 (Aug. 2013). い新しい方式であるといえる．. き込めるようにした．また，視聴者が字幕付きでテレビ番組を視聴する際に意味不明の文字列だけでは混乱する可能. 3.3 香り字幕. 性がある．そのようなとき，視聴者の混乱を避けるための. 3.2 節にあるように，本提案では字幕放送に香り情報を. コメントとしても利用できる．香りデータの本体だけでな. 載せるための文字列を定義し，これを「香り字幕」と呼ぶ. く，そのデータにまつわる情報を残せることも，字幕によ. こととした．香り字幕に必要な要件は，1) 香り字幕がそう. る香り付加の利点といえる．. でないほかの字幕と混同されないこと，2) 香りの種類を指定できること，3) 字幕を見ている視聴者を混乱させないこと，の 3 点である．以上の 3 点を考え，今回香り字幕は以. 3 章にある提案を確認するために，プロトタイプの実装を行った．今回の実装では「字幕取得・香り指示用のノー. 下のような文字列であるとした．. &&（香り ID）（コメント）&&. 4. 字幕放送を用いた香り付加の実装. (1). ト PC」と「嗅覚ディスプレイ制御用のノート PC」，および「嗅覚ディスプレイ」を使用した（図 3）．ノート PC 間. たとえば，「&&6 バラの香り&&」のような形である．香. の通信には Bluetooth 無線通信を用いている．将来的に実. り発生のタイミングは字幕表示のタイミングによって指示. 運用する際は，字幕の解析はテレビが行い，また嗅覚ディ. するため，記述の必要はない．今回はほかに，香りの強さ. スプレイの制御用 PC が不要になると考えている．本提案. を 2 段階，記述できるようにした．. の実装は大まかに分けて，字幕の取得，香り ID の送受信，. まず，最初と最後の “&&” により，香り字幕の始点と終. 香り射出の 3 つである．それぞれ以下で説明していく．. 点を示している．“&&” は通常の字幕では使用されない文字列であるため採用した．これにより香り情報と普通の字. 4.1 字幕の取得. 幕の混同を避けている．字幕中記述してある数字は，今回. 本提案では字幕放送を利用するため，字幕放送の内容を. 「香り ID」と呼ぶこととする．本提案では，あらかじめ使. 取得する必要がある．本論文では日本の字幕放送を想定し. 用する香りの種類を定めておき，それらに ID を割り振っ. た字幕の取得を実装した．さらに字幕の取得に際し，2 パ. ている．これを香り ID とする．1 つの香りに複数の香り. ターンの状況を想定した．すなわち，録画した番組を視聴. ID を割り当てることで，香りの種類だけでなく，強さな. する場合と，実放送をリアルタイムで視聴する場合である．. ども指示できる．“&&” および数字に挟まれる形で書いて. 実装上の事情により，これらの 2 パターンで字幕取得方法. ある文字列は，香り字幕の説明である．システムが動作す. を変えた．それぞれについて実装方法を説明する．. るうえでは，この表記は必要ないものである．しかし，香. 4.1.1 録画した番組における字幕の取得（録画版）. り字幕制作の際，香り ID のみで制作中の香りデータの内. 事前に録画番組から字幕のタイムスタンプと字幕内容を. 容を把握するのは難しい．現在どのような香り提示が行わ. 抜き出し保存しておき，映像の再生に合わせ参照していく. れているのかを表示したほうが，混乱を招かず利便性が高. 方法を実装した．この字幕取得方法を以下，録画版の字幕. い．このことから香り字幕にオーサリングのコメントも書. 取得と呼ぶ．現在の日本のデジタルテレビ放送では番組の音声や映像を送信しやすいように，これらのデータをパケットに分割した MPEG2-Transport Stream（TS）というファイ. 図 2 提案システムを実際に使用している様子. Fig. 2 Photograph of the proposed system.. c 2013 Information Processing Society of Japan . 図 3. 実際に使用した機器. Fig. 3 Photograph of the system equipment.. 30.

(5) 情報処理学会論文誌. デジタルコンテンツ. Vol.1 No.1 27–34 (Aug. 2013). 幕取得方法を以下，リアルタイム版と呼ぶ．今回利用した画像処理は OCR と呼ばれており，画像内の文字を認識しテキストデータに変換するものである．字幕放送では，字幕の背景に半透明の黒い長方形を入れて，その可読性を向上させなければならない．画面を左上から縦に走査していき，RGB すべての画素値がおおよそ同じくらい減少している部分が半透明の黒い長方形の位置であるといえる．この半透明の黒い長方形部分を特定することで，字幕のある位置を把握することができる．また，字幕に使用される色は放送局により異なるものの，現在ほぼ決まっており，水色，黄色，緑，白，黒の 4 色である．黒い長方形部分を切り抜き，文字部分を白，それ以外を黒で二値化して OCR を行うことで，効率の良い画像処理による図 4. リアルタイム版のながれ. Fig. 4 Real time method.. 字幕取得が行える．本提案では 0.1 秒ごとに画像を取得し，画像に変化があれば OCR 処理を施し，画像内に表示されている文字を解析し，字幕を取得した．リアルタイム版の. ル形式を送信している．TS ファイルのパケットにはすべ. 実装により，精度や速度で録画版に劣る一方，リアルタイ. て，Packet Identifier（PID）と呼ばれる番号が振ってあ. ム版を応用することで，たとえばインターネット上のスト. る．TS ファイルのパケットの中で，Program Map Table. リーミング動画など，字幕を表示できるあらゆる映像で香. （PMT）と呼ばれるパケットが存在する．PMT には，PID. りを付加することができるようになるという利点がある．. とそれに対応するデータの種類が書きこまれており，各パケットがどんな種類のものかという情報を持っている．こ. 4.2 香り射出. の PMT を参照することで，字幕放送のデータが入ってい. 4.1 節に記したように字幕を取得したのち，取得した字. るパケットの ID を知ることができる．PMT に相当する. 幕から香り字幕を認識し，そこに書き込まれた香り ID に. パケットの ID は，先頭のパケットに記述されているため，. 沿って香りを射出した．今回は香り ID によって香りの種. 先頭パケット→ PMT →字幕パケットという順に追ってい. 類と強さを指定することにした．香り ID とそれに対応し. けば，字幕情報を持つパケットを割り出し，その中にある. た指示のテーブルをあらかじめ作成しておき，テーブルと. 情報，すなわち字幕データを得ることが可能である [17]．. 香り ID を比較することで香り射出の内容を指示した．香. 以上のような方法で字幕情報を取り出した後，SRT 形. り ID と指示テーブルの割り振りによってデータ上では種. 式というテキストベースのファイル形式で字幕情報を保存. 類，強さ，香りの配合など様々なパラメータを創ることが. することとした．SRT 形式ファイルはソフトサブと呼ば. できる．人間がかぎ分けられる香りの種類の限界について. れる，動画とは別に字幕情報を保存するためのファイル形. は諸説あるが，調香師が世の中の一般的な香りも含め，約. 式の一種である．ソフトサブの中でも SRT 形式はテキス. 800 種類の香りを扱っていること，臭気の強度表示方法と. トベースであり，また記述が明快なことから多くの動画再. して日本では 6 段階臭気強度表示法 [18] が採用されている. 生ソフトやストリーミング動画サイトで利用されている．. ことから，800 × 6 = 4800 種類程度を記述できれば現時点. SRT 形式では字幕の ID と開始時間と終了時間，そして字. では十分であると考えられる．これは 13 bit 程度の情報量. 幕の内容が記述されている．抽出した字幕情報を SRT 形. であり，字幕放送の伝送ビットレートは最大 16 kbps であ. 式ファイルとして保存し，そのファイルの中にある字幕の. るから帯域幅も問題がない [17]．そのため，香り ID によ. 開始，終了時間により録画したテレビ番組と字幕情報を同. る香りの記述は十分可能であると考えられる．今回の実装. 期させることが可能である．. では使用する嗅覚ディスプレイが 4 種類までしか香りを射. 4.1.2 リアルタイムで視聴している番組における字幕の. 出可能でないこと，また細かい表現方法の研究ではないこ. 取得（リアルタイム版）日本のテレビ放送は高度に暗号化されており，B-CAS. とから，簡単のため，香り ID は表 1 のように割り振った．香り射出用の嗅覚ディスプレイには「Fragrance Jet for. カードを用いないデコードは違法であるため，実放送の電. Mobile（FJM）」を使用した [19], [20]．これは香りを微小. 波そのものから情報を取得することはできない．そこで今. 時間，微小量だけ離散的に射出することが可能な嗅覚ディ. 回は，PC 用テレビチューナーを利用して PC 画面上に字. スプレイである．このことにより，ユーザが香りに慣れて. 幕放送を表示し，それを画像としてキャプチャして処理す. しまい香りを感じられなくなる順応という問題や，射出し. ることで字幕情報を取り出すこととした（図 4）．この字. た香料が空気中に残ってしまい意図しない香りがしてしま. c 2013 Information Processing Society of Japan . 31.

(6) 情報処理学会論文誌. 表 1. デジタルコンテンツ. Vol.1 No.1 27–34 (Aug. 2013). 香り ID とそれに割り振られた香り. Table 1 Scent type and intensity allocated to each scent ID.. ので，ここではそれを割愛する．今回実装した 2 つの字幕取得方法（リアルタイム版およ. ID. 対応する香り. び録画版）両方ではなく，リアルタイム版のみに関して実. 1. 弱い海の香り. 験を行った．実質的に外部のテキストから香り情報を読み. 2. 弱いバラの香り. 込むだけの録画版は，問題なく動作をするのは自明であり，. 3. 弱いラベンダーの香り. 4. 弱いバナナの香り. 5. 強い海の香り. 6. 強いバラの香り. では OCR の精度と速度次第では映像と香りを同期できな. 7. 強いラベンダーの香り. い可能性がある．そのため，本実験ではリアルタイム版の. 8. 強いバナナの香り. 精度と速度を計測し，リアルタイム版によって提案が実現. またその動作は数回のデモで確認したため，実験の必要がないと判断した．しかし OCR を使用するリアルタイム版. 可能かを検討する．. 5.1 実験環境本提案のリアルタイム版では，香り字幕が実際の放送に含まれていることが前提となっている．しかしそのような状況は現段階では存在しない．字幕放送に香り字幕が含まれる状況を再現するために，実験環境では，あらかじめシステム内に字幕を登録しておき，映像に重畳してディスプレイに表示し，その画面を取得，OCR で処理するというシ図 5. 香り射出タイミング. ステムを構築した．このシステム内において，リアルタイ. Fig. 5 Scent ejection schedule.. ム版による香り付加を行う際の処理速度と精度を計測した．. う残り香という問題が起こりにくいという性質がある．今. を考慮して口調と語彙に差があるニュースとバラエティを. 回香り射出は，人間の呼吸周期が約 5 秒であることから，. 1 時間ずつ用意した．使用されている文字の種類や頻度に. ユーザの一呼吸中に必ず複数回の香り射出が行われるよう. よって OCR の速度や精度にばらつきが出る可能性がある. にするため，0.4 秒おきに 0.033 秒だけ香り成分を射出す. ためと，ニュース，バラエティともに発話回数が他のジャ. ることとした（図 5）．射出間隔，射出量に関しては，予備. ンルよりも多く，システムの負担が大きいためである．こ. 実験を行い決定した．予備実験は被験者 3 名で行った．30. れらの番組中の 500 文程度の字幕の中に，150 個の香り字. 秒程度の動画に，射出間隔を 0.6，0.5，0.4，0.3 秒および. 幕を混ぜて実験に使用した．. また，本実験に使用する映像，字幕は番組内容の多様性. 射出時間を 0.033，0.066 秒とし，これらの組合せで香りを付加した．被験者にはその香り付き動画を見てもらい，香りを感じたか感じなかったか，快不快のアンケート調査を. 5.2 実験内容 5.1 節で用意した動画に対し，リアルタイム版による字. 行った．またその際，実験者が残り香の強度を 3 段階で評. 幕取得と，香り字幕の検出および香り ID の送受信を行っ. 価した．1 回ごとに 1 分の休憩・換気を行い，さらに被験. た．その際，香り字幕検出の精度と香り字幕の誤検出数，. 者の申し出があればいつでも休憩をはさむこととした．予. 字幕が表示されてから香り情報が受信されるまで何秒か. 2. 備実験を行った部屋の広さは約 50 m であった．以上の予備実験の結果から香りが感じられ，不快でなく，残り香が最も少ない組合せを今回の実験で採用した．すなわちユーザが香りをしっかり認識しつつも，部屋に残り香. かったかを計測した．香り字幕の検出精度の式は以下のものとした．（検出精度）=（香り字幕認識数） /（香り字幕総数） (2). がないようにした．香りの持続時間に関しては，香り字幕. ここで，香り字幕認識数とは，香り字幕を検出し，また香. が出ている間とした．香り字幕を表示するタイミング，長. り ID も正しく検出した数とする．この香り字幕認識数を. さを変えることで，香りの時間的な制御ができる．. 香り字幕の総数で割ったものを，香り字幕検出精度とした．. 5. 香り字幕の検出の実験. 以上によってリアルタイム版の精度を計測すると同時に，それぞれの香り字幕についてシステムの処理時間と. 本実験ではリアルタイム版の香り字幕検出の精度と，字. Bluetooth 通信時間を計測した．この 2 つを合計し，平均. 幕表示から香り射出までの時間を計測することで映像と香. と標準偏差を求め，字幕表示から香り射出までの時間を算. りが同期されているか確認した．香り付き映像のユーザへ. 出した．この射出までの時間のことを，リアルタイム版の. の心理的効果に関する考察はすでに多数の文献が存在する. 処理時間と呼ぶこととした．. c 2013 Information Processing Society of Japan . 32.

(7) 情報処理学会論文誌. デジタルコンテンツ. Vol.1 No.1 27–34 (Aug. 2013). 表 2 実験結果. 本提案によって，既存のインフラを利用したテレビ放送. Table 2 Experimental results.. への香り付加が可能になり，編集や制作，導入が非常に容. 番組の種別. 香り字幕検出精度 (%). 処理時間 (s). 易になる．近年 Youtube などのストリーミング動画サイ. ニュース. 100. 0.99 ± 0.26. トでも字幕に対応していることから，ネット上の字幕付き. バラエティ. 100. 0.85 ± 0.12. 動画にも香りを付加することが可能である．本論文では，香り字幕の書式を定義し，字幕取得およびそれをもとに香. 5.3 実験結果と考察実験結果を表 2 に記す．検出精度の結果は 100%となっ. りを射出するまでを実験的に実装した．本提案によって，高い臨場感や誘目性を持つ香り付き映. た．また，通常の字幕を香り字幕だと誤検出することもな. 像コンテンツを，多くの人が簡単に楽しめるようになる．. かった．このことから，リアルタイム版の香り字幕検出精. テレビコンテンツの持つ社会への影響は大きく，テレビ放. 度は実用可能である．香り字幕に “&” という形に特徴の. 送に香りを容易に付加できるようになることでテレビコ. ある記号を利用し，ほかの字幕と混同しないためにこれを. ンテンツがますます意義深いものになると考えている．ま. 繰り返し “&&” として利用したことで 100%という精度を. た，テレビ放送への香り付加によってこれまで視覚情報優. 出すことに成功したと考えられる．精度に関してはニュー. 先で発展してきたテレビ放送に新しい可能性をもたらすこ. ス，バラエティで差はなかった．このことから今回のシス. とと期待している．. テムの OCR の精度に関しては，語彙や頻出文字などは関係がないといえる．字幕表示から香り射出までの時間差は，1 秒弱という結. 謝辞本研究の一部は文部科学省科学研究費補助金（B）課題番号 23300049（2012 年），および高砂香料の支援により行われた．. 果が出た．複数人が次々と発言するため，複数ある番組種別の中でもショット数が多く，短くなってしまうと考えら. 参考文献. れる討論番組では，1 つのショットの平均が約 5 秒である. [1]. とされており [21]，香りの同期は最低 5 秒未満でなければならないと考えられるが，リアルタイム版ではこれを満たしていることが分かる．より秒数の短いシーンにおいても，字幕情報は，可読性向上のためにシーンの始まりよりも 0.4 秒程度早めに表示されること，1 秒未満のシーンはほぼありえないことなどから問題ないといえる．また仮に，どうしても問題が発生する場合は，香り字幕のタイミングを早めることも可能である．今回使用した動画では，シーンの長さは最低で 4 秒であった．このことから，演出によってシーンの素早い切替えを強いられるのでない限り，リアルタイム版の字幕取得によって香り付加が可能である．以上のことから，本提案で実装したリアルタイム版は精度，速度の面で使用に耐えうることが分かり，録画版と合わせて字幕放送による香り付加ができることが確認された．. 6. おわりに映像に香りを付加することで，その映像の臨場感や内容把握を向上させることができる．現在人々の生活に密着し，大きな影響を与えているテレビ放送に香りを付加できたら，その影響は計り知れない．従来の香り付き映像の提案では，香りと映像を同期するための特殊なデータを用意し，その配信にインターネットを使用する場合が多かった．しかし，これら既存の手法では，製作・放送の技術が確立してしまっているテレビ放送に香りを付加することは難しい．そこで，本論文では字幕放送を利用したテレビ放送への. Tomono, A., Kanda, K. and Tomono, K.: The Effect on Eye Catching and Moving Object Pursuit Operations by Scent Presentation, Journal of the Institute of Electronics, Vol.J94-D, No.5, pp.803–813 (2011). 社団法人電波産業会 ARIB：TR-B14/TR-B15 第八編コ [2] ンテンツ保護規定，電波産業会 (2011). [3] Sato, J., Ohtsu, K., Bannai, Y. and Okada, K.: Pulse Ejection Technique of Scent to Create Dynamic Perspective, Proc. IEEE ICAT 2008, pp.167–174 (2008). 外池光雄：におい・香りの情報通信，フレグランスジャー [4] ナル社 (2007). [5] Georghita, G. and Oluwakemi, A.: The Sweet Smell of Success: Enhancing Multimedia-Applications with Olfaction, ACM Trans. MCCA, Vol.8, No.1, A-2 (2012). [6] Tomono, A.: Evaluation of Hyper-Realistic Images using Smells, Proc. 14th International Display Workshops, No.3D-1 Invited, pp.1161–1164 (2007). 大津香織，門脇亜美，佐藤淳太，坂内祐一，岡田謙一：動的な [7] 遠近感を演出する香りのパルス射出提示手法，情報処理学会マルチメディア，分散，協調とモバイル（DICOMO2008）シンポジウム，pp.1350–1357 (July 2008). [8] Hamada, S.: Trajectory of Scent Communication, Report of the Virtual Reality Society of Japan, Vol.13, No.SBR2, pp.60–93 (2008). [9] Pornpanomchai, C. and Benjathanachat, K.: Ad-Smell: Advertising Movie With a Simple Olfactory Sisplay, Proc. ICMCS 09, pp.113–118 (2012). [10] Kim, D.W., Nishimoto, K. and Kunifuji, S.: An Editing and Displaying System of Olfactory Information for the Home Video, Knowledge-Based Intelligent Information and Engineering Systems: LNCS, Vol.4253, pp.859–866 (2006). [11] NTT コミュニケーションズ株式会社：TOKYO FM と「香り通信」が『香るラジオ』を実現，入手先 http://www.ntt.com/release/2006NEWS/0009/ 0904.html（参照 2013-01-12）. [12] 境野哲：五感に訴え感性を伝える「香り通信」の取り組. 香り付加を提案した．. c 2013 Information Processing Society of Japan . 33.

(8) 情報処理学会論文誌. [13] [14] [15]. [16] [17]. [18] [19]. [20]. [21]. デジタルコンテンツ. Vol.1 No.1 27–34 (Aug. 2013). みと成果，映像情報メディア学会技術報告，Vol.32, No.49, pp.53–57 (2008). Kaye, J.: Making Scents: aromatic output for HCI, ACM Press Interactions, Vol.11, No.1, pp.48–61 (2004). 辻守：嗅覚ディスプレイにおい・香りのマルチメディアツール，フレグランスジャーナル社 (2008). 坂内裕一，石澤正行，重野寛，岡田謙一：感性語を媒介にした香りコミュニケーションモデル，情報処理学会論文誌，Vol.47, No.12, pp.3414–3442 (2006). 社団法人電波産業会 ARIB：TR-B13，地上デジタル音声放送運用規定技術資料，電波産業会 (2008). 社団法人電波産業会 ARIB：STD-B37，補助データパケット形式で伝送されるデジタル字幕データの構造と運用，電波産業会 (2006). 環境省環境管理局：臭気指数規制ガイドライン，環境省 (2001). 瀬川遼，坂内祐一，岡田謙一：モバイル嗅覚ディスプレイを用いた香るデジタルサイネージ，日本 VR 学会報， Vol.16, No.SBR-1, pp.13–20 (2011). 瀬川遼，野口大介，杉本紗友美，坂内祐一，岡田謙一：高性能嗅覚ディスプレイを用いた香りシステム，日本 VR 学会報，Vol.15, No.CS-4, pp.11–14 (2010). 井上智雄，岡田謙一，松下温：テレビ番組のカメラワークの知識に基づいた TV 会議システム，情報処理学会論文誌，Vol.37, No.11, pp.2095–2103 (1996).. 岡田謙一（フェロー）慶應義塾大学理工学部情報工学科主任教授，工学博士．専門は，CSCW，グループウェア，ヒューマン・コンピュータ・インタラクション．『ヒューマンコンピュータインタラクション』（オーム社），『コラボレーションとコミュニケーション』（共立出版）をはじめ著書多数．情報処理学会誌編集主査，GN 研究会主査，日本 VR 学会理事長等を歴任．現在，情報処理学会理事，電子情報通信学会 HB/KB 幹事長，情報処理学会論文賞（1996，2001，2008），情報処理学会 40 周年記念論文賞，日本 VR 学会サイバースペース研究賞，IEEE SAINT ’04，ICAT ’07 最優秀論文賞等を受賞．IEEE，ACM，電子情報通信学会，人工知能学会各会員．. 多々良樹（学生会員） 2012 年慶應義塾大学理工学部情報工学科卒業．現在，同大学大学院理工学研究科修士課程在学中．複合現実感を用いた遠隔協調作業およびデジタルコンテンツの研究に従事．. 遠藤裕之（学生会員） 2013 年慶應義塾大学理工学部情報工学科卒業．現在，同大学大学院理工学研究科修士課程在学中．複合現実感を用いた遠隔協調作業の研究に従事．. c 2013 Information Processing Society of Japan . 34.

(9)