あ ら ま し 近年，ネットワークの高速化やデジタルサイネージ（電子看板）の普及などにより，様々 な場所で映像を目にする機会が増えてきている。しかし，そのほとんどは視聴者に向け て一方的に流されているだけであり，視聴者はテレビやデジタルサイネージで映像を見 た後，インターネットの検索サイトでその映像に関するキーワードなどを入力して映像 に関連した情報を取得しているのが現状である。視聴者が簡単に映像に関連した情報へ たどり着けるようにするため，富士通研究所では映像の中に人間の目には分からない通 信情報を埋め込み，その情報を携帯端末のカメラアプリで抽出することで映像と携帯端 末間の通信を行う映像媒介通信技術を開発した。映像に埋め込まれている通信情報を利 用することにより，視聴者は映像を撮影しただけでその映像に関連した情報を簡単に取 得できるようになる。 本稿では，この映像媒介通信技術の概要を紹介するとともに，本技術の用途や応用例 などについて紹介する。 Abstract
Recently, the chance to see videos in various places has increased due to the speed-up of networks and spread of digital signage. However, most of the videos are non-interactively broadcast at viewers, and currently viewers often input keywords related to the videos in a search site after they see the videos when they want to find out some information related to the videos. So that viewers can easily obtain information related to videos, Fujitsu Laboratories Ltd. has developed new data transfer technology that enables communication between videos and smart devices by embedding communication information into the videos invisibly and extracting it using the camera application of smart devices. Viewers are able to acquire information related to videos easily just by filming them. In this paper, we introduce an outline and the usage scenarios of this data transfer technology via video data.
● 倉木健介 ● 中潟昌平 ● 田中竜太 ● 阿南泰三
実現する映像媒介通信技術
Data Transfer Technology to Enable Communication between Displays
and Smart Devices
し，次に二つの応用例を述べ，最後に今後の展開 について述べる。 従来技術の課題 映像情報と携帯端末との通信をテレビやデジタ ルサイネージに適用したり，PCと連携したりする 場合には， （1） 映像の画質に与える影響が小さいこと （2） 既存のテレビやPC，携帯端末で利用できること （3） 離れた距離でも情報を受信できること （4） 設定や操作が簡単で誰にでも利用できること といった要件を満たす必要がある。（1）は映像や PC画面を見るという本来の目的に悪影響を与え ないようにするために当然である。（2）について は，機器に依存しないことでより多くのユーザー にサービスを利用してもらうことができ，（3）の 距離については，自宅でテレビを視聴しながら携 帯端末で情報を受信する利用シーンを想定すると， 視聴者とテレビ画面の距離はテレビ視聴時の最適 視聴距離とされるテレビ画面の高さの約3倍程度の 距離があると想定できるので，例えば，テレビ画 面のサイズが40インチであれば約1.5 m，60インチ であれば約2.2 m程度の距離から受信できると便利 である。（4）については，テレビやPCと携帯端末 間で通信を行う場合，USBケーブルやWi-Fi経由で 接続する方法などがあるが，接続のための設定が 煩雑であり，それが原因でサービスが利用されな くなることも考えられるので，誰でも利用できる ように設定や操作をできる限り簡単にする必要が ある。 テレビやPCなどのディスプレイと携帯端末を連 携させる試みはこれまでにも行われてきたが，前 述した要件を念頭に置いた上で，四つの既存技術 を適用した場合のそれぞれの課題を以下に挙げる。 （1） 可視光通信 光の点滅で，0，1の情報を送信する技術である。 光が届く範囲であれば情報を送信できるため，通 信距離が数十m程度と長い点が特徴である。ディ スプレイのバックライトを点滅させるため，点滅 が人の目に認識できないように数kHzから数MHz の速度で点滅させる。高速な点滅を発生させたり， その点滅を読み取ったりするためには特殊な装置 が必要になる。 従来技術の課題 ま え が き 近年，ネットワークの高速化やデジタルサイネー ジ（電子看板）の普及などにより，様々な場所で 映像を目にする機会が増えてきている。しかし， そのほとんどは視聴者に向けて一方的に流されて いるだけで，視聴者はテレビやデジタルサイネー ジで映像を見た後にインターネットの検索サイト でその映像に関するキーワードなどを入力して映 像に関連した情報を取得しているのが現状である。 一方，多くの人はスマートフォンなどの携帯端 末を日常的に持ち歩いており，携帯端末に情報を 集めることによっていつでもどこでもその情報を 利用することができる環境にある。 そこで富士通研究所は，自宅のテレビや街中の デジタルサイネージなど，様々なディスプレイに 表示される映像と携帯端末を連携させるための新 たな通信技術として映像媒介通信技術を開発した。 この技術を利用することにより，テレビやデジタ ルサイネージに表示されている欲しい商品や利用 してみたいサービスのCMを視聴者が携帯端末で撮 影すると，映像に埋め込まれた情報に基づきCMに 関連したクーポンを携帯端末に取得し，そのクー ポンを店舗で提示することで割引サービスなどを 受けることができる。また，買い物番組で欲しい 商品が表示されているときに画面を携帯端末で撮 影すると，商品を購入するWebサイトにダイレク トにアクセスすることができたり，海外の観光地 などの映像が表示されているときに撮影すると旅 行の予約の関連情報を入手できたり，周辺にある 店舗の案内図を撮影すると店舗情報が取得できた りする。 更に，開発技術を応用することでPCと携帯端末 の連携も可能になる。例えば，PCの画面に表示し ているプレゼン資料などのファイルを携帯端末に コピーしたいときに，携帯端末のカメラでそのPC の画面を撮影するだけで，ファイルを携帯端末へ コピーしたり，逆に，携帯端末に保存してある写 真やビデオといったファイルをPCに送りたい場 合，送り先のPC画面を携帯端末のカメラで撮影す るだけでPCにファイルをコピーしたりすることも できる。 本稿では，まず映像媒介通信技術について解説 ま え が き
時間をかけて徐々に変化させることで急激な色の 変化を抑えているため，人間の目には知覚できな い。なぜなら，人間は映像の急激な変化には敏感 である反面，緩やかな変化には鈍感であるためで ある。この色の変化を利用して波を発生させ，そ の波を送りたい情報に合わせて変調する。あらか じめ2種類の波のパターンを定義しておき，一方の 波を「0」を表す波，もう一方を「1」を表す波とし， 「0110」というバイナリデータを送る場合はその 2種類の波を図
-2
に示すように切り替えながら発生 させる。携帯端末側では，撮影した映像から画面 全体の色の変化を抽出し，2種類の波の発信されて いる順番を判定することで情報を読み取る。開発 技術では1秒のシーンに16ビットの情報を埋め込む ことができる。ただし，16ビットの情報をディス プレイから携帯端末に伝送する際，周囲の照明や 撮影時の手振れなどの影響によって情報の損失が 発生することが多い。そのため，16ビットの同じ 情報を繰り返し埋め込んでおき，損失が発生した 場合は前後の情報を利用して失われた情報を復元 するため，実際に携帯端末で受信するのに2 ∼ 3秒 程度の撮影時間を要する。 前述した四つの要件の一つに撮影距離を挙げて いたが，開発技術による画面全体の色の変化は人 間には気付かれにくいため，埋め込んでいる波の 振幅を大きくすることができ，その結果，離れた 距離からでも受信することが可能になる。40イン チのディスプレイで評価したところ，3 mの距離か らでも受信が可能であった。また，携帯端末のデ ジタルズームを併用することで，5 ∼ 6 mとかなり 離れた距離からでも受信できた。 開発技術は市販の携帯端末に搭載されているカ メラで受信可能な信号を利用して映像に情報を埋 （2） 無線LAN 無線LAN経由でテレビやデジタルサイネージの 端末から情報を携帯端末に配信する技術である。 映像を表示する端末と携帯端末を接続するための 認証設定が煩雑であり，利用するためにはある程 度の専門知識が必要という課題がある。 （3） QRコード 画面の一部にQRコードを表示して，それを携帯 端末で読み取ることで情報の送受信を行う。画面 内に映像とは別にQRコードを表示する場所が必要 であり，また，画面にカメラを近付けないと読み 取れない。 （4） 画像認識 携帯端末のカメラでPCの画面を撮影し，画像認 識技術を用いて表示しているファイルを検出する 方法（1）があるが，事前にPCと携帯端末間の通信を 何らかの手段で確立しておく必要がある。そのた め，不特定多数の相手に情報を配布する場合には 適用できない。 開発技術の概要 今回開発した技術は，時間によって変化する 信号を映像に埋め込む電子透かしの一種である。 図-1
に示すように，色が変化する点を映像に埋め 込み，その点の数を増減することにより画面全体 の色を緩やかに変化させ，この変化によって生じ た波を搬送波として情報を送信する。一つひとつ の点の色の変化は人間の目には認識できない程度 だが，これらの数が変わることによって，画面全 体の色変化の総和は大きく変化している。しかし， 開発技術の概要 図-1 映像に信号を埋め込む原理 図-2 ディスプレイから携帯端末へ情報を送る仕組み 色差 時間 ：色が変化する点 0 1 1 0 2種類の波を組み合わせて 情報を送信 映像をカメラ アプリで撮影 0を表す波 1を表す波 色差 時間 色差 時間め込んでいるため，受信側に専用の装置は不要で ある。また，埋込み側に関しても，あらかじめ映 像の素材そのものに信号を埋め込んでから，通常 の系で映像を放送もしくは配信することにより， テレビやデジタルサイネージなどの表示機器は既 存のものを利用することが可能である。
ま た，PCのIPア ド レ ス やSSID（Service Set Identifi er），もしくはそれを短縮したIDなどを通信 情報としてPC画面に重畳し，携帯端末でその通信情 報を検出することで，携帯端末は検出した通信情報 を利用し，ネットワーク上のPCにアクセスしてPC との通信を確立することができるため，無線接続に 必要な情報の入力といった煩雑な操作が不要になる。 以上により，本技術は前述した四つの要件を全 て満たしていると言える。 広告ビジネスへの応用 開発技術の応用としてテレビやデジタルサイ ネージの動画CMと連携したモデル（2）を図
-3
に示 す。富士通は映像素材に情報を埋め込むためのプ ラットフォームやサービス，SDK（ソフトウェア 開発キット）などのソフトをCMの広告主や広告会 社などに提供する。広告主や広告会社はCM素材に CMを識別するための16 ∼ 32ビット程度のIDを埋 め込み，そのCMを放送局や配信事業者が各家庭の テレビやデジタルサイネージに流す。一方視聴者 は専用のカメラアプリをWebサイトから携帯端末 広告ビジネスへの応用 にダウンロードし，そのアプリで気になったCMを 撮影することによって，CMに埋め込まれたIDを検 出する。検出したIDに応じて携帯端末にCMに関連 した情報を表示するが，IDとCMに関連した情報は サーバにあらかじめ登録しておき，携帯端末はID をトリガーとしてCMに関連した情報をサーバから ダウンロードする。この仕組みによって様々なサー ビスに視聴者を誘導することが可能になる。PC
・携帯端末連携への応用 二つ目の応用として，PCと携帯端末間の連携（3） について述べる。背景として，携帯電話の高機能 化やタブレットの普及により，従来PCで行ってい たファイル閲覧や編集などが携帯端末で可能にな り，それに伴いPCと携帯端末間でのファイルの転 送のニーズが高まっている。例えば，PCで作成し たファイルを携帯端末にコピーして閲覧や編集， もしくは携帯端末で撮影した写真や動画をPCにコ ピーして視聴するといった利用シーンが増えてい る。しかし，PCと携帯端末の連携は煩雑な設定が 必要などの理由で一般ユーザーにとってまだまだ 敷居が高く，PCと携帯端末間のファイルの転送を より簡単に実現することが望まれている。 この課題を解決するため，映像媒介通信を用い てPC画面に携帯端末のカメラをかざすだけで被写 体となっているPCを特定し，PC画面に表示されて いるファイルを携帯端末に自動転送するシステムPC
・携帯端末連携への応用 10111 10111 旅行の予約 受信したクーポンを 店舗で利用 デジタルサイネージから 携帯端末へ情報を送信 放送局 テレビから携帯端末へ 情報を送信 放送 配信事業者 配信 映像に情報を埋め込む プラットフォーム/サービスを提供 映像 映像 携帯端末向けカメラアプリを配布 買い物番組で 商品を購入 周辺の店舗情報を 取得 映像に通信情報を 埋め込む 広告主/広告会社 図-3 開発技術を利用した新サービスむ す び 本稿では，富士通研究所が提案するディスプレ イと携帯端末間の新たな通信技術とその用途・応 用例について述べた。開発技術については実用化 に向けた実証実験を検討しており，イベントやセ ミナーなどで顧客にこの技術を体感していただく 予定である。また，利便性の向上に向けたコア技 術のエンハンスも継続して行う。現状は利用者が ストレスを感じない2 ∼ 3秒程度の撮影時間で送受 信できる情報が16ビットであるため，単位時間あ たりの埋込み情報量を増やすことで割り振れるID を増やすことを検討している。更に，街中に設置 されているデジタルサイネージの映像に情報を埋 め込むといった応用も検討している。 富士通研究所では，これまでにも印刷物などの アナログ媒体とICTを結び付ける技術（4），（5）を開発 しており，今後も実世界のありとあらゆるものを ネットワーク上のサービスに誘導し，新たなサー ビスを顧客が展開できるような技術を開発してい く予定である。 参 考 文 献
（1） T. Chang et al.：Deep Shot: A Framework for Migrating Tasks Across Devices Using Mobile Phone Cameras．ACM CHI 11. Proceedings of the SIGCHI Conference on Human Factor in Computing Systems，p.2163-2172（2011）． （2） 富士通研究所：テレビ映像を携帯電話で撮影するだ けで情報の取得を可能にする新しい通信技術を開発． http://pr.fujitsu.com/jp/news/2012/06/4-1.html む す び を開発した。開発したシステムは主に以下の二つ の技術で構成される。 （1） PC画面に通信情報をリアルタイムで重畳する 技術 （2） PC画面を監視して携帯端末からの要求に応じ てファイルを転送する技術 （1）については，図
-4
に示すように映像媒介通 信によってIPアドレスやSSIDなどの通信情報を人 の目には見えない信号に変換し，画像処理によっ てPCのデスクトップ画面にリアルタイムで重畳す る。携帯端末の専用カメラアプリでPC画面を撮影 することで，重畳している通信情報の検出が可能 であり，この通信情報を用いて携帯端末からPCへ ファイルを要求する。（2）については，PC画面上 に表示されているファイルを常に監視し，携帯端 末からファイルの要求がPCに届いたタイミングで PCのデスクトップ画面の最前面に表示されている ファイルを携帯端末に転送する。 また，専用カメラアプリで検出した通信情報を 使えば，携帯端末に保存してある写真や動画など のファイルをPCにコピーすることも可能である。 開発したシステムによってPC画面に携帯端末の カメラをかざすだけで簡単にPCと携帯端末間で ファイルの転送が可能となり，様々なサービスへ の展開が可能になる。 例えば， ・ セミナー，会議，学校の授業などでスクリーンに 表示されているプレゼン資料を出席者がダウン ロード ・ 展示会，店頭で商品のチラシやカタログを配布 などが考えられる。 PC画面 PC画面に重畳 通信情報を変換した 画像信号 ②通信情報を検出 ①PC画面を撮影 ④ファイルを転送 ③通信情報を用いてファイルを要求 図-4 ファイル転送システムし技術．FUJITSU，Vol.58，No.3，p.183-187（2007）． （5） 阿南泰三ほか：紙の暗号化技術．FUJITSU，Vol.60， No.5，p.490-495（2009）． （3） 富士通研究所：PC画面を携帯電話やタブレットで撮 影するだけでファイルの転送を可能にする技術を開発． http://pr.fujitsu.com/jp/news/2013/01/21.html （4） 阿南泰三ほか：印刷物セキュリティを実現する透か 倉木健介（くらき けんすけ） メディア処理システム研究所イメージ システム研究部 所属 現在，電子透かしの研究に従事。 中潟昌平（なかがた しょうへい） メディア処理システム研究所イメージ システム研究部 所属 現在，電子透かしの研究に従事。 田中竜太（たなか りゅうた） メディア処理システム研究所イメージ システム研究部 所属 現在，電子透かし，映像伝送，配信技 術の研究に従事。 阿南泰三（あなん たいぞう） R&D戦略本部モビリティ研究推進室 所属 現在，モビリティ関連技術の研究開発 の推進に従事。 著 者 紹 介
