コンビニ向け商品情報提示サービスを実現する画像認識型透かし埋め込み・検出技術

(1)

画像から情報を検索する技術 スマートフォンやタブレットと呼ば れる携帯端末の普及と高性能化は， 日々爆発的な勢いで進行しています． それに伴って，携帯端末上で動作する さまざまなサービスが公開され，注目 を浴びています．中でも近年，特に多 くのユーザの関心を集めているのが “Mobile Visual Search” と呼ばれる サービスです．Mobile Visual Search とは，携帯端末に内蔵されたカメラで 撮影された画像から物を認識し，それ に関連するさまざまな情報を検索・提 示するサービスや技術を指していま す．認識対象は，絵画，建築物，書籍， DVDなどが代表的です．また，検索・ 提示対象としては，関連するWebペー ジや被写体の名称・位置，類似物の画 像などが挙げられます．物の名前が分 からなくて調べたいときや，ガイダン ス・口コミなど関連する情報を調べた いときに，携帯端末を対象にかざすだ けで検索できるようになるため，これ までの単語ベースの検索とはレベルの 異なる，極めて利便性の高いサービス が展開できると考えられます．このよ うなサービスはNTT研究所において も「SightX」（1）_{，「おもてなしUI/UX}

（User Interface/User Experience）」（2）

といった名称で，複数研究所間の連携 により積極的に検討されています．

本稿では，まずMobile Visual Search の処理概要を示し，次に実現のための キーテクノロジとなる電子透かし技 術，アングルフリー物体検索技術，お よびそれらの融合技術である画像認識 型透かし埋め込み・検出技術について 紹介します．その後，2016年11月よ りスタートしたセブン＆アイ・ホール ディングスとの共同実験について概説 します．

Mobile Visual Search

Mobile Visual Searchの処理の流れ

を図 1 に示します．携帯端末のカメラ で撮影されたクエリ画像（検索のキー となる画像）から対象に付加されてい るバーコードなどのIDを読み取って サーバに送るか，またはクエリ画像そ のものをサーバに送付します．サーバ 側では，受け取ったIDに紐付けられ た関連情報のURLを携帯端末に返送 するか，受け取ったクエリ画像から撮 像対象が何であるかを画像認識などの 手法で識別し，その識別結果に基づく 関連情報のURLを携帯端末に返送し ます． ここで，撮像対象が何であるかを識 別する手段にはさまざまなものが考え られますが，大きくは 2 種類のカテゴ リに分類できます． 1 つは，バーコー ドや 2 次元コードのような，濃淡パ 携帯端末サーバ参照画像，またはID-URL 変換テーブル認識結果（URLなど）クエリ画像，またはIDコードデータベース

図 1 　Mobile Visual Search

画像認識型透かし埋め込み・検出技術は，商品パッケージなど に目立たぬように印刷して埋め込まれたID情報を携帯端末のカメ ラをかざすだけで高精度に検出できる技術です．本稿では技術の 概要と，2016年11月よりスタートしたセブン＆アイ・ホールディ ングスとの共同実験に関して紹介します．

八

や

尾

お

泰

やすひろ

洋 /草

くさち

地良

よしのり

規 /武

たけい

井伸

のぶかつ

勝

NTTメディアインテリジェンス研究所

†1

NTTサービスエボリューション研究所

†2

NTT研究企画部門

†3 † 1 † 1 † 3

(2)

ターンに基づいて表現されたコードを IDとして読み取って対象を識別する 手段です．後述する電子透かし技術も このカテゴリに分類できます．この場 合，対象となる物にあらかじめコード パターンを付加しておく必要がありま すが，さまざまなデータ符号化技術に より，非常に高い精度で識別すること が可能となります．もう 1 つは，画像 認識と呼ばれる手段です．これは，対 象を撮影した画像から抽出される特徴 量（フィンガープリントなどと呼ばれ ることもあります）をあらかじめデー タベースに登録しておき，クエリ画像 から抽出される特徴量との照合によ り，クエリ画像に写った物が何である かを識別する手段です．後述するアン グルフリー物体検索技術もこのカテゴ リに分類できます．この場合，対象と なる物にあらかじめ何かを付加する必 要はありませんが，類似した物が存在 する場合，それらの識別が困難になる 場合があります．このように， 2 つの 手段は互いに補完関係があるので，目 的に応じて使い分けたり，あるいは組 み合わせたりして使うことになり ます． 電子透かし技術 NTTメディアインテリジェンス研究 所では，古くから電子透かしに関する 研究を精力的に行ってきており（3）~（5）_， 独自開発されたアルゴリズムは高い読 み取り精度と高速動作を誇っていま す．主にメディア間同期手段としての 利用を想定しており，透かしを埋め込 んだ静止画，印刷物，動画像に対し， 検出アプリケーションを起動した携帯 端末のカメラをかざすだけで，高速に 透かしIDを検出し，関連する情報に アクセスすることが可能です． 印刷物に適用可能な電子透かし技術（3） では，まず四辺形の高速追跡手法STA （Side Trace Algorithm）（6）_{を用いてカ}

メラ撮影画像から透かし埋め込み領域 を検出し（あらかじめ透かし埋め込み 領域の 4 辺に細い枠を付加します）， 次に検出された領域が所定のサイズの 正方形になるよう射影変換歪みを補正 します．そして，補正後の画像から電 子透かしパターンを抽出し，透かし IDを読み取ります．あらかじめ埋め 込まれた電子透かしパターンは簡単な 画像処理演算で抽出可能なため，携帯 端末のような非力なデバイスにおいて も非常に高速に処理することが可能で す．電子透かしの性質上，対象となる 印刷物の見栄えに変更を加えることに なりますが，画質の劣化はわずかであ り，通常の利用で気付かれることはほ とんどありません．さらに，前述の射 影変換歪み補正処理のため，斜め方向 からの撮影でも非常に安定して透かし IDを読み取ることができるのが特長 です． アングルフリー物体検索技術 アングルフリー物体検索技術（7）_は， 3 次元の物体をどのような方向から 撮影しても，高精度に立体物を認識・ 検索し，関連情報を提示できるNTT メディアインテリジェンス研究所の技 術です．携帯端末のカメラを通じて， 周囲の建物・史跡や看板，電子機器な どを高精度に認識し，観光コンテンツ やルート案内情報，操作マニュアルな どを提示できます． アングルフリー物体検索技術は， NTTが従来から培ってきた音・映像 の高速探索技術であるロバストメディ ア探索（RMS）や物体識別技術を進 化させた，「ロバストオブジェクト探 索技術（RMS-object）」（8）_{を基に実現} しました．まず，射影幾何学から導か れる同一立体物上での拘束条件を用い た独自の対応付け処理により，入力画 像と参照画像の間で画像特徴の対応関 係を正確に特定しています．その際， 事前に用意する参照画像数は従来の 10分の 1 程度で十分です．また，画 像特徴の重要度をその出現頻度に基づ き統計的に推定し，その重要度を加味 して照合処理を行うため，非常に高い 精度での識別が可能です．さらに，画 像特徴データベースは，特徴空間内で の分布を考慮した独自の方法により短 い符号（ハッシュ）に変換しインデク シングしています．これにより画像特 徴データベースから，入力画像に合致 する画像特徴群を従来に比べて約 2 倍の速度で照合できます． 画像認識型透かし埋め込み・検出技術 前述のように，電子透かし技術やア ングルフリー物体検索技術を用いれ

(3)

きると考えられます．しかし，それら 単体ではうまくいかないユースケース も存在します．例えば，コンビニ店舗 で販売されているおにぎりなどの商品 は，観光に訪れた外国人のお客さまが それを見てもどのような中身かを理解 するのが困難です．そこで，これらの 商品にカメラをかざすだけで，原材料 やアレルギー情報などを母国語表示す るサービスがあれば非常に有用である といえます（図 ₂ ）．商品には通常バー コードが付加されているのでそれを利 用する手段も考えられますが，バー コードは一般に商品の裏側など目立た ない場所にあることが多く，カメラで かざすにはまず商品を手に取らなくて はなりません．しかし，食品等を手に 取ることは商品が潰れてしまうなどの 懸念があるため，店舗サイドにとって す．そこで，商品を手に取ることなく， 棚に陳列された商品をカメラで撮影す るだけで認識し検索できる方式が求め られています． アングルフリー物体検索技術に代表 される画像認識は，近年非常に精度が 高い手法になっているとはいえ，類似 した商品を完璧に識別できるものには まだなっていません．したがって，ア レルギー表示などのハイリスクな情報 提示サービスには不向きと考えられま す．一方，NTT研究所の電子透かし 技術を利用すればほとんど100％の精 度で識別可能になるのですが，前述し たとおり，透かし埋め込み領域に明示 的な枠を付加する必要があります．こ れは商品のデザインを大きく変更する ことになるため，やはり不向きと考え られます． 術と電子透かし技術を融合した新しい 技術「画像認識型透かし埋め込み・検 出技術」が開発されました．この技術 では，PB（Private Brand）商品の ロゴマークなどあらかじめ決められた パターンの上に透かしを埋め込み，そ のパターンを手掛かりとしてカメラ撮 影画像から透かし埋め込み領域を推定 し，それに基づいて透かしIDを読み 取る手法になります． 画像認識型透かし埋め込み・検出技 術の処理概要を図 ₃ に示します．撮影 画像からのパターン検出にはアングル フリー物体検索技術を用います．アン グルフリー物体検索技術はパターンを 検出するだけでなく，パターンから得 られる複数の特徴点位置も高精度に同 定できるため，その情報を用いれば， 四辺形の枠をSTAで検出するのと同 陳列棚に置かれた商品サーバ携帯アプリ画像ＵＲＬインターネット商品を置いたままカメラで撮影 _{バーコードは} 裏側にあるため NG 商品情報（母国語標記）・商品の中身，説明・アレルギー・その他関連情報商品を識別し，関連情報を表示ブラウザ図 ₂ 　コンビニ向け商品情報提示サービス

(4)

訪日外国人のお客さまにも「便利」を

NTTコミュニケーションズ第四営業本部湯ノ谷雅一／村本博子 NTTコミュニケーションズでは，セブン＆アイ･ホールディングス様（7＆ i 様）とともに，最先端のICT技術を活用し，コンビニエンスストア等での新たな「便利」の創造に向け，NTTグループ一体となり，グループ連携の取り組みを進めています． 7＆ i 様では，2020年に向けてますます増加が予想される外国人のお客さまにとって，「近くて便利」なお店づくりの検討をされています．ご検討の中で，おにぎりやサンドイッチなどの原材料やアレルギー情報等，商品の情報を外国人のお客さまに母国語でお伝えしたくても，包装紙の狭いスペースには表示しきれないなどの悩みをお持ちでした．そのような折，グループ連携の取り組みの一環として，7＆ i 様にNTT武蔵野研究開発センタへお越しいただき，最新技術を見学いただきました．見学される中で，スマートフォンでさまざまな方向から撮影しても，3次元の物体を高精度に認識できる「アングルフリー物体検索技術」を活用し，お客さまの課題解決が図れないかという話となり，「スマホによる商品情報案内」の検討が始まりました． 7＆ i 様からのご要望は，お客さまが「商品を手にとることなく」情報を得られること，しかも，商品ラベルなどの「デザインを全く変更しない」ということでした．その理由は，商品を手にとってしまうと形が崩れてしまい，衛生管理上も好ましくありません．また，バーコードやQRコードを表面ラベルに印刷すれば商品との紐付けができますが，商品のデザインに影響を与え美観を損ねてしまいます．また，もっとも重要な要求条件は，「商品を誤認識せず」正確に識別することです．誤った商品情報をお客さまに提供してしまったら，それこそ大変な問題になってしまいます．これらコンビニエンスストアならではの課題に対し，NTT研究所が検討を行い，「アングルフリー物体検索技術」と「電子透かし技術」を組み合わせた世界初の方式を考案しご提案しました．その結果，7＆ i 様から高い評価をいただき，実際の店舗において共同実験をすることになりました．共同実験は，商品ラベルの印刷会社様にもご協力いただく実オペレーションを考慮した本格的なものです．すでに，読み取り精度などの技術的な側面，使い勝手などのユーザビリティの側面でも，良好な評価が得られており，7＆ i 様も事業化に向けて大きな期待を込められています． NTTコミュニケーションズでは，両グループ連携の第一弾として，「スマホによる商品情報案内」の事業化に向け，今後7＆ i 様とともに検討を加速していきます．また，本テーマ以外にもさまざまなご提案を積極的に行い，コンビニエンスストアでの新たな「便利」の創造に向けて取り組んでいきます． コラム 参照画像クエリ画像商品ＩＤ ①ロゴ検出と特徴点の対応付け ③特定された埋め込み領域からの透かし読み取り ②逆射影変換による画像補正（ロバスト推定に基づく手法）図 ₃ 　画像認識型透かし埋め込み・検出技術の概要

(5)

す．具体的には，RANSAC（RANdom SAmple Consensus）と呼ばれるロバ スト推定手法を用いることで，対応付 けられた特徴点どうしの位置関係から 射影変換行列を自動的に導き出し，そ れを基に，検出された領域が所定のサ イズの正方形になるよう射影変換歪み を補正します．そこから先の処理は前 述の電子透かし技術と同じです． 本手法のもっとも大きな特長は，明 示的な枠やマーカーを用いずに透かし を埋め込めるため，識別のためのID 情報を完全に秘匿できる点にあります が，それに加え，45度程度の斜め方向 からでも安定して透かし読み取りが可 能な点や，約 1 センチ四方程度の極小 エリアにも透かしを埋め込めるため， おにぎりなど非常に小さいパッケージ にも適用可能な点なども挙げられま す．これらは他社ではなかなか真似で きないアドバンテージであるため，本 手法を選択することの大きなメリット となり得ます． 実店舗における実証実験 ■実験室環境での予備実験 まず，実験室環境での簡単な予備実 験結果から説明します．おにぎりなど のラベルに付加されているセブン＆ア イ・ホールディングスのロゴパターン をアングルフリー物体検索の参照パ ターンとして用い，透かしIDをラン ダムに定めた透かしパターンをロゴパ ターンに埋め込んで印刷しました．そ ラを利用して撮影したクエリ画像数百 サンプルを基に識別率を求めました． クエリ画像は，対象となる商品から15 cm前後の距離から，商品自体も360度 回転させながら，さまざまな角度（正 面から最大45度の傾きまで）で撮影し て取得しました．結果として，正しく 識別できた割合は98.4％，誤って識別 した割合は 0 ％，透かしIDを読み取 れなかった割合（この場合，アプリは ユーザに再撮影を促します）は1.6％ となりました．また，サーバ上でのトー タル処理時間はクエリ画像 1 枚当り 平均約1.5秒でした．さらに，計算機 シミュレーションにより約10億サン プルの人工データで別途検証した結 果，誤識別率はおよそ1000万分の 1 オーダとなり，バーコードの規格で定 められている誤読率300万分の 1 以下 をクリアすることも確かめられました． ■実店舗での実証実験 次に，セブンイレブンの実店舗で 行った実証実験の結果について説明し ます．実験場所はセブンイレブン千代 田二番町店，実験時期は2016年11月 になります．実験内容としては，店舗 内の商品棚に配置した商品サンプルの ロゴを実験用端末で撮影し，ロゴに埋 め込まれた透かしIDを正しく認識で きるかどうかを検証したものになりま す．対象となる透かし入り商品は，実 際の商品パッケージを印刷している業 者へ依頼し，本物の商品と全く同様に 印刷してパッケージングしました．商 しゃけ」（紙ラベル），「直巻おむすび とり五目」（透明フィルム），「ミック スサンドイッチ」（透明フィルム）の 3 点でした．また今回は，携帯端末に インストールする専用アプリも用意し ました．撮影時のプレビュー画面には 特別のターゲットスコープが重畳さ れ，一般のユーザが撮影を戸惑わない ようさまざまなインストラクションが 行われる工夫が施されていました（図 4 ）．特に重要なこととして，透かし IDの読み取り精度に影響が大きいと される「白とび」や「ピンボケ」をア プリが自動検知し，サーバ送信する前 にユーザに警告を与えるような仕組み を導入しました．さらに，透かしID を読み取った後にはその商品の詳細情 報をWebブラウザで表示するだけで なく，携帯端末のOSの言語設定情報 から自動的にユーザ母国語の情報を選 択し表示するようにしました（図 5 ）． 結果として，実験室環境と同様の誤読 率 0 ％を記録し，高いお客さま満足度 を達成することができました． 共同実験は2017年 4 月現在も継続 して実施しており，今後より多くのお 客さまを被験者としたユーザビリティ 検証を進めていく予定です． 今後の展開 NTTメディアインテリジェンス研 究所が取り組んでいる画像認識型透か し埋め込み・検出技術について，技術 の概要と，セブン＆アイ・ホールディ

(6)

ングスとの共同実験について紹介しま した． 今後は共同実験で抽出された課題を 解決すべく，商用品質の透かし検出ソ フトウェア開発を進めていき，より便 利なサービスを創造していくことをめ ざします． ■参考文献 （1）並河・南・片岡・巻口・下村：“カメラを向 けることで，その場面で必要な情報が取得で きる「SightX」,” NTT技術ジャーナル， Vol.25，No.5，pp.25-28，2013． （2）市川・中村・中村・手塚・瀬下・深田・三 井：“2020 Airport/Station ──訪日外国人向 け空港～駅でのおもてなし，” NTT技術 ジャーナル，Vol.28，No.10，pp.25-28，2016． （3）中村・片山・山室・曽根原：“カメラ付携帯 電話機を用いたアナログ画像からの高速電子 透かし検出方式，” 信学論D-II, Vol.J87-D-II, No.12, pp.2145-2155, 2004. （4）安藤・山本・筒口・片山・谷口：“地上デジタ ル放送における映像向けモバイル電子透かし の実証実験，” 映情学技報，Vol.37，No.38， pp.57-62，2013．

（5） S. Ando, S. Yamamoto, H. Tanaka, K. Tsutsuguchi, A. Katayama, and Y. Taniguchi：

“Visual SyncAR: Video Synchronized AR based on Mobile Video Watermark，” IIEEJ trans. image electronics and visual computing, Vol.4，No.2，pp.114-123，2016．

（6）片山・中村・山室・曽根原：“電子透かし読 取りのためのiアプリ高速コーナ検出アルゴリ ズム，” 信学論 D-II，Vol.J88-D-II，No.6， pp.1035-1046，2005．

（7） J. Shimamura, T. Yoshida, and Y. Taniguchi： “View-Directional Consistency Constraints for Robust 3D Object Recognition，” IIEEJ trans. image electronics and visual computing， Vol.3，No.2，pp.164-173，2015． （8）柏野：“膨大なメディアデータの探索と活用 ～ビッグメディア時代のボトルネック解消に 向けて～，” NTT技術ジャーナル, Vol.26， No.4，pp.31-34，2014． （上段左から）安藤慎吾/ 五十嵐勇/ 杵渕哲也/ 中村泰治 （下段左から）並河大地/ 山下　遼/ 八尾泰洋/ 草地良規/ 武井伸勝 NTTメディアインテリジェンス研究所は，より利便性の高いサービスを多くのお客さまに提供すべく，カメラによる物体認識技術の研究とそのアプリケーション･ソフトウェア開発に日々取り組んでいます． ◆問い合わせ先 NTTメディアインテリジェンス研究所画像メディアプロジェクト TEL ₀₄₆-₈₅₉-₂₄₂₆ FAX ₀₄₆-₈₅₉-₂₈₂₉ E-mail　wmaf lab.ntt.co.jp 図 ₅ 　商品識別結果表示画面図 ₄ 　共同実験用携帯アプリの撮影画面