所属 大隈研究室
指導教員 大隈ひとみ
発表者 渡邉 賢明
平成25年度 卒業研究 中間発表
目次
1. はじめに 2. テーマ変更について 3. 使用ソフトについて 4. 現在までにできていることについて 5. CG映し出しのプログラムの説明と問題点 6. 音声再生のプログラムと改良点 7. 今後の課題 8. 開発環境 9. 参考文献1. はじめに
• 筒井浩平氏 「Android端末でのARアプリケーションの開発」 （平成23年度卒業研究） →AR技術に関心を持った • AR（Augmented Reality) 拡張現実 現実の環境から与えられる情報に、コンピュータが作り出した情報を 付加し、補足の情報を与える技術。 IDEA＊IDEA （http://www.ideaxidea.com/archives/2010/06/ikea_ar_catalog.html） IKEAの事例2.1 テーマ変更について
• 構想発表 『AR技術を用いたグリーティングカード作成ソフトの開発』 • 機能： ①ユーザ1（作成者）が写真を使ってARを作れる。 ②ユーザ1が作ったARをユーザ2（閲覧者）が端末を使い閲覧できる。 • 変更理由： 1. ARの良さを活かせない。（あらゆる角度から見える、音声など） 2. プログラム一つ一つをしっかり理解したい。 3. ユーザの手間を極力省きたい。2.2 開発アプリの概要
• 対象：小学生以下の子ども • 使用シーン：スマホorタブレットを持つ親と一緒に 車の名前・特徴を学ぶ • コンテンツ：働く車（パトカー・救急車・消防車） • 機能：CGの映し出し CGと対応した音声の再生 CG映し出しの際に車の名称表示 動きのあるCG 実行画面（合成）3.1 NyARToolkit
• C言語ライブラリ「ARToolkit」を参考に実装された オープンソースのライブラリ • ARアプリケーションが容易に作成可能 • ARToolkitと違う点 画像サイズ無制限 IDマーカ判別機能 など サンプル実行画面3.2 CG作成ソフトについて
フリーソフトである サンプルCGがあり、色々と試すことが可能なソフトメタセコイア
を使用 実行画面4. 現在までに出来ていること
• CGの映し出し • マーカに対応した音声の再生 • カメラ上に文字の表示 • データ元 • メタセコ素材！ (http://sakura.hippy.jp/meta/) • BowRoll (http://bowlroll.net/up/dl6192)5.1 CGの映し出しのプログラム
映し出す
メタセコイアデータを指定
実際に格納している場所を取得
3Dを処理するレンダラー
5.2 CGの映し出しのプログラム
マーカの検出
３Dモデル表示準備
（マーカの種類判別・3D変換行列取得）
レンダラーに
5.3 CGの映し出しのプログラム
5.4 CG映し出しの問題点
5.5 解決策
• 原因： メタセコイアでCG作成時…ミラーリング
を行った際に、フリーズ作業
を行っていない。 ○ミラーリング…左右片方を作り、左右対称の鏡像を 反対側に映し出す機能。 ○フリーズ作業…鏡像を実体化にする機能。 ミラーリングした際、他ソフトで形を表示させるために必要な機能。 メタセコイアで簡単なモデリング(人) （http://cg.xyamu.net/metasequoia/entry67.html）6.1 音声再生のプログラム
音源設定
6.2 音声再生のプログラム
音声再生
音声停止
6.3 音声再生の問題点
• 原因：isDetect
⇒マーカを見つけたら
Trueになる設定
各マーカに対応した isDetectを用意する 必要がある。6.4 マーカごとに音声を切り替えるプログラム
３Dモデル表示準備 （マーカの種類判別・3D変換行列取得）patthiroを認識したらisDetect[0]=True
pattkanjiを認識したらisDetect[1]=True
検出したマーカの配列番号取得
patthiro=0;
pattkanji=1
6.5 マーカごとに音声を切り替えるプログラム
isDetect[0]⇒patthiroを認識した時
mp[0]⇒patthiroに対応した音再生
isDetect[1]⇒pattkanjiを認識した時
mp[1]⇒pattkanjiに対応した音再生
再生の操作7.1 今後の課題
• CGに動きを加える
• マーカを認識したら対応した文字が表示されるようにする
• CGをタッチしたら音声が鳴るようにする
7.2 最終審査までのスケジュール
月
項目
10月
CG作成（10月～）
文字表示
11月
CGの動き
12月
タッチした際の動作
最終審査
9.1 参考文献・参考サイト
• 6/4 • IDEA＊IDEA （http://www.ideaxidea.com/archives/2010/06/ikea_ar_catalog.html） • 7/26 • モバイルARアプリ開発“超”入門 （http://www.atmarkit.co.jp/ait/articles/1110/24/news120.html） • 8/27• NyARToolKit for Android
（http://sixwish.jp/Nyartoolkit/Android/） • 9/26 • メタセコ素材！ (http://sakura.hippy.jp/meta/) • 10/1 • Yahoo!知恵袋 （http://detail.chiebukuro.yahoo.co.jp/qa/question_detail/q1186788751）
9.2 参考文献・参考サイト
• 10/11 • 逆引きAndroid入門 （http://www.adakoda.com/android/000071.html） • 10/13 • メタセコイアで簡単なモデリング(人) （http://cg.xyamu.net/metasequoia/entry67.html） • 10/15 • BowRoll (http://bowlroll.net/up/dl6192) • Metasequoia初心者講座 （http://ktg.xii.jp/mqo/mqo-basic/mqobsc_001.html）3.1 構想発表から現在までの変更点について
• 開発環境
• Processingとは… Java言語を簡略し、 グラフィックス処理に特化した言語 • JavaとAndroidのプログラムを作成することが 可能 • 変更理由：参考文献が少ない。 • （引用：http://yasakawa.blogspot.jp/2012/02/processing.html）
3.1 NyARToolkit
• 加藤博一氏（現奈良先端科学技術大学院大学教授）と
ワシントン大学HITL（Human Interface Technology Lab)によって 開発されたC言語ライブラリ「ARToolkit」を参考に実装された オープンソースのライブラリ • ARアプリケーションが容易に作成可能 • ARToolkitと違う点 画像サイズ無制限 IDマーカ判別機能 など
4.2 問題点２
問題点2
• 原因：
テクスチャファイル
を格納していない。• テクスチャ…CGの面に貼り付ける2D画像。 （例：模様、色、顔など）
5.3 プログラムの説明
マーカの検出処理
マーカ検出の変数設定
5.2 プログラムの説明
パターンファイル設定
patt[0]=patthiro
patt[1]=pattkanji
5.5 プログラムの説明
isDetect[0]⇒patthiroを認識した時
isDetect[1]⇒pattkanjiを認識した時
mp[0]⇒patthiroに対応した音再生
5.4 プログラムの説明
patthiroを認識したらisDetect[0]=True
pattkanjiを認識したらisDetect[1]=True
マーカの一致率が60％を超えるか判定
3.1 NyARToolkit
• 加藤博一氏（現奈良先端科学技術大学院大学教授）と
ワシントン大学HITL（Human Interface Technology Lab)によって 開発されたC言語ライブラリ「ARToolkit」を参考に実装された
オープンソースのライブラリ
• ARToolkitと違う点 画像サイズ無制限
3.3 メタセコイアについて
• 拡張子 .mqo • 株式会社テトラフェイスが開発や提供をしている3DCG作成ソフト • フリーソフトとして使用可能 • サンプルデータ有 • 使用説明サイトも豊富 • NyARToolkitに対応5.9 マーカごとに音声を切り替えるプログラム
パターンファイル設定patt[0]=patthiro patt[1]=pattkanji
1. はじめに
• 筒井浩平氏 「Android端末でのARアプリケーションの開発」 （平成23年度卒業研究） →AR技術に関心を持った • AR（Augmented Reality) 拡張現実 現実の環境から与えられる情報に、コンピュータが作り出した情報を 付加し、補足の情報を与える技術。 IDEA＊IDEA （http://www.ideaxidea.com/archives/2010/06/ikea_ar_catalog.html）1.1 ARについて
手軽に作れそうなソフトはあるのか？ 誰でも簡単にＡＲを作ることができるソフトを開発したい！ ARの仕組みについて勉強してみたい！！ 開発環境を 整えなければ いけない ＷＥＢカメラ が必要 お金がかかるユーザ① ユーザ②
グリーティングカード
作成者 閲覧者
AR
2. 3種類のAR
• ①ロケーションベースAR GPSなどから取得可能な位置情報を利用して情報提示を行う 例）セカイカメラ • ②マーカ型ビジョンベースAR 決まった形の図形を認識することによって情報を提示する 例）IKEAのカタログ • ③マーカレス型ビジョンベースAR 現実の環境に実在する物体や空間そのものを認識・識別し、 それを基に提示位置を特定し情報を出現させる。 例）てのりん2.1 マーカ型ビジョンベースAR
決まった形の図形を認識することによって情報を提示する 表示位置を指定する画像 ・枠と枠外の色は不一致 ・線対称・点対称を避ける 工学ナビ （http://kougaku-navi.net/index.html）3. ＡＲマーカの仕組み
数値データ （パターンファイル）
3.1 パターンファイル
（例：patt.hiro) • パターンファイルの作り方 ①マーカを作る。 ②専用のソフトを使い、パソコンにつないだ WEBカメラで映す。・ ARToolKit Marker Generator Online ・ mk_patt.exe
数値化
パターン ファイル
3.2 NyIDマーカ
• 3000万以上のパターンが存在
• 直接数値情報を読み取ることができる。 →パターンファイルが必要でない
データベース
4. グリーティングカード作成・閲覧の概要
ユーザ① ユーザ② グリーティングカード 作成者 閲覧者 マーカID番号 マーカID番号4.1 作成者と閲覧者の機能
作成者
閲覧者
①
マーカとコンテンツの
関連付け
・写真選択
・マーカ選択
・フレーム選択
関連付けデータの
読み込み機能
②
サーバへの
アップロード機能
マーカ認識と
コンテンツの再生
5. 中間までの取り組み
月
項目
7月
マーカとコンテンツ
関連付け機能の
作成
マーカ認識と
コンテンツの再生
のシステム構築
8月
9月
10月
中間発表
6. 開発環境
OS
Windows 7
言語
Java
ライブラリ
• ＮｙＡＲ4psg
• Mqo Viewer
Library for
Processing
OS
Windows 7
言語
Java
統合開発環境
Eclipse
7. 参考文献
• ARプログラミング Processingでつくる拡張現実感のレシピ （橋本直著：オーム社：2012年：）
• The Sixwish project
（http://sixwish.jp/AR/Marker/section01/） • IT用語辞典 e-Words （http://e-words.jp/w/AR-2.html） （http://e-words.jp/w/ARE3839EE383BCE382ABE383BC.html） • メタセコ素材！ （http://sakura.hippy.jp/meta/） • IDEA＊IDEA （http://www.ideaxidea.com/archives/2010/06/ikea_ar_catalog.html）
