スマートフォンを拡張したインタラクティブな残像ディスプレイの提案

全文

(1)情報処理学会研究報告 IPSJ SIG Technical Report. Vol.2018-EC-50 No.5 2018/12/21. スマートフォンを拡張したインタラクティブな残像ディスプレイの提案玉井由良†1, a) 沖真帆†1, b) 塚田浩二†1, c) 概要：LED アレイ等を用いた残像ディスプレイは，浮遊感のある特徴的な映像表現等から幅広く利用されているが，インタラクティブ性に乏しいという制約があった．本研究では，スマートフォンと独自の回転ユニットを搭載したケース，及び専用アプリケーションを組み合わせて，インタラクティブな回転式残像ディスプレイを提案／試作する．さらに，応用例や発展性について議論する．キーワード：スマートフォン，残像ディスプレイ，インタラクション. 1. はじめに. PhantomParasol[2]は，傘の内部に複数の LED アレイを搭載したデバイスである．傘を回転させることで傘全面を残像. 残像ディスプレイとは，LED アレイ等の表示器を一定の. ディスプレイとしている．傘を開いた状態では大まかな情. パターンで点滅させつつ空間上で移動させることで，残像. 報提示を行い，回した状態では詳細な情報提示を行うこと. により空間に映像を浮かび上がらせる表示手法である．手. ができる．Phyxel[3]では，複数の素材でできた円盤を高速. で左右に振るような手軽なコミュニケーションツール *1. で回転させ，高速制御可能なプロジェクターから光のパタ. から，自転車のホイールに取り付けて走行中の車輪を装飾. ーンを投影することで，映像に素材の質感を付与すること. する用途*2 等，幅広く応用されている．. ができる残像ディスプレイを提案している．iSphere[4]では，. 残像ディスプレイの特徴として，安価かつ手軽に広い面. ドローンの周囲に複数の LED アレイを搭載して回転させ. をディスプレイと化すことができる点，浮遊感のある特徴. ることで，全方位に映像を表示しながら飛行可能な浮遊球. 的な映像表現を行える点が挙げられるが，インタラクティ. 体ディスプレイを実現している．. ブ性が低いという制約があった．こうした制約を解消するために，我々はスマートフォンのディスプレイ自体を残像. 2.2 スマートフォンを拡張した研究. ディスプレイとして扱うことに着目した．具体的には，ス. ExtensionSticker[5]は，導電性インクでパターンを描いた. マートフォンに回転ユニットを搭載したケースを装着し，. シールの一部を静電容量式タッチパネルに貼りつけること. 手動／電動で回転させる．ここで，角速度センサなどを用. で，パターンに応じた様々な入力操作に活用できる．. いて回転速度を検出し，画面の一部を速度に合わせて明滅. MagNail[6]では，磁石をネイルに仕込むことで，スマート. させることで残像ディスプレイを構築する．. フォンの磁気センサで指の動きを認識し，タッチ操作と合. さらに，スマートフォンのタッチパネルや各種センサな. わせた多様な操作が可能になる．SENSECASE[7]はスマー. どを組み合わせることで，スマートフォンの物理的回転を. トフォンのカメラ部に小さな人形が付いているケースで，. 活用した新たなインタラクション手法の構築を目指す．. 人形の変形をカメラで識別することで直感的にスマートフォンの入力操作を行うことができる．例えば人形の頬をへ. 2. 関連研究本研究に関連する，残像ディスプレイを扱った研究と，スマートフォンを拡張した研究について紹介する． 2.1 残像ディスプレイを扱った研究 TWISTER[1]では，ユーザの周囲に数層からなる大型の LED パネルを円形に並べてユーザを中心として回転させる大型の残像ディスプレイを開発しており，立体映像の提示や遠隔地コミュニケーションへの応用を示している．. こませることで，嫌な顔をした顔文字を入力したり，耳を塞ぐことで着信を拒否することができる． 2.3 本研究の特徴このように，残像ディスプレイの実現手法や応用例，及びスマートフォンを拡張したインタラクション手法は多数提案されている．一方，本研究では，スマートフォンを拡張したインタラクティブな残像ディスプレイを構築し，静止時／回転時を組み合わせた新たなインタラクション手法の実現を目指している．. †1. 公立はこだて未来大学 Future University Hakodate a) [email protected] b) [email protected] c) [email protected]. 3. 提案我々は，一般的なスマートフォンを拡張した回転式の残. *1 Nolia3220 (NOKIA) *2 monkey light PRO (monkey lectric). ⓒ 2018 Information Processing Society of Japan. 1.

(2) 情報処理学会研究報告 IPSJ SIG Technical Report. Vol.2018-EC-50 No.5 2018/12/21. 像ディスプレイを提案する（図 1）．本研究の特徴は以下の 3 点である．. ンケースと，手で保持するためのグリップから成る（図 3）．本システムでは当初一般的な Android スマートフォン. 1.. インタラクティブ性の高い残像ディスプレイ. （FLEAZ Que+N／covia 社）を用いて実装を進めていたが，. 2.. 内蔵センサを用いた品質向上. 動作速度／リフレッシュレート等に課題があったため，現. 静止時／回転時を組み合わせたインタラクション. 在は 120Hz のリフレッシュレートを持つ高性能な Android. 3.. 一点目は，スマートフォンのタッチパネルやマイク，ス. スマートフォン（AQUOS R compact／SHARP 社）を用い. ピーカーなどを利用して，インタラクティブ性の高い残像. て実装を進めている．ケースはこれらのスマートフォンの. ディスプレイを構築することである．例えば，音声入力で. サイズを計測し，個別に設計した．回転機構には，摩擦が. 表示内容を指定することや，回転中のタッチパネルに触れ. 少ないため小さい力で回転でき，回転が持続しやすい特徴. てインタラクションを行うことができると考える．. からボールベアリングを採用した．ケースの背面にボール. 二点目は，スマートフォンの内蔵センサを用いた残像ディスプレイの表示品質の向上である．例えば，ジャイロセ. ベアリングを嵌め込む窪みを設け，事前に脱脂／注油したボールベアリングを組み込んだ．. ンサを用いて回転速度を検出することで，残像の定時間隔. グリップは手で持ちやすいように配慮した波形の形状と. を調整する．また，回転ユニットの一部に磁石を仕込み，内. し，上部にボールベアリングと接続する棒状の突起を持た. 蔵の磁気センサを用いることで，描画開始位置の調整に利. せた．また，残像ディスプレイの表示位置の補正に利用す. 用できる可能性がある．. るために，磁石を固定する機構も用意した．なお磁石の強. 三点目は，スマートフォンの静止時／回転時を組み合わせた新たなインタラクションの構築を目指す点である．回. さについて，後述する予備実験では約 1000μT の磁束密度を観測した．. 転機構を組み込んだケースを着脱が容易な設計とすることで，通常のスマートフォンとしての利用と，インタラクティブな残像ディスプレイとしての利用を連携しやすいように配慮する．. 図 3. 回転ユニット付きケース. しかし，グリップが大きいこと，ケースから取り外して別々に持ち運ばなければならないことから，携行性に難が図 1. 提案システムのコンセプト. あるという欠点があった．そこで，ケースと持ち手を一体化させた改良型を試作した（図 4）．持ち手を根本から 90 度稼働させることが可能であり，収納時はケースにロック. 4. 実装. して固定することができる．これにより，手軽に携行しつ. ここでは，提案システムの主要な構成要素として，回転ユ. つ，スムーズに回転可能状態に移行できるよう配慮した．. ニット付きケースと，制御アプリケーションについて述べる（図 2）．また，描画内容の編集を行うためのエディタについても述べる．. 図4 図 2. システム構成. 改良型ケースの外観と利用時の変形の様子. これらの筐体は，3D プリンタを用いて ABS 樹脂で出力した．図 5 にスマートフォンを回転させて残像表示させる. 4.1 回転ユニット. 様子を示す．. 回転ユニット部は，回転機構を組み込んだスマートフォ. ⓒ 2018 Information Processing Society of Japan. 2.

(3) 情報処理学会研究報告 IPSJ SIG Technical Report. Vol.2018-EC-50 No.5 2018/12/21. 4.2 制御アプリケーション次に，スマートフォン上で動作するソフトウェアについて説明する．ソフトウェアは大きく残像表示部，センサ制御部，アプリ連携部から構成される．残像表示部では，入力したテキストや図形を変換し，残像として表示する．テキストなどを二次元配列のパターンに変換し，一列ずつ一定間隔で切り替えて明滅させること. 図 10. エディタによる描画内容の編集と表示例. で，スマートフォンの回転に伴い，残像によりテキストなどが浮かび上がる．表示色は調整可能であるが，一般的にコントラスト比が高い方が残像の視認性が高まるため，背景を黒色，パターンを白色とした．センサ制御部では，残像ディスプレイの視認性を向上さ. 5. 議論本システムについて，「予備実験」，「実験環境の構築」，「画面の輝度」，「応用例」と言った視点から議論する．. せるため，ジャイロセンサや磁気センサを用いた表示補正を行う．ジャイロセンサは，静止時／回転時を認識して残. 5.1 予備実験. 像表示画面に遷移したり，回転速度を検出してパターンの. 本システムでは各センサ値を用いて描画の調整を行う．. 点滅間隔を調整する．磁気センサは，回転ユニットに仕込. そこで，本システムの予備実験として，「ジャイロセンサを. んだ磁石の上をセンサ内蔵部が通過するタイミングを検出. 用いた回転動作の認識」，「磁気センサを用いたグリップ部. することで，残像表示における描画開始位置を補正する目. の磁石検出」が可能かを調査した．具体的には，ディスプ. 的で利用する．. レイを上に向けて地面と水平にした状態で，手動で時計回. アプリ連携部では，残像表示するためのパターンや文字. りに回転を加え，低速回転時（秒間 1 回転程度）と高速回. 入力を行ったり，応用アプリケーションとの連携を行う．. 転時（手動で力一杯回した状態）のセンサ値を取得しグラ. 詳細については，応用例の章で後述する．. フ化して検証した．加えて，グリップ部の磁石を着脱して，磁石の有無による磁気センサ値の違いも調べた．磁石はケースの裏側，回転軸から 2cm のところに配置した．用いた機種は，SHARP 社の AQUOS R compact（以下 AQUOS）であった．まずジャイロセンサについての結果を図 6 に示す．縦軸の単位は rad/s，横軸の単位は秒である．センサの値が約 34rad/s（秒間 5 回転半程度）の速度で飽和し，それ以上の高速回転では検出が困難なことがわかった．なお，ジャイロセンサの Z 値（緑色）は，0 から徐々に値が下がり，-34. 図 5. 利用例．ケースにスマートフォンを装着／回転させることで残像表示を行う. に到達後正負が反転し，34 となった．この状況は，センサの計測限界値を超えた結果の挙動ではないかと推察され，低速回転に戻ると，再び-34 から 0 に近づくことを確認し. 4.3 エディタ. た．. 本システムではテキストなどを二次元配列のパターンに変換し残像表示を行っているが，独自の図表を描画／編集するために，円形グリッド型のエディタを作製した（図 10）． Android 端末上で動作し，任意のグリッドをタップすることで，テキストや図形を描くことができる．現時点では後述の実験環境に合わせて，縦 10 列／横 30 列の円状の描画解像度を想定している．入力したテキストや図形の情報は二次元配列に格納されて端末のストレージに保存され，残像表示を行う別アプリケーションから参照される．. 図 6. ⓒ 2018 Information Processing Society of Japan. 高速回転時のジャイロセンサ値. 3.

(4) 情報処理学会研究報告 IPSJ SIG Technical Report 次に磁気センサについての結果を以下に示す．縦軸の単. Vol.2018-EC-50 No.5 2018/12/21. 5.2 実験環境の構築. 位は μT，横軸の単位は秒である．まず磁石なしで高速回転. 本システムではスマートフォンを手で弾いて回転させる. させた際の結果について図 7 に示す．結果から，X 軸／Y. 手法を中心に想定しているが，ディスプレイとしての安定. 軸が約 0.2 秒周期で約-30～30μT の間で変化しており，安定. 性を重視する場合や，アプリケーションの開発効率などを. して地磁気を計測できていると考えられる．. 考えると，電動で一定速度で回転させる機構も必要と考える．そこで，DC モータを動力とした実験装置を試作した（図 9）．実験装置は，6V の DC モータ(RS-385PH)，モータドライバ，遊星ギア，スイッチ及び可変抵抗，及び Arduino を中心に構成される．DC モータは遊星ギア(ギア比 1:16)と組み合わせて低速化した上で，モータドライバを介して Arduino から制御する．スイッチ及び可変抵抗は Arduino に接続され，回転速度の調整等に利用する．モータの土台や遊星ギアとケースをつなぐジョイントは，独自に設計し，3D プリンタを用いて ABS 樹脂で出力した．現状の実験装置では，現在利用しているスマートフォンのリフレッシュレート（約 120Hz）と，ジャイロセンサの. 図 7. 磁気センサ値（磁石なし）の比較. 値が飽和しない点に配慮して，残像ディスプレイの回転速度を約 1300deg／sec と設定し，円周辺り縦 10 列／横 30 列のマトリクス表示を行っている．. 次に，磁石をつけた状態で低速回転／高速回転させた際の結果を図 8 に示す．低速回転時では，約 1 秒周期で X 軸／Y 軸がそれぞれ 1000／600μT まで大きく変化しており，磁石の上をセンサが追加するタイミングを安定して計測できていると考えられる．一方，高速回転時においては，約 0.2 秒周期で X 軸／Y 軸がそれぞれ約 800／600μT まで変化する傾向はみられるものの，データの取りこぼしが発生する場面（例: 0.6 秒付近）や，変化量が小さい場面（例: 1.9. 図 9. 実験装置と回転の様子. ／2.6 秒付近）も確認された．現時点でも磁石を用いた残像表示位置の調整はある程度機能すると考えられるが，今後は磁石の強さ／配置等の更なる調整と検証を進めたい．. 5.3 残像の視認性視認性の定量的評価はまだ行っていないが，照明をやや落とした環境であれば，細心のプロトタイプ（AQUOS R compact／リフレッシュレート:120Hz）では，残像をある程度安定して視認できることを確認している．当初利用していた一般的なスマートフォン（FLEAZ Que+N／covia 社）では暗所であっても視認性の確保が困難であったことから，リフレッシュレートの影響が大きいことを確認した．今後は視認性の定量的な評価を進めていく．一方，画面の輝度はまだ不十分であるため，明るい環境での視認性は今後の課題である． 5.4 応用例ここでは，提案システムの応用例として，「アプリケーション連携」，「複数台の連結」の観点から説明する． 5.4.1 アプリケーション連携残像表示部／センサ制御部と連携したいくつかのアプ. 図 8. 磁気センサ値（磁石あり）の比較. リケーションを試作している．音声表示アプリでは，スマートフォンのマイクで入力さ. ⓒ 2018 Information Processing Society of Japan. 4.

(5) 情報処理学会研究報告 IPSJ SIG Technical Report. Vol.2018-EC-50 No.5 2018/12/21. れた言葉を音声認識し，短文テキスト(アルファベットで最大 8 文字程度)を残像ディスプレイとして表示することができる（図 11）．ルーレットアプリでは，スマートフォンの回転をトリガーとして，ルーレットの回転状態を残像ディスプレイで表示し，停止時にルーレットの結果を表示することができる．レコードアプリでは，回転する筐体をレコード，指を針. 図 13. 複数台の連結と回転の様子. に見立て，回転時に画面を軽くタップし続けることで音楽を再生することができる（図 12）．停止時の画面にはレコードを模した赤いパターンを配置し，回転時には曲名の一部などをテキストで残像提示することができる．. 6. まとめと今後の展望本稿ではスマートフォンのディスプレイ自体を拡張した，インタラクティブな残像ディスプレイを提案した．スマートフォンに回転ユニットを搭載したケースを装着し，手動／電動で回転させる．ここで，角速度センサなどを用いて回転速度を検出し，画面の一部を速度に合わせて明滅させることで残像ディスプレイを構築した．さらに，音声表示. 図 11. 音声入力アプリの例. アプリ／レコードアプリ等の，スマートフォン内蔵のセンサを活用したインタラクティブな応用例や，二台のスマートフォンを用いた拡張ディスプレイの事例を試作した．今後の展望として，残像ディスプレイとしての性能向上や応用例の拡張を進める．性能向上については，残像の明滅パターンの配置を調整したり，スマートフォン自体を交換してリフレッシュレート／輝度を高めることで，解像度や視認性の向上を図る．応用例については，静止時／回転時を組み合わせたインタラクション手法を中心として，内蔵カメラ／スピーカー等も活用した新たなアプリケーションの提案を目指す．. 図 12. レコードアプリの例．回転するスマートフォンをレ. コード／指を針に見立てて，指を触れているときだけ音楽が再生される． 5.4.2 複数台の連結現状の回転ユニットは，スマートフォンケースの中央に固定しているが，これをケースの下端に移動したり，ケー. 参考文献 [1]. [2] [3]. スの外に固定することで，残像ディスプレイを大型化することができる．そこで，二台のスマートフォンを連結し，. [4]. その中間に回転ユニットを備えた筐体を試作した（図 13）．このような方法で残像ディスプレイを大型化することで，即席の電光掲示板として，見通し距離にいる相手にメッセ. [5]. ージを送るコミュニケーション用途でも活用できると考える．一方，回転中のタッチ操作はやや困難になるため，導電糸等を用いた入力装置の実装も検討している．なお，現. [6]. 時点では 1 台のスマートフォンは単に回転時にバランスを取る錘となっているため，今後両端末を同期して描画させることで，解像度の向上なども図っていく．. ⓒ 2018 Information Processing Society of Japan. [7]. 國田豊, 尾川順子, 佐久間敦志, 稲見昌彦, 前田太郎, 舘暲. 没入形裸眼立体ディスプレイ TWISTER I の設計と試作. 映像情報メディア学会論文誌. 2001, vol. 55, no. 5, p. 671-677. 塚田浩二, 増井俊之. PhantomParasol:なめらかな粒度の情報を伝える傘型情報提示機構. WISS2005 論文集. 2005, p. 57-62. 吉田貴寿, 渡辺義浩, 石川正俊. 周期運動する実物体と高速時分割構造化光を用いたリアリスティックディスプレイの開発. 日本バーチャルリアリティ学会論文誌. 2017, vol. 22, no. 2, p. 229-240. Yamada, W., Yamada, K., Manabe, H. and Ikeda, D iSphere: Self- Luminous Spherical Drone Display. UIST '17 Proceedings of the 30th Annual ACM Symposium on User Interface Software and Technology. 2017, p. 635-643. 加藤邦拓, 秋山耀, 宮下芳明. タッチ入力の柔軟な再配置を可能としたインタフェースの作成支援. 第 22 回インタラクティブシステムとソフトウェアに関するワークショップ論文集 (WISS2014). 2014, p. 151-152. 門村亜珠沙, 椎尾一郎. MagNail:爪装着型磁石を用いたモバイル端末インタラクション. インタラクション論文集情報処理学会シンポジウムシリーズ. 2014, vol. 2014, p. 193-198. 渡邊千紘, カシネリアルバロ, 渡辺義浩, 石川正俊. フラットな情報端末の物理的な拡張に向けたカスタム型柔軟体ユーザインタフェース. 第 19 回日本バーチャルリアリティ学会大会 (VRSJ 2014) (名古屋, 2014.9.19)/論文集. 2014, p. 427-430.. 5.

(6)