産学共同研 究
モ バ イル 端 末 の
フィジ カ ル イ ン ターフエイス につ いての 研 究
魎IAMAS
一情 報 科 学 芸術 大 学 院大 学 一岐阜 県 立 国際 情 報科 学 芸 術 ア カデ ミー 岐 阜県 大 垣市 領 家 町3-95 http://www.iamas.ac.jp/ 小林 茂 鈴木 宣 也 赤羽 亨 蛭 田 直'「OSH旧A
株 式 会 社 東 芝 デ ザ イ ン セ ン タ ー 東 京 都 港 区 芝 浦1-1-1 http://www.toshiba.co.jp/design/pr/index_j.html 米 山 貴 久 横 内 恭 人 布 目 忠 嗣共同研 究にっ いて
lAMASは 、科 学 と芸 術 の融 合 に よ る新 しい文 化 を発 信 す る 教 育 機 関 と して1996年 に設 立 され 、メデ ィ アア ー トの 分 野 で 国 内 外 か ら 高 く評 価 さ れ て き ま し た。最 近 で は 、メデ ィ アア ー トの産 業 へ の 応 用 と して イ ンタラ ク テ ィブ広 告 が 注 目さ れ 、多 くの 卒業 生 が 活 躍 して お りま す 。私 た ち は 、も う1つ の重 要 な応 用 分 野 と して フ ィジ カ ル なイ ンタラ クシ ョ ンデザイ ン が あ る と考 え て い ます 。 ユ ビキ タスイ ン タラ クシ ョ ン研 究領 域 は 、2つ の プロジ ェ ク トを 内 包 す る形 で2008年 にス タ ー トし ま した 。fの 直 後 に 東 芝 デ ザ イ ン セ ン タ ー と の情 報 交 換 会 な ど を経 て 、共 同研 究 と い う形 で モバ イ ル 端 末 に お け る新 し い フ ィジ カル イ ンター フ ェイス とい うテー マ に取 り組 む こ と とな りま した。 近 年 、情 報 機 器 に お け る イ ン タラ クシ ョンデ ザ イ ンは 商 品 性 を 高 め る た め の 要 素 と して重 要 な役 割 を 担 って い ま す。また 、マ ルチ タ ッチ や ジ ェスチ ャー な どの 従 来 に な い入 力 手 段 な どが 数 多 く提 案 さ れ 、iPhoneの 例 に み られ る よ うに 新 し い商 品 価 値 を生 む こ と が 認 知 され る よ う に な り ま した 。本 研 究 は 、東芝 の モバ イル 端 末 を想 定 し、従 来機 器 に は な い フィ ジカ ル な入 出 力 を元 にユ ー ザ ー エ クス ペ リエ ンス に ま で 踏 み込 ん だ 新 し いUlの 研 究 を行 い、そ の 成果 を プ ロ トタイ プ と とも に提 案 す る と い う方 針 で行 い ま した 。(IAMAS小 林) ア イ デ ア ス ケ ッ チ Group A:Touchテ ー マ に つ い て
最 近 、画 面 を なぞ って 写 真画 像 をめ くる携 帯 電 話 や 、手 に持 って振 る こと で操 作 す るゲ ー ム機 な どの所 謂 「フィ ジカ ル コン ピュー テ ィング 」が 注 目され て いま す。 一 方 、こ の よ う な新 し い イ ン タ ー フ ェイ ス の 開 発 に 当 た って は 、従 来 、動 作 や効 果 に対 す る 有効 な確 認 方 法 が な いた め 、量 産 試作 品が で き て初 め て 当初 イ メー ジ して いた 操 作感 との ギ ャ ッ プに 気づ く こと も あ りま す。 も っ と早 い段 階 で ア イデ ィ ア の良 し悪 し を確 か め ら れ な いか … 。そ こで 目を つ けた の が 「ハ ー ドウ ェア スケ ッ チ ング」 と 「プ ロ トタ イ ピ ング」 で す 。ハ ー ドウ ェ アス ケ ッチ ング は、デ ザ イナ ー 自ら が作 成 し、実 際 に動 作 す る ラ フな モ ッ クア ッ プで す 。こ の ノウハ ウを得 るた め に IAMASの 先生 方 に ワー クシ ョ ッ プ を 開 い て い た だ き、 私 た ち も 作 品 制 作 を 行 い ま した 。プ ロ トタイ ピング は 、 い くつ か の 検 討 後 に作 成 す る 、よ り完 成 度 の 高 い も の で 、今 回 の 産 学 共 同研 究 の 成 果 物 と してIAMASの 先 生 方 に提 案 して いた だ き ま した 。 テー マ は 「モバ イ ル端 末 の フ ィ ジカル イ ンター フェ イス 」 で す 。モ バ イ ル環 境 と い う悪 い 条 件 で 活 き て くる イ ン タ ー フ ェイ スが あ る の で はな い か。そ れ は マ ウスや キ ー ボ ー ド、タ ッチパ ネ ルな どの既 存 の デ ィバイ ス では 答 え が 出せ な い、フ ィジ カル な もの で は な いか と考 えた の で す 。(東 芝 米 山)タ イ ム ラ イ ン
200806.12 07.11 09.05 10.31 11.01 11.19 11.21 11.28 12.08 2009 01.26 01.29 02.13 03.02 lAMAS訪 問 プ レ ゼ ン+情 報 交 換 会 東 芝 に て 第1回 ワ ー ク シ ョ ッ プ 東 芝 に て 第2回 ワ ー ク シ ョ ッ プ 共 同 研 究 開 始 ア イ デ ア ス ケ ッ チ フ ィ ー ドバ ッ ク1 ハ ー ドウ ェ ア ス ケ ッ チ ・裏 タ ッチ ・非接 触 ・虫 眼鏡 ・半 押 し フ ィ ー ドバ ッ ク2 プ ロ トタ イ プ 制 作 ・裏 タ ッチ ・虫 眼鏡 ・Reviewer ・Roll'n'Roll ・半押 し フ ィ ー ドバ ッ ク3 最 終 成 果 デ モ&デ ィ ス カ ッ シ ョ ン ・裏 タ ッチランチ ャー ・虫 眼鏡 ・裏 タ ッチ仮想 デスク トップ ・ReVfewer ・新 聞 ブラウザ 共 同 研 究 ま と め Group B:Hapticワ ー ク シ ョ ッ プ IAMASに お け る イ ンタ ラク シ ョンデザ イ ンの 教 育 で は 、 ワ ー クシ ョ ッ プ 形 式 で フ ィ ジ カ ル コ ン ピ ュ ー テ ィ ング を 学 ぶ と い う こ と を 重 視 して い ま す。フ ィ ジカ ル コン ピュー テ ィ ング は 、ニ ュー ヨ ー ク大 学 のITP(lnteractive Telecommunications Program)で イ ン タ ラ ク シ ョ ンデ ザ イ ン を 教 え る た め の メ ソ ッ ドと して 考 案 され た も の で す 。 こ の メ ソ ッ ドで は 、コ ン ピュ ー タ を単 に便 利 な道 具 と し て 活用 す る の で は な く、電 子 工 作 や プ ログ ラ ミング を通 じて原 理 原 則 に立 ち戻 り ま す。そ こか ら、マ ウス とキ ー ボ ー ドだ け では な い、人 間 と コ ンピ ュー タの フ ィジカ ル (身 体 的 ・物 理 的)な 関 係 性 を とら え 直 す こ とが 大 きな テ ー マ です 。 lAMASで は こ の メ ソ ッ ドを 拡 張 し、GainerやFunnel とい った 独 自 に 開 発 した ツ ー ル キ ッ トを活 用 して い ま す 。こ れ に よ り、デ ザ イ ンや アー トが バ ッ クグ ラ ウ ン ド で 電子 回路 や プログ ラ ミング の知 識 が な い学 生 でも 比 較 的 短期 間で ス キ ル を身 に つ け られ る よ う に して い ま す。 今 回 は 、共 同研 究 と平 行 した活 動 と して 東 芝 デザ イ ンセ ンタ ー の デ ザ イ ナ ー 十 数 名 を 対 象 と した ワ ー ク シ ョ ッ プ を 開 催 し、この メ ソ ッ ドを体 験 して い た だ くと 共 に 、 企 業 に お け る デ ザ イ ン の現 場 か らの フ ィ ー ドバ ッ ク を い た だ き ま した 。(IAMAS小 林) Group C:Predict
裏 タ ッ チ ラ ン チ ャ ー
】・llt・ Pick・I Operau・ ト・PL幽 rc 日電・lrD・nl、b31ρillnl脚!`・:、ギ・ タッチ 八 ネル(マ ル チ たrx￠lt;)ワイ六'レ ス フ ィジ カ ル コン トu-一 つ 1)ρ[、聖1!、 llllilrii Lの コ ン ト 一一ラ オブ シ'「エ ケトを フ でシ「 カ ルコ ン トra一 つ て ヒッ ケア ・ソフ し,,r.. tip・,1 に コン トロ ー ル 出 痕 る 、 a ＼.1;Uゼ・ マウスで はやりにくいダイアル型Ulが 操 (1'しやすくなる 1＼:聖・1實ildl、1m!1、 スラfタ門一一樫!、き蔓r㌃型{な と・a.r;LJ,ノ 、し力唾駈 作 て きな いKe、 ・.デバ イス ・オブ シェ クトrrPal くとUlがUlが 切 りか わ る 、概 要 スラ イ ダー の 上 下 と い う直 感 的 で 単純 な操 作 によ って 、 登 録 した ア プ リケ ー シ ョンの 中 か ら、目的 の もの を迅速 に起 動 す る こ とが で き ます 。 モバ イル端 末 での 使 用 を考 慮 し、画 面 を覆 い 隠す こ とな く本 体 を持 ち なが らの 操 作 を可 能 にす るた め 、画 面 の 裏 側 にス ライ ダ ー2本 を配 置 しま した 。シ ンプ ル な操 作 を 実現 す る た め 、必 要 な時 にだ け ラ ンチ ャー を 呼び 出 して 表示 し、使 用 後 は 自動 的 に画 面 上 か ら消 える 様 に な って い ます 。 操 作 方 法 左 側 の ス ライダ ー を軽 く押 し込 む と画面 上 に ラ ンチ ャー が 表 示 され 、スラ イ ダー で操 作 で き る よ う に な り ます 。 左 手 の 操 作 で 画 像 処 理 や 書 類 作 成 と い っ た ア プ リケ ー シ ョ ンの グル ー プ を切 り替 え 、右 手 の 操 作 で そ れ ぞ れ の グル ー プ 内 の アプ リケ ー シ ョン を選 択 します 。ア プ リ ケ ー シ ョ ン を選 択 した 状 態 で左 右 両 方 の ス ライ ダ ー を 押 し込 む こ とに よ って 、選 択 され た ア プ リケ ー シ ョ ン を 起動 す る ことが で きま す。 コ ンテ ンツ の展 開 こ こ で実 現 して い るの は 、ラ ンチ ャ ー と い うシ ンプ ル な 機 能 の み で すが 、 「裏 タ ッチ 仮 想 デ ス ク トップ」 の 様 に そ の他 の機 能 と組 み合 わせ て 使 用 す る こ とも 可能 です 。 ま た 、既 存 の 入 力 機 器 と組み 合 わせ 、新 た な イ ンタ ラ ク シ ョンへ と発展 させ て い く こ とも想 定 して い ます 。た と え ば 、タ ッチ デ ィス プ レイ を併 用 し、画 面 の 表 と裏 の 両 面 か らデ ー タ操作 で きる な ど 、これ ま で にな いイ ンタ ラ ク シ ョ ンを実 現 させ る こ とな どが 考 え られ ます 。
ラ ン チ ャー 画 面
仕 様 開 発 環 境:Flash CS4 機 材: コ レ ガ14.1inchワ イ ドサ ブ 液 晶 モ ニ タ セ ン サ: SoftPot 50mm Interlink FSR#406 1/0: Gainer l/0 外 装: ABS削 り 出 し(Roland DG MDX-500) 3Dプ リ ン タ(Dimension 768SST) シ ス テ ム 図 Monitor裏 タ ッ チ 仮 想 デ ス ク トッ プ
[1目哩・ Pick 40perate 1申 邑. PC ll・・menいhl・l l】nP!い9、1 タッチilf,ル{マ ル チ た?;k￠6t.)ワ イヤ レ ス フ ィジ カ ル コ ン トn一 ラ Dptd目 、: Ilhi而 ヒの:1ントロ ー ラ オ プ ジェ ク トを フ ィジ カ ル コン トロ ー ラ て ヒ ッ ケア ・ソフ し、直 感 的 に コ ン トロー ル 出 痕 る ＼尺1圏:ミ[・殴`PL all ＼,聖IUe: マウスではやりにくい タ'イアル型Ulが操 作 しやすくなる 1＼〔更・川h.くiLnmh: ス ラ イタ'一 型 、複r〒 型 な と4・tsの 入し か 操 f1≡て き な いKevテ'バ イス ・オ ブ ジェ ク トtrig"i くとU[がuiが 切 り か わ る.概要 画面 の 裏 側 に 配置 した ス ライ ダー によ り、簡 単 にタ ス ク の 内容 に応 じて仮 想 デ ス ク トッ プの 切 り替 え、タス ク に 応 じた アプ リケ ー シ ョン の起 動 や 切 り替 えが 行 え ます 。 また 、ス ライ ダー は メ ニ ュー が 表示 され て い な い状 態 に お い て は ス ク ロー ル な どの 汎 用 的 な操 作 に利 用 で き ま す。通 常 の タ ッチパ ネ ル と異 な り、画面 を指 が 覆 って し ま う こと が な いた め 、大 量 の 写真 を ブラ ウズ す る場 合 に も快 適 に操 作 で き ま す。 操 作 方法 2本 の ス ライ ダ ー の い ず れ か を軽 く押 し込 む と画 面 上 にメニ ュー が 表示 され 、ス ライ ダー で 選択 操 作 で き る よ うに な りま す 。左 側 で仮 想 デ スク トップ を選 択 す る と、 homeやworkと い っ た シー ンに合 わせ て 切 り替 わ り ま す 。右 側 で は ア プ リケ ー シ ョ ンの 起 動 と切 り替 え を行 い ま す。メニ ューが 表 示 され て いな い と き に は、ス ライ ダ ーは ウ ェブブ ラウザ な どで スク 日一 ル操 作 に利用 で き ま す。 コ ンテ ンツの 展 開 裏 タ ッチ と 通 常 の タ ッチ パ ネ ル は排 他 的 な 関係 で は な く、マ ルチ タ ッチ によ る ジ ェス チ ャー と組 み合 わせ る こ とで 、さ ら に発 展 したイ ンタラクシ ョン も実現 で き ます 。 例 えば 、大量 の 写 真 を ブ ラウズ しな が ら アイ デ アを 練 る 場 合 、裏 タ ッチ に よ り画面 を指 で 塞 ぐ こ とな く快 適 に ス クロ ー ル しな が ら ブラ ウズ で き ます 。ここ で注 目 した い 写 真 が で て きた ら 、マル チ タ ッチ に よる ジ ェ スチ ャー で 拡 大 した り ク リッ ピング した り 、と い うよ う に両 面 を活 用 した操 作 が可 能 で す 。
仮 想 デ ス ク トッ プ画 面
仕 様 開発 環 境 機 材: セ ンサ: iio 外 装Flex Builder 3 x AIR 1.5 Hanwha Japan MIMO UM-7307inch SoftPot 50mm Interlink FSR#400 Gainer I/O ABS削 り 出 し(Roland DG MDX-500) 3Dプ リ ン タ(Dimension 768SST)
システム 図
虫眼鏡
Bu忙・
Mobile pbygical infonnalion
hiu-. Mobile
}lem・ ・nいI lr・r llnu1・':。∼、: 加 速1!Yセ ン サ ジャ イロセ ンサ Ihq.!il.. ヒ トiii{iにplql(【iを動 か す こと に よ・}て そ れ そ れ に 対 応 し た 画 而 を 選 択 て きる ＼∼∼・1:しrけLIP: ,u ¥.iluo 小さな画而て も大解 像度の スクリーンの磁 な操11`か可能 1＼1更・11〔h・d!,1ml」・冒: 携 帯 電 話 の 仮 想 デ ス ケ ト・ソフ
概 要 デ ィス プ レイ の大 き さが 限 られ たモ バ イル 端 末 で、画 面 サ イズ を超 え た大 きな コ ンテ ンツ を閲覧 す る こと を想 定 し て い ます 。空 間 の 中 に あ る仮 想 の コンテ ンツ を、あた か も虫 眼鏡 をか ざ して閲 覧 す る よ う に、端 末 の位 置 す る 場 所 に応 じて表 示 す る 装置 です 。ジ ャ イ ロセ ンサ に よ っ て 大 まか な 位置 を判 断 して 表 示 しま す。また 、感圧 セ ン サ を 四 方 に 配 置 し、細 か な位 置 合 わ せ 操 作 を支 援 す る 「トン トンイ ン ター フェ イス 」 「ギ ュ ッ とイ ンタ ー フ ェイ ス 」 も 設 け ま した 。 操 作 方 法 ボ タ ンの 何 れ か を押 しな が ら端 末 を2次 元 的 に上 下 左 右 に動 か す(振 る)と 、動 か した 位 置 に対 応 した コ ンテ ンツ を リニ ア に表 示 しま す。 トン トンイ ンタ ー フ ェイ ス は 、指 で タ ップ す る と少 し移 動 し、ダ ブル タ ッ プす る と 大 き く移 動 しま す。ギ ュ ッ とイ ン ター フ ェイ ス は、セ ン サ 部 分 を押 す圧 力 に よ り移 動 速 度 を細 か く コ ン トロー ル で き ま す。こ れ ら は 同 時 に使 用 す る こ とが で き る た め 、左右 の圧 力 加 減 に よ る微 妙 な 調 整 や 、斜 め 移 動 な ど も 可能 です 。 コ ンテ ンツ の展 開 今 回 の プ ロ トタイ プ で は3種 類 の コンテ ンツ を体 験 す る ことが で きま す。地 図 の 閲覧 で は素 早 く確 認 す る こ とが で き 、電 子 ブ ックで は ペ ー ジ間 の つ なが りを読 み や す く しま す。ギ ュ ッ とイ ンタ ー フ ェイ ス はパ ラパ ラ と本 を め くる よ う な動 作 に も適 して いま す。フ ォ トブラ ウザ は た くさ ん ある 写真 を一 望 す る こ とが で き、写 真 の選 択 や 閲 覧 に最 適 です 。その 他 の展 開 と して 、新 聞 の閲 覧 、パ ノラ マ画 像 の 閲 覧 な ど 、これ ま での モ バイ ル端 末 で 不 得 意 と して いた コンテ ンツ の表 示 に対 応 す る ことが 可能 です 。
コ ン テ ン ツ 例 地 図 ビ ュー ワー 電 子 ブ ッ ク ビ ュ ー ワ ー 〔左:ス ク ロー ル 、右:パ ラパ ラ) フ ォ トビ ュ ー ワ ー 仕 様 開発 環 境: 機 材: セ ンサ:
q
懐
レ
タ
Processing 1.0.1 CENTURYプ ラ ス ワ ン4.3 inch ジ ャ イ ロIDG300 1nterlink FSR#400 タ ク ト ス イ ッ チ Arduino Diecimila 3Dプ リ ン タ(Dimension 768SST)シ ス テ ム 図
Reviewer
Ueulhtvtubilc.「 1Ψ1・: mobile Dr・[.聖1ト: タ ・ソチ セ ンサ 〔デ ィ スツ レ イ)Lて の 操 作 }L・mビBl,占 酬皇Rulh3、: Il浄電 セ ンサ・81iSytセン サ の 可能性 を 広げ 空 して使川 1での 動 作を 入 ノJと .、判11塞μ,叩: all ¥.ilnr これまでのマシンとの 野♂而 を拡 張し.よりユ ーザの 動作… 1、1いn6edl川111㌔: 'f・ソチ パ ネ ル の ち ょっ とhを 使 ・)てカ ー ソ ル を 動 か す概要 最 近 の モバ イ ル端 末 で は 、多 機 能 化 に伴 って メ ニ ュ ーの 階 層 が 深 く な りす ぎ る傾 向 に あ り ま す。ReViewerで は、デ バ イス 背 面 に感 圧 セ ンサ を装 備 す る こ とで 、メ ニ ュ ーの 操 作 を スム ー ズ に行 え ま す 。圧 力 に応 じて 選 択 して い る メ ニ ュー の 階層 か ら三 段 階 ま で 振 り返 っ て表 示 す る こ とが で きま す 。圧 力 を ゆ る め る に つ れ て 、振 り返 り を始 めた 階 層 に段 階 的 に も ど り ます が 、振 り返 り を行 って い る 時 に任 意 の 階 層 で 固 定 す る こ と も で き る た め 、枝 分 か れ した メ ニ ュー の 選択 もス ムー ズ に行 え ます 。 操作 方 法 感圧 セ ンサ に圧 力 をか け る と、振 り返 りの イ ン タラ ク シ ョ ンが 始 ま りま す。圧 力 のか け 具合 に よ り、三 段 階 で メニ ュー 階層 を振 り返 る こ とが で き ま す。振 り返 り中 は圧 力 の強 弱 に よ り 階層 を行 き来 す る こ と が で き、圧 力 を ゆ る め る と も と の 階層 ま で戻 りま す 。振 り返 り中 に任 意 の 階層 を選 ぶ 時 は 、画 面 を一 度 タ ッチ す る こ とでfの 時 点 の 階層 で 固定 さ れ 、通 常 の操 作 に戻 る こ とが で き ます 。 コ ンテ ンツの 展 開 メニ ュー 階層 振 り返 りの他 、モ バイ ルPCで の フルブ ラウザ に おけ る ウ ェ ブ閲覧 での 振 り返 り にも応 用 出 来 ます 。ま た、 感 圧 セ ンサ と タ ッチパ ネル の 併 用 に よ り、タ ッチ パ ネル の X軸 とY軸 に 加 え てZ軸 を用 い た さ ま ざ ま な 操 作(ラ ン チ ャ、選 曲 、ボ リュー ム 調整 な ど)へ の応 用 が考 え られ ます 。
