点運動情報の触覚伝達による文字コミュニケーションにおける

(1)

修士論文

点運動情報の触覚伝達による文字コミュニケーションにおける

ひらがな文字の認識率調査

早稲田大学理工学術院

基幹理工学研究科情報理工学専攻

三根純

学籍番号 5113B091-7

提出 2015 ^年 2 ^月 2 ^日

(2)

Investigation on recognition rate of Hiragana when using character

communication techniques by transmitting point-movement information via sense of touch

Jun Mine

Thesis submitted in partial fulfillment of the requirements for the degree of

Master in Computer Science and Engineering

Student ID 5113B091-7

Submission Date February 2, 2015

Supervisor Professor Tatsuo Nakajima

Department of Computer Science and Engineering

School of Fundamental Science and Engineering

Waseda University

(3)

概要

近年の情報技術の急速な進歩により様々なコンピュータインタラクションの形が見られるようになってきた.しかしそれらはいずれも視覚や聴覚に依るものばかりであり,まだまだ触覚を使ったインタフェースの実用例は少ないのが現状である.その数少ない実用例として携帯電話端末などに広く用いられているバイブレーション通知機能があるが,^{このような振} 動だけでは基本的にビット情報しか扱えないため伝達出来る情報量が少ないことが欠点である.そこで我々は点運動情報の触覚伝達による文字コミュニケーションを行う手法に注目した.本手法は文字を描画する際の運筆動作を触情報としてヒトの皮膚に与えることによって情報伝達を行うもので,万人が理解可能な文字を扱うことにより学習コストが少ないことと, バイブレーションと違って情報量が多いのがメリットである.触情報の提示方法やその最適条件については先行研究が数多くある中,文字の種類による認識率の差などについて議論したものは少ない.そこで我々は触情報提示装置を試作し,それを用いた評価実験から文字の種類による認識率を調査した.また得られたデータについて考察を行い,本手法の有効性を高めるための知見を得た.

(4)

Abstract

We can see a various types of computer interaction these days, due to a rapid devel- opment of the information technology. But most of them use either the sense of sight or hearing, and there are very few interfaces that uses the sense of touch. One of the few example for the touch interface is the vibration function for the portable devices, such as smartphones. But these vibration can only tell somebody a bit information. So we got an eye on a technique which we can communicate by a character by a touch information. In this technique, we send a information of how we write a character, by drawing the same line on one’s skin. In this way, we can send much more information than using a vibration, and there is no need to study because we all can recognize a character. There are some prior studies about how to indicate a touch information on our skin, and about the best condition for maximizing the effect, but very few refer to the difference of recognition rate between characters. So we decided to investigate on the matter by making a touch information indication device for the evaluation. And by considering the data given from the evaluation, we extended our knowledge for improving the efficacy of this technique.

(5)

図目次

2.1 ウォータジェット方式を採用した触覚伝達装置 . . . . 4

2.2 超音波振動子アレイによって手掌部に手書き文字を提示するシステム . . . . 5

2.3 ひらがな文字間の形態的類似性評定値1/2 . . . . 6

2.4 ひらがな文字間の形態的類似性評定値1/2 . . . . 7

3.1 システムの全体概要 . . . . 9

3.2 駆動部の様子 . . . . 10

3.3 Androidスマートフォンアプリケーション . . . . 10

3.4 イーサネットシールドを装着したArduino . . . . 11

3.5 SPG27-1702^{によるベルト駆動部} . . . . 12

3.6 TA7774P/PGを用いたステッピングモータ制御用回路 . . . . 12

3.7 Z軸方向駆動部 . . . . 13

3.8 ^{駆動部全体の様子} . . . . 14

4.1 ^{実験の様子} . . . . 16

5.1 ひらがな文字の物理的属性 . . . . 20

5.2 ”へ”の触情報提示の際にユーザーが感じられているであろう像のイメージ . . . . 21

5.3 ”そ”と”や”の成り立ち . . . . 22

5.4 ”^せ”の触情報提示の際にユーザーが感じられているであろう像のイメージ . . . . 22

5.5 ”^を”の触情報提示の際のある被験者の解答 . . . . 23

5.6 ”ほ”の触情報提示の際のある被験者の解答 . . . . 25

5.7 ”を”の触情報提示の際のある被験者の解答のイメージ . . . . 26

(8)

表目次

4.1 解答結果 . . . . 17

4.2 特徴点抽出 . . . . 18

5.1 ^{表示おいて正答率が}50%^以下と75%^{以上だったもの} . . . . 24

5.2 ^{追加実験の結果} . . . . 25

(9)

第 1 ^章 ^序論

本章では研究をはじめるに至った背景，問題点，目的及び本論文の構成について述べる．

1.1 導入

近年情報技術の進歩により計算機やセンサーが身の回りに溢れ社会のユビキタス化が確実に進行している.そのような中でヒューマンコンピュータインタラクション研究の成果や企業の製品開発努力によって多種多様なコンピュータインタラクションの形が見られるようになった.^{近年急激に普及の} 進んだスマートフォンを例にとってみてもディスプレイによる情報の表示はもちろんLEDランプの発光や着信音によってスマートフォンへの着信を通知したりナビゲーションシステムを用いるときに機械音声による案内を受けることも出来る.しかしこのように既存のインタラクションの方法について考えるとどれもヒトの五感のうち視覚と聴覚に依るものばかりであり,触覚を利用したものについては現在普及していると言える技術はほとんどないのが現状である.

しかし我々人間が日常生活を送る上で触覚は非常に重要な役割を担っていることは容易に想像が出来るであろう.手指を動かしモノに触れその形や表面の様子を認知するという行為によって我々はその対象物をより深く理解することが出来る.触覚を通じて我々が得ることの出来る情報の量は直感的に考えても非常に大きいものであり,触覚を用いたヒューマンコンピュータインタラクションにはとても大きな可能性があるものと考えられる.例えば現在普及している触覚を利用したコンピュータインタラクションの例としてバイブレータを利用した情報の振動伝達が上げられるが,この手法ではバイブレーションのONとOFFという1bit分の情報量しか一度に伝達できず,これは触覚の持つポテンシャルを十分に利用した手法であるとは言いがたい. そこで我々は点運動情報の触覚伝達による文字コミュニケーションを用いる手法に着目した.(^以下,^{本手法と呼ぶ})具体的には文字を描く際の運筆動作を皮膚上に点運動刺激として与え,文字情報を触覚を通じて伝達することによって実現するインタラクションの手法である.この手法は文字を伝達する情報の単位として扱うため比較的情報量が多く,またこれを用いる場合の学習コストが低いことがメリットである.なぜならば文字は万人が理解可能な符号であり,これを直接伝えることが出来るからである.

しかし本手法の実際の応用例はほぼ見られないのが現状であり,それは本手法を用いた文字コミュニケーションの有効性について十分な研究,考察が成されていないためだと考えられる.^{そこで我々は} 本手法を用いたインタラクションの有効性を高めるべく本研究を行うに至った.

(10)

1.2 研究の目的

本研究では独自の触覚情報伝達システムを作成し,それを用いた評価実験から本手法に用いるのに適した文字の種別,特徴を明らかにすることを目的とする.

1.3 論文の構成

本論文の構成は以下の通りである．

第2章背景

本研究を行うに至った経緯や関連する先行研究の内容について述べる．

第3章システム実装

本研究で作成したシステムについて,その機能と技術的な側面について述べる．

第4章実験と結果

評価実験の方法とその結果について述べる．

第5章考察

結果に対する考察について述べる．

第6章結論

本研究の結論を述べる．

(11)

第 2 ^章 ^背景

本章では触覚を利用した様々なヒューマンコンピュータインタラクションについての先行研究に触れ,本研究を行うに至った経緯について言及する.

2.1 触覚ディスプレイ

触覚は皮膚感覚と深部感覚に分けられる.皮膚感覚とは皮膚下に存在する受容器によって生じる感覚である.深部感覚とは筋や腱の受容器によって生じる感覚であり,狭義では力覚と呼ばれる.^この中で特に皮膚感覚を再現する装置を皮膚感覚インタフェースや触覚ディスプレイと呼び,深部感覚を再現する装置をハプティックインタフェースと呼ぶ.ここでは本研究で扱っている触覚ディスプレイの技術について詳しく言及する.

触覚ディスプレイから皮膚に対して提示出来る信号としては振動信号,^{点運動信号},^凹凸信号,^電気刺激信号の4^{つが主に挙げられる}.振動信号は現在広く応用が進んでいる携帯端末等に搭載されたバイブレータで広く利用されている.点運動信号は一点への刺激を時間をずらして逐次移動させる方法である.この性質から運動の感じられ方は時間に依存し,駆動時間の長短が適切でないと有効に情報が伝達出来ない.また2点以上への同時刺激は情報量を増やすのには効果的ではあるが,刺激点の解像度により認識率は大きく低下してしまう.凹凸信号は信号のある部位に対して凸点を表現し,^{それを触る} ことによって情報を得る方法である.点字に代表される離散的なコードを発生する２値表示の場合と, 複数の触知ピンを多段階に変位させて疑似連続体によるレリーフ状のパターンを発生させる場合の2 つがある.電気刺激信号は微弱な電流を身体に流すことによって先述の各信号を再現できる.

また触覚ディスプレイは2つのタイプに分類できる.ダイナミック型とスタティック型である.^ダイナミック型は情報伝達を行う皮膚の部分に固定して利用し,振動信号や点運動信号など時間的制約のあるものをを表現する.それに対してスタティック型は提示された凹凸信号などの情報を指先や掌を自由に動かして触ることによって触知する.ダイナミック型は時間によって情報が流れてしまうのに対してスタティック型は認知し終わるまで情報が保持される.触知覚的な分類法によると,前者が受動的触知,後者は能動的触知と呼ばれる.

(12)

触覚ディスプレイを使った触覚情報提示技術にはいくつかのモードがあり,^{そのどれを用いるかに} よって情報伝達効果が大きく変化する.本稿では紙面の関係上その全てには触れないが¹,^{その中でも} 順次提示モードの情報伝達効果が最も高いことが確認されている.パターンに該当する輪郭線や特徴部位などを刺激点を時間的に順を追って駆動することによって対象を認識する方法で,特に提示順を筆順として文字伝達を行った場合非常に高い認識率を示す.本研究ではこのような順次提示モードを用いた文字情報伝達を行うための触覚ディスプレイを特に運筆動作伝達型触覚ディスプレイと呼ぶこととする.

2.2 運筆動作伝達型触覚ディスプレイ

ここでは運筆動作伝達型ディスプレイについての2つの先行研究を例にあげてその内容に触れる.

2.2.1 ウォータージェット方式

流水をビーム状に絞り,それを皮膚にあてて走査する事によって点運動信号を提示する方法である. 点運動情報を皮膚上に提示する上で最も単純な方法の一つとして,XYレコーダのペン駆動部に触針を取り付けそれを動かす方法が挙げられるが,^{この方法には}2^{つの問題点がある}.1^{つは触針と皮膚との} 間に摩擦が生じ,それが装置の駆動を阻害すること,もう1つは皮膚に皺や曲面があり,この方法では一様な刺激を与えることが困難なことである.しかしウォータージェット方式ではビニールなどの薄膜を介しその裏から流体を照射することで摩擦の問題を解決し,皮膚上の湾曲部も無視することが出来る特徴がある.^{清水・和気ら}[1]はこの方式を利用した装置を作成し,^{一筆書き出来る}11^{種の平仮名} を前額部に提示することによって,認識精度が最大となる空間的・時間的条件を明らかにしている.^すなわち流体ビームの移動速度と描画範囲の最適値である.その結果,点刺激の大きさ1mmφ,圧力は

8.7×105 N/m2の条件下では約12〜20mm/sの移動速度に最適値が認められ,描画範囲に関しては

実験の最小条件(10mm^×10mm)^{に比べ最大条件}(32mm^×32mm)^では30^〜45%^{も正答率が上昇す} る,という結果が得られている.^{最適条件下では平均約}90%^{程度の正答率であった}.

図2.1: ウォータジェット方式を採用した触覚伝達装置

1http://www.a.tsukuba-tech.ac.jp/info/kenkyu/kaken/disp3.html

(13)

2.2.2 空中超音波触覚ディスプレイ

空中を伝播する超音波の音響放射圧を利用して空中に触覚を提示する装置である.星ら[2]は20cm

×20cmの範囲内に超音波振動子384個を並べた振動子アレイを利用し,任意の位置に超音波焦点を生成することでこれを実現した.本装置の最大の特徴は刺激点が視覚的には確認できないことであり, 例えばパスワード列を画面に表示せずにユーザーに伝えるといった使い方が出来る.^{また視覚障碍者} に文字や絵柄を伝えたり,執筆時の動作まで伝える手紙といった技術への応用も見込まれている.^この装置を用いて被験者の手掌部の55mm×85mmの範囲内へアラビア数字1,2,3をランダムに描画したところ,平均89%の正答率が得られている.また展望として手の位置検出を組み合わせて三次元空間中の任意の位置で掌に触覚情報を提示することを目指しており今後さらなる応用が見込まれる.

図2.2: 超音波振動子アレイによって手掌部に手書き文字を提示するシステム

2.2.3 文字種別の認識精度

これまでに触れた幾つかの先行研究では,本手法を用いた場合の認識精度を高めるための最適条件の探求や新規性のある提示装置の開発などが目的である.しかしそれら研究の考察部分でも多少は触れられていはいるものの,文字の種類ごとの認識率の違いについての分析はほとんど成されていない. 川上・辻ら[3]^{の研究では},認知発達心理学的視点にもとづいて行われる幼児を対象とした言語認知実験におけるひらがなの形態的類似性の及ぼす影響について指摘しており,^ひらがな71^{文字の形態的} 類似性評定値を実験によって導出している.^{具体的にはランダムな}2^{文字をとりだしその}2^文字間の類似度を5段階評定するアンケートを1750名に対して行い,平均値のデータベースを作成したものである.その結果は次の6,7ページに示す図2.3と図2.4のとおりである.この研究から分かるとおりひらがなには形態的もしくは視覚的に類似性が高く認められる対が確かに存在する.

(14)

図2.3: ひらがな文字間の形態的類似性評定値1/2

(15)

(16)

しかし視覚的に文字を認知する場合その文字の形態全体が同時提示されるのに対して本手法のように文字描画の際の運筆動作の触覚伝達では逐次的に文字の形が認知されていくというように認知プロセスに明らかな違いがあることは明白である.例えば図の結果によるとちとろの形態的類似性評定値は3.70となっており形態的類似度は比較的高いと言えるが,これを本手法で伝達することを考えた場合両者には画数が2画と1画であるという違いがあり,これは触覚伝達においては決定的な違いであることは直感的にも理解できるであろう.

このように本手法を用いた場合の文字コミュニケーションにおいては視覚的認知とは全く異なる認知プロセスによって文字認識が行われ,それによって認知のしづらい文字,他の文字と混同しやすい文字などが発生することが予測される.本研究は特にひらがな文字について本手法を適用した場合の認識率の差などを明らかにし,その結果から本手法において情報伝達に用いるのに適した文字を抽出することを目的とする.文字種をひらがな文字に限ったのは筆順が認識に重大な影響を与える本手法において,すべての人に共通した筆順の認識があるという事実が都合が良かったからである.

(17)

第 3 ^章 ^{システム実装}

本章では評価実験を行うために作成した装置についてその実装と機能について述べる．

3.1 システム概要

本システムはAndroidスマートフォンアプリケーションを入力インターフェースとし,ひらがな文字を描くことによってその運筆動作情報をイーサネット経由でArduinoマイコンボードに送信する .運筆動作情報は２次元座標列として表され,座標値をソケット通信を使って送信している.^その情報を元に触情報発生装置を駆動し装置下に固定した手掌へ文字描画の運筆動作情報を再現する.次の図 3.1,図3.2,図3.3にシステムとスマートフォンアプリケーションの外観を示す.

図3.1: ^{システムの全体概要}

(18)

図3.2: 駆動部の様子

図3.3: Androidスマートフォンアプリケーション

(19)

3.2 Arduino

ArduinoはAVRマイコン,入出力ポートを備えた基板,C++風のArduino言語とそれの統合開発環

境から構成されるシステムである.14本の入出力ポートを備え,それぞれから5Vのデジタル出力が可能なほか,そのうち6本はPWM信号を生成でき,別の6本はアナログ入力としても利用できる.また別途シールドと呼ばれる増設基板が用意されており様々な機能を手軽に追加することが出来る.^本研

究ではAndroidスマートフォンアプリケーションとの通信のためイーサネットシールドを使用して

いる.

図3.4: イーサネットシールドを装着したArduino

3.3 触情報発生装置

評価実験では手掌部へのひらがな文字の描画を行うことが要求されるため,必然的に本装置には約 10cm四方程の範囲内で正確に触針部がXY軸方向へ移動することが求められる.^{この要求を満たす} ために小型ステッピングモータを用いたベルト駆動方式を採用した.^{そのベルト駆動部を図}3.5^に示す.日本電産コパル電子社製ステッピングモータ(SPG27-1702)は1ステップを1.25度とし正確な位置決め制御を実現できる.このモータ2つを東芝製ステッピングモータドライバIC(TA7774P/PG)を

用いてArduinoで制御することによって,^{上記の要求を満たす}XY^{ステージを実現した}.^{作成した制}

御回路の様子を図3.6^に示す.なおステージ作成の部材にはタミヤ社製のユニバーサルプレートセットを使用した.

(20)

図3.5: SPG27-1702によるベルト駆動部

図3.6: TA7774P/PGを用いたステッピングモータ制御用回路

(21)

また二画以上の文字を表すためには触針部の上下方向(Z^軸方向)^{の駆動部も必要である}.^しかし

2.2.1節でも触れたとおり単純な上下方向のモータ駆動では手掌部の湾曲面や皺に対応できず正確な

触情報の提示は困難である.今回はこの問題を解決するためにスマートフォン用タッチペンを触針とし,これを筒の中に糸で吊り下げ上下させるという方式を取った.この方式をとることにより手掌部の湾曲に合わせて筒の中のタッチペンが自由に上下し,皮膚へ一定の圧力で刺激を与え続けることが出来る.^このZ軸方向の駆動にも同じステッピングモータを用い,滑車を用いてタッチペンの上下をさせている.^また3つのモータへの電源供給のために12V1A^のACアダプタを利用している.Z^軸方向駆動部の概要を図3.7に,完成した駆動部全体の様子を図3.8に示す.

図3.7: Z軸方向駆動部

(22)

図3.8: 駆動部全体の様子

こうして作成した駆動部をベニヤ板と家具転倒防止用の突っ張り棒2本で作成したテーブルに逆さまに取り付け装置が完成した.突っ張り棒を採用したのはテーブルの高さを簡単に変更できるため,^個人によって異なる手の厚さ,形に対応がすぐ出来るためである.触針部の初期位置は上から見た時に最も左上の部分でペン先が手掌部に接触した状態であり,ペン先を一度あげてから駆動を開始し描画が終了したら初期位置に戻りまたペン先を下げて終了する.

装置はスマートフォンインタフェースから文字描画情報を表す２次元座標列を受け取り,^現在地点から次の座標まで直線的に駆動することを繰り返すことによって描画を行う.^{描画情報を保持するた} めにキューデータ構造を使用しているが,Arduino^{でそれを使うための}QueueArray^{というライブラ} リを使用している.Arduinoにはこうした様々なライブラリが有志によって用意されておりユーザーは簡単にそれを利用することが出来る.

またステッピングモータはその特性上,非動作時でもその位置保持のために大きな電力を必要とする.そのため発熱が大きくすぐに動作不良を引き起こしたため,実験中は常に卓上扇風機を使って冷却をしながら使用していた.

(23)

第 4 ^章 ^{実験と結果}

本章では本研究の評価実験の内容と結果について述べる．

4.1 評価実験の目的

本評価実験の目的はひらがな文字描画の際の点運動情報の触覚伝達による文字コミュニケーションを行う際の文字による認識率の違いや誤認しやすい文字などを明らかにすることである.^{またその結} 果を考察し誤認を引き起こす文字の特徴や傾向を分析する

4.2 被験者

日本で初等教育を受けた22〜25歳の男女12人を対象とした.ひらがなの筆順は文部科学省出版の

『筆順指導のてびき』(1983)によるものとする.

4.3 実験内容

被験者には触情報発生装置の下に手掌部を上にして固定してもらい,装置を駆動してひらがな文字を描きそれがどの文字であったかを答えてもらう.ひらがなは濁点・半濁点の文字を含まない46^文字を一文字ずつランダムな順序で被験者に提示した.1文字の描画終了のタイミングをはっきりするため被験者には初期位置に戻りペン先が下りた時が描画終了であると伝えた.また被験者には重複する文字がある可能性を伝え,既出文字が文字の推測への先入観とならないよう配慮した.

答えを記述する解答用紙では2^{つの質問項目を}46文字それぞれに対し用意した.^{一つ目は提示され} た触情報に対してそれがどの文字であるかについて自信がある , ^{あまり自信がない} , ^わからないを答えてもらう.自信がある場合もしくはあまり自信がない場合に関しては次の項目でその文字が何であるかを記述してもらった.

実験は被験者の利き手で解答を記述してもらいながら利き手とは逆の手を装置下に固定し触情報提示を行った.また装置駆動部が目で見えないよう,手掌部が見えないように装置を布で覆ってから実験を行った.46文字全てに対して描画が終わった後,被験者に対してインタビュー形式で自由に意見を言ってもらい知見を深めた.

(24)

図4.1: 実験の様子

4.4 実験結果

本節では評価実験の解答の集計結果とインタビューによって得られた被験者からの意見について触れる

4.4.1 解答結果

表4.1^に12^{人の各被験者}(A^〜L)それぞれの解答の結果を示す.

自信がある , ^{あまり自信がない} , わからないをそれぞれ○,^△,^{×で示している}.^○,^△と答えたにも関わらず不正解だった場合は後ろに×を記述し,どの文字と間違えたかを記録した.例えば正解があであるとき,被験者が自信があると答えその文字が”お”であると解答していた場合の結果は”○×お”となる.

(25)

表4.1: ^解答結果

(26)

また上に示した表の中で特に注目すべき点についてのデータを集計した.^{その結果を以下の表}4.2 に示す.

表4.2: ^{特徴点抽出}

(27)

4.4.2 インタビュー

本節では実験後のインタビューにおいて得られた意見の中で,特に注目すべきものついてその内容に触れる.

• 2画以上の文字について各線の相対的な位置関係はわかるが,1画目の絶対的な位置がわからずそのことによって認識に混乱をきたす場合がある.

• 点なのか線なのかわかりずらい

• 初期位置に戻る音に惑わされてしまう

• 画数が多いと予測しやすい

• ^{斜めがわかりにくい}.縦とも横とも感じられる場合がある.

• ”^ま”^{の文字が途中までだと}”^こ”^に感じて,もう終わりだと思ったらまだ描画が続いて戸惑った

• トビ・ハネがほとんどわからない

• ^そ”や”や”という文字に別の書き方があるためわかりにくい

• 角部とカーブの区別がほとんどつかない

• まっすぐかうねっているかがわからない

• 予め描画枠の情報も触覚刺激として与えておくと認識率があがるのではないか

• 手の固定角度が重要だと感じた

(28)

第 5 ^章 ^考察

本章では,４章で述べた結果に関する考察と,本研究における将来課題について述べる.

5.1 ” 斜め ” の感じ取りにくさ

今回実験の解答用紙で単純に答えのみを解答してもらうのではなく,解答への自信の度合いも合わせて聞いた背景として,自信があるにも関わらず誤答してしまう文字を抽出出来ればそこから点運動情報の触覚伝達による文字コミュニケーションを行う上で誤認の起きやすい物理的特徴量が見いだせるのではないかと考えたからである.表4.1解答結果に目を向けると,最も正答率が低い文字は”へ”でその正答率は8.33%であり,にも関わらず自信があると解答した被験者も58.33%に及んでいる.注目すべき点はへの提示に関して”わからない”と答えた被験者はおらず,12人中11人が提示された文字は”^つ”であると解答しているという点である.^そこで”^つ”の項目に目を移すとその正答率は91.67%^であり”^へ”と混同するような誤答も見られていないという事実は本実験結果において最も興味深い点の一つである.

図5.1: ひらがな文字の物理的属性

(29)

清水・和気ら[1]の研究では実験で用いた11文字のひらがなを物理的特性で分類するために図5.1 に示される20^{個の特徴を選んでいる}.このうち特に運動方向の項目に目を向け先ほどの”^へ”^と”^つ” を対応するアルファベットを用いて表すと”へ”は(d)(h)(e),”つ”は(a)(l)(k)というようにおおよそ表せる.

ここで4.4.2節のインタビュー結果において以下の指摘があったことに注目する

• 点運動情報の触覚伝達においては斜め線が縦か横かの区別がつかない

• まっすぐかうねっているかがわからない

この2点を考慮すると点運動情報の触覚伝達においては図5.1^{に示されるような}14^{種類の運動方向} をはっきりと区別して認識することが困難であることが予想される.例えば斜め線について斜めとは垂直・水平面に対して方向がずれていることを指す.つまり”斜めである”という認識は垂直・水平との相対的な認識が必要とされる.本実験では被験者に予め練習などは実施せず,また垂直・水平はどの方向である,といったレクチャーもしていない.^そのため”^へ”^の文字が”^つ”^{と混同されたのには}”^へ”^の (d)の斜め成分が斜めではなく水平成分(a)として認識されたと考えることが出来る. ^{視覚的な文字} 認識では文字全体の形態を一度に見ることができるが,本装置のようなダイナミック型の触覚ディスプレイでは時間的に情報が流れるためユーザーは逐次的に文字の像をイメージしながら認識することになる.そのため認識の初期段階でのイメージが実際のものと異なってしまうと認識の可能性は大幅に減少することが予想される.つまり本実験で被験者が”^へ”^{の提示を受けた時},^初めの(d)^成分が(a) 成分に感じられてまうとその後の(h)^成分が(f)^や(k)の成分に感じられてしまっている可能性が示唆される.

図5.2: ”へ”の触情報提示の際にユーザーが感じられているであろう像のイメージ

このような触覚伝達特有の性質は”く”とし”についての実験結果からも見て取れる.”く”は正答率 66.67%,”し”は正答率83.33%であり,”く”を”し”と誤答した被験者が2人いた.”く”の描画は図5.1の運動方向成分を用いると(c)(j)(e)^{と表せるが},^この(c)^成分が(b)と誤認識されている影響が考えられる.

(30)

5.2 文字の書き方の個人差

インタビューによって得られた意見の一つとして,”そ”や”や”という文字には個人によって主に2通りの書き方が存在することが実験に与える影響を考慮しなかったことが挙げられる.各ひらがなの成り立ちに目を向けると”^そ”^は”^曽”^{という漢字が},”^や”^は”^也”という漢字が変化して出来たものである.

図5.3: ”そ”と”や”の成り立ち

”そ”は本稿で用いられているフォントのように一筆書きで書いても良いし,以上の図5.3を見ても明らかなように成り立ちに鑑みるに二画で書いても間違いではなく,実際に二画で書いている人も多く存在する.^{今回の被験者の中では}12^人中2人が二画で書いていいた.^また”^や”^{についても同様で},^二画目を点とするか,一画目から突き出す線とするかは人によって書き方が異なる.

この事実が本実験の結果に与えた影響は小さくない.例えば”せ”という文字について,本実験における”せ”の正答率は16.67%と全体で2番目に低い結果であったが,その中で”や”と解答している被験者が12人中2人いた.”せ”は一画目の線を二画目と三画目の線が貫いているという特徴を有しており, これは”^や”の二画目が一画目を貫く書き方をした場合の特徴と酷似している.

図5.4: ”^せ”の触情報提示の際にユーザーが感じられているであろう像のイメージ

(31)

5.3 鋭角部分と閉ループ部の識別の難しさ

実験結果の分析により,ある種の文字の正答率が低かった理由の一つとして本手法では文字の鋭角部分を閉ループと誤認していると思われるケースが散見された.被験者の中に,装置からの触刺激を受けながら同時に解答用紙に線を描き,そこから文字を推測する手法をとっている者がいた.^{その被験者} の解答用紙の”^を”^{の項目を見ると},^{結果的には}”^{わからない}”と解答はしていたものの以下のような線の記述が見られた.

図5.5: ”を”の触情報提示の際のある被験者の解答

これを見ると二画目の鋭角部分を閉ループと誤認してしまっていることがわかる.^{これでは元の}” を”の文字の形態からはかけ離れたイメージとなってしまい推測することも困難であろう.^{実際に被験} 者の12^人中6^人が”^を”^の提示を”^{わからない}”^{と答えている}.

この傾向が最も顕著にとって見れるのが”え”の文字である.”え”の文字の正答率も16.67%と低いが, これを”お”,”す”,”よ”といったような閉ループを持つ文字と解答した被験者が12人中5人いた.

本実験において正答率の低かった文字(50%^{未満のもの})^{と高かった文字}(75%^{以上のもの})^を以下の表5.1^に示す.これを見ると正答率の低かった方には”^え”,”^を”,”^ね”,”^ゆ”,”^ん”,”^ひ”,”^ら”,”^わ”,”^れ” といった文字に鋭角部分が見られる.^これは14^種中9^{種の割合である}.逆に正答率の高い方を見ると鋭角部の見られる文字は”る”と”ろ”のみであり割合は13種中2種である.このことからも鋭角部を閉ループと誤認してしまうことが文字認識の精度に影響を与えている可能性が示唆される.

(32)

表5.1: 表示おいて正答率が50%以下と75%以上だったもの

5.4 角とカーブの識別の難しさ

インタビューにおいて角部とゆるやかなカーブの違いがわからないという指摘があった.これは5.1 節で触れたつ”と”へ”においても見られることであるが,被験者は”へ”の角部と”つ”のゆるやかなカーブの違いを明確に感じ取れていないものと思われる.

文字を実際に書く時を考えると,人間は無意識的に角部において筆の走るスピードを落とす,^もしくは一瞬止めるという動作を行っている.^例えば”^く”という文字を描く際の運筆は図5.1^{の運動方向} を用いて(c)と(e)と表せるが,この文字を描く時,当然全体を1ストロークで描くものの,この(c)と (e)の運動方向の変化の際,一瞬筆の運びを停止するような書き方をする人がほとんどである.本装置でこのような文字を描く場合,方向的には確かに角を描いているものの,このような角部での停止を再現出来ておらず,このことが運筆動作の特徴の誤解を生んでいる可能性が考えられる.

そこで我々は以下のような追加実験を行った.本実験において正答率が40%^{以下と低かった}8^文字のうち,角部を含む”え”,”ね”,”ひ”,”へ”,”ゆ”,”を”,”ん”の７文字に対して,角部で微小な時間停止するような触情報の提示を行った.被験者は本実験における被験者の中の6人に対して行った.その結果,”

ね”,”ひ”を除く5つの文字に対して正答率の上昇が見られた.しかし以前”へ”の文字に対して”つ”と誤答するケーズが多く見られており,被験者からも相変わらず最初の運動方向が水平に感じられたとの意見が得られた.5.1節で触れた斜めの認識問題の解決が不可欠だと思われる.

(33)

表5.2: 追加実験の結果

5.5 ストローク間の相対位置を感じることの難しさ

ひらがな文字を描くストロークごとに一旦装置の触針部が皮膚から離れ,次のストロークの描き始めの地点まで移動したらまた触針部を皮膚に接触させる.^その2点間の距離と位置関係を正確に把握することが困難であると思われる傾向が結果から一部見られた.^以下の図5.6^{はある被験者の}”^ほ”^の提示に対する解答である.

図5.6: ”^ほ”の触情報提示の際のある被験者の解答

(34)

これを見ると各ストロークの運動方向や長さなどは正解に近いものだが,二画目・三画目の位置が正しく認識できなかったために文字としての認識が出来なかったものと思われる.^{またインタビュー} において”を”の提示が図5.7のように感じられたために解答が”せ”となってしまったという意見も得られた.これに関しても三画目の位置がずれてしまったために発生した誤認であると思われる.

図5.7: ”を”の触情報提示の際のある被験者の解答のイメージ

5.6 ^{反省点と展望}

ここまでで言及したいくつかの問題点は,実験の前段階で被験者に予備知識を与えることによって改善できたものも多いと考えられる.5.1節で触れた斜めの認識については,文字の描画前に予め垂直と水平の触情報提示を行うことで認識精度を向上できた可能性が高い.インタビューからも被験者によって手掌部のどの位置からどの位置までの運動方向が垂直・水平と感じるかには個人差があったことがわかっている.^また5.2節で触れた文字の書体認識の個人差についても予めひらがな文字の書体を視覚的に提示しておけば混乱を防げたであろう.

また本実験の結果を見ると12人の被験者の平均正答率は57.79%であり,先に紹介した清水・和気らのウォータージェット方式を採用した提示装置の実験の結果である約90%と比較すると非常に低いものとなってしまった.今回試作した触情報提示装置は手掌部の約10cm四方という非常に狭い範囲内への提示をするためのものであり,また触針部が皮膚に与える圧力についてもスマートフォン用タッチペンの自重のみで,十分に検討したものでは無いが圧力としては小さいものであったものと思われる.清水・和気らの研究では提示する文字をひらがな文字のうち一筆書きの出来る11種のみと限定している点で本実験と単純に比較することは出来ないが,より適切な条件で提示が出来ていれば正答率の上昇は十分に見込めるものと考えられる.^また,より正確に情報伝達が出来るようになるのであればここまで議論してきた問題点がある程度改善出来る可能性も考えられる.^例えば5.3^{節の鋭角部と閉} ループ部の誤認の問題や5.5節のストローク間の位置関係の認識精度の問題は提示範囲を大きくし, 触針部圧力を上げるだけで改善するかもしれない.

本実験では被験者の数が12人と十分な量のデータを得られたとは言い難い.また当初の想定よりも全体的に正答率が低くなってしまい文字ごとに大きな差が現れなかったため,^{各文字一つ一つに対し} ての精細な分析を行うことは困難であった.点運動情報の触覚伝達による文字コミュニケーションを行う上でのある程度の留意点や特に認識が難しいとされるであろう文字をいくつか明らかにすることは出来たが,今後は提示条件の変更が及ぼす影響などを考慮しつつさらなる実験・考察をすすめ,一文字一文字に対する最適な提示条件を示すガイドラインの作成が必要であろう.

(35)

第 6 ^章 ^結論

本研究では点運動情報の触覚伝達による文字コミュニケーションにおけるひらがな文字の認識率の違いを調査すべく触情報提示装置を試作し,評価実験を行った.その結果,確かに文字によって大きく認識率に差が出ることを確認し,その原因と考えられるいくつかの傾向を明らかにした.^{将来的に本手} 法を使った文字コミュニケーションの認識率を向上させ普及を進めるためには,^{各文字に対するより} 精細な分析によって最適な提示条件を明らかにする必要がある.

(36)

参考文献

[1] 清水豊,和気典二, 感覚代行のための一筆書きによる文字の触認識, 人間工学Vol. 19, No. 2 P 91-97, 1983

[2] 星貴之,非接触触覚ディスプレイによる手掌部への情報提示, 16回日本バーチャルリアリティ学会大会論文集, 732-733, 2011-09

[3] 辻弘美,川上正浩,ひらがな文字の形態的類似性評定調査,読書科学日本読書学会 54(3/4), 80-88 頁, 2012/07

[4] Goldish, Louis H.; Taylor, Harry, The Optacon: A Valuable Device for Blind Persons, E.New Outlook for the Blind, 68, 2, 49-56, Feb 74

[5] 篠田裕之.皮膚感覚インタフェースの現状と展望.第4 回システムインテグレーション部門学術講演会, 2003.

[6] 村瀬洋, et al.パターン整合法における特性核の改良とその手書き平仮名文字認識への応用.電子

情報通信学会論文誌D, 1981, 64.3: 276-283.

[7] ^河野孝幸, et al. 符号化振動による情報伝達方法に関する研究.^{川崎医療福祉学会誌}, 2010, 19.2:

405-409.

[8] Goldish, Louis H., and Harry E. Taylor. ”The Optacon: A Valuable Device for Blind Persons.”

New Outlook for the Blind 68.2 (1974): 49-56.

[9] ^梶本裕之,^川上直樹, and ^前田太郎. ”皮膚感覚神経を選択的に刺激する電気触覚ディスプレイ.”

電子情報通信学会論文誌 D 84.1 (2001): 120-128.

[10] ^{安藤英由樹}, et al. ”Augmented Reality のための爪装着型触覚ディスプレイの研究.” ^電子情報通信学会論文誌 D 87.11 (2004): 2025-2033.

[11] ^大岡昌博. ”触覚ディスプレイ装置におけるアクチュエータ技術.”^{日本ロボット学会誌}21.7 (2003):

758-761.

[12] ^鶴岡信治, et al. ”加重方向指数ヒストグラム法による手書き漢字・ひらがな認識.”^{電子情報通信}

学会論文誌D 70.7 (1987): 1390-1397.

[13] ^大竹理香, et al. ”ハプティックインタフェースを用いた力感覚と錯覚現象の計測.”^{計測自動制御}

学会論文集43.8 (2007): 699-701.

(37)

[14] ^井野秀一,^泉隆, and^伊福部達. ”ヒトの感覚特性に基づいたハプティックインタフェースの開発.”

ヒューマンインタフェース学会論文誌1.4 (1999): 9-17.

[15] ^{木下源一郎}. ”^{触覚センサの開発現状}.”^{日本ロボット学会誌} 2.5 (1984): 430-437.

(38)

謝辞

本研究の機会を与えて下さり,懇切丁寧なご指導を賜りました中島達夫教授に深く感謝,御礼申し上げます. また様々な場面で助言を下さった研究室の先輩,同輩の皆様に深く感謝致します.

点運動情報の触覚伝達による 文字コミュニケーションにおける

修士論文