視線データ解析と動画像解析の比較による重症心身障害児の特徴づけ\n

視線データ解析と動画像解析の比較による

重症心身障害児の特徴づけ

Characterizing severe motor and intellectual disabilities (SMID) patients by

comparing eye tracking data and video analysis

岡本麻里

1

_小島諒介

1

_{鈴木真知子}

1,2

_奥野恭史

1

Mari Okamoto

1

_{, Ryosuke Kojima}

1

_{, Machiko Suzuki}

1,2

_{and Yasushi Okuno}

1

1

_{京都大学医学研究科}

1

_{Graduate School of Medicine, Kyoto University,}

2

_{四天王寺大学看護学部}

2

_{School of Nursing, Shitennoji University}

Abstract: Severe motor and intellectual disabilities(SMID) patients have severe intellectual and physical disabilities.

Only a few studies to evaluate communication skills of SMID patients have been reported. There exist much less studies to suggest how to support their parents and their medical staff in communicating with SMID patients. To discover the possibility of communication using the gaze, this study aims to characterize gaze movements of SMID patients watching a video by using an eye tracker. The participants in this study includes SMID patients, severe physically disabilities patients and healthy people. To realize the objective evaluation of gaze movements, we propose new two types of indices by comparing eye tracking data and video analysis: distance score and saliency score. The distance score is based on distance between a location of a moving object detection and the gaze location of participants. The saliency score is based on the saliency maps, well-known methods in the computer vision. In conclusion, we suggest that our proposed scores are useful to quantify the gaze movements of SMID patients.

１ はじめに

重症心身障害児(重心児)は重度の知的障害と重度 の身体障害を合わせ持った小児のことである。重心 児の併存疾患として、てんかん・呼吸器疾患・聴覚 障害・嚥下障害・視覚障害があると言われている[1]。 また、2016 年時点で日本における医療的ケア児は 1.8 万人おり、その中で重心児は約 1.1 万人いると言わ れている[2]。そして医療技術の進歩により年々その 数が増加している。医療者や家族にとって、様々な 併存疾患を持っている重度障害児とコミュニケーシ ョンをとることは非常に困難であることから、その 支援策が求められている[3]。 現在重度障害児に対してアイトラッキングを用い たコミュニケーション支援が期待されている。身体 障害者に対するアイトラッキングベースの視覚機能 評価は有効であることが明らかになっている[3]。ま た重度障害児のコミュニケーション支援として最も 直接的で有効性が高いといえるのは意思表出手段と してマイクロスイッチもしくは視線入力を活用する ことであると言われている[4]。このことから、マイ クロスイッチもしくは視線入力つまりアイトラッキ ングを用いた重度障害児とのコミュニケーション支 援策が有効であると考えられる。しかしながらこれ らの機器を用いた研究は、コントロール群のないも のや、コントロール群を設定しても1~11 名と非常に 小規模なものが多く、重心児のコミュニケーション 能力の客観的評価もできていないことが指摘されて いる[4]。重心児の視線の動きの特徴を明らかにする にはより多くの対象者のデータを解析することが求 められる。さらに、重心児一人一人の視線の動きの 傾向が客観的評価できれば、医療者や家族が重心児 とコミュニケーションをとる上での工夫につながる 指標となりうる。 そこで本研究では、重心児の特徴を捉えたコミュ ニケーション支援を目指して、アニメーション動画

を見せた際のより多くの重心児の視覚的な特徴をア イトラッカーにより収集されたデータと動画像を解 析し重度身体障害者・健常者と比較することでの探 索と、視線の動きの数値化を用いた客観的評価の提 案を行う。

２ 動画像処理を用いた数値化法

2.1 使用した動画とデータ取得機器

実験に使用されたアニメーション動画は、物体の 注視や追視が評価しやすいコロコロアニマルという １-３歳児向け動画であり、年齢による差異が出ない ものを用いている。動画の内容としては、ネコがゆ っくり走る場面と犬が徐々に速く走る場面が含まれ ている。その動画を研究対象者に見せ、600Hz のア イトラッカー装置を用いて視線位置データを収集し た。データの中には注視種類(Fixation:固視, Saccade: 無意識の視線の動き, Unclassified:視線種類の区別不 可, NotFound:視線検知不可)や timestamp のデータが 含まれている。

2.2 数値化の提案

客観的評価指標として追視に注目し、２種類のス コアを提案する。１つ目は動体検出の位置と視線位 置との平均距離(距離スコアとする)を用いる方法 で、２つ目は動画像処理における顕著度マップの点 数(顕著度スコアとする)を用いる方法である。図２ に2 種類の数値化をするために用いた指標を示す。 2.2.1 距離スコア 距離スコアは動体検出により得られた動く物体と 視線を比較することで、動く物体をどれだけ追いか けているかを直接的にスコア化する。具体的には、 各時間におけるスコアを算出し、平均化することで 算出する。ユーグリッド平面においてp=(p1, p2)お よびq=(q1, q2)のときそれらの間の距離は√ (𝑝1 − 𝑞1))_{+ (𝑝2 − 𝑞2)})_{とする。点数が0 点(pixel)に近い} ほど動体検出の位置と視線位置との距離に差がない ということを表す。動体検出位置は以下のように求 めた。 Step1:連続する３フレームを使用して、グレースケ ール化する。 Step2:1,2 フレームと 2,3 フレームの差分をとる。 (安定させるため、両方ともで差がある部分を使う) Step3:差分の積をとる Step4:膨張処理を行う Step5:重心計算・領域検出を行う。 図１：動体検出位置の求め方 2.2.2 顕著度スコア 顕著度スコアでは、動画・画像に対して特徴的な 部分を計算する動画像処理アルゴリズムを用いるこ とで、スコア化する。画像の顕著度マップである SpectrulRedisual(SR)[5]と FineGrained(FG)[6]、動画 用の顕著度マップであるMotionSaliency(MS)[7]の３ つを用いた。これらのスコアは画像の1 ピクセルご とに計算され、１―０点に正規化し、動画フレーム ごとに全ピクセルに対してスコアを計算する。各時 間において画像に対する視線位置の顕著度を積算し て点数化を行い、平均を顕著度スコアとした。 上記２種類の提案した指標を用いて、定量評価と 定性評価を行った。定量評価としては平均を計算し、 各群の比較を行う。検定としては群間の全てのペア で の 検 定 を 一 度 に 行 う た め に 、 Dwass-Steel-Critchlow-Fligner を用いる。定性評価としては時系列 でのスコアの可視化を行い、動画の具体的にどうい う部分でスコアに差があるかの考察を行う。 図２：数値化するために用いた２種類の指標

３ 結果

3.1 研究対象者

研究対象者の特徴について表１に記載する。 健常者 身体障害者 重心児 全体 45 18 37 乳幼児 15 3 7 学童 8 13 17 成人 22 2 13 表１：研究対象者の特徴(人) 重心児37 人、身体障害者 18 人、健常者 45 人であ った。視線の固定時間30 秒以上と 30 秒未満で比較 す る と 、 視 線 固 定 時 間 30 秒 未 満 の 健 常 者 は 22%(10/45 人)であり、身体障害者は 50%(9/18 人)で あり、重心児は76%(28/37 人)であった。また、fixation 回数を比較すると、80 回未満が重症児は 75.7%(28/37 人)であり、重度身体障害者は 33.3%(6/18 人)であり、 健常者は11.1%(5/45 人)であった。解析を行うにあた って、視線検知可能(視線固定時間 30 秒以上)だと、 視線固定時間と注視回数に参加者のばらつきがあっ たため、そのばらつきの特徴を見ていくこととする。 対象者の視線固定時間が 30 秒以上の者だけで解析 を行う。

3.2 解析結果

定量評価として、被検者の視線計測データを２つ の数値化の手法で解析した結果を表２に示す。 健常者 重度身体障害者 重心児 距離スコア(pixel) mean 104.545 157.062 178.021 std 40.763 69.452 64.216 顕著度スコア(点) SR mean 0.278 0.19 0.142 std 0.078 0.098 0.088 FG mean 0.227 0.198 0.193 std 0.049 0.04 0.037 MS mean 0.306 0.228 0.179 std 0.074 0.069 0.066 表２： 距離スコアと顕著度スコアの平均と標準偏差 また、図３に示すように距離スコアに関して健常者 とその他の群で統計的有意差があった。一方で、重 心児と重度身体障害者に統計的有意差はなかった。 ３つの顕著度スコアに関しても同様の有意差がみら れた。 図３： 距離スコアの群ごとの平均と標準偏差（ は 統計的有意差あり(p 値<0.001)を示す） さらに、図４に示すように、定性評価としては時系 列でのスコアの可視化を行った結果、画像の顕著度 マップであるFineGrained は３群の差が見えづらく、 SpectrulRedisual は健常者の点数だけ他の２群と比べ 差が大きかった。一方で動画の顕著度を検出する MotionSaliency と距離スコアは動画の特徴をよく捉 えられていた。 図４：時系列での群ごとのスコアの可視化 次に、対象者ごとに特徴を比較すると図５に示す ように、重心児の中でも距離スコアが健常者平均 (104.545pixel)より低い 86.32pixel の対象者がおり、 0 50 100 150 200 250 300 (p ixe l) 0 / 1 1 ( () ( () 1 0 / ) ) 1 0 / ( 0 / 1 1 ( ()

動体検出位置とより近い部分を見ることができてい たと言える。一方で、距離スコアが健常者平均 (104.545pixel)より高い 225.23pixel の対象者もいた。 図５：全時間における距離スコアとID ごとの平均距 離スコアの可視化（重心児２名）

４ 考察

4.1 重心児の中での個人差が大きい

本解析を行う前に行った予備的な調査から重心児 の中でも Fixation ができていた人とできていなかっ た人がいることがわかった。その中で Fixation がで きていない人の割合が健常者より高かった理由とし て２つ考えられる。１つ目は視機能の異常の可能性 である。視機能の発達段階では周辺を見る機能の後 に注視ができるようになるため、Fixation できない人 もいる可能性が考えられる。２つ目は注視眼振の可 能性である。注視眼振とは注視するときに眼振が出 るものであり、その影響で Fixation できなかった可 能性が考えられる。一方で重心児や身体障害者の中 でもFixation の回数が多く、Fixation 時間が長い人が いることがわかった。重心児や身体障害者の固視能 力には個人差が大きいことがわかった。 また、Fixation 時間 30 秒以上の群で定量評価によ る解析を行った結果から、距離スコアが健常者平均 より低く、動画における動体検出位置の近くを見る ことができている重心児がいることがわかった。 Fixation 時間が 30 秒以上の固視能力があると考えら れる群の中でも距離スコアにばらつきがあり、追視 能力に関しても個人差が大きいことが考えられる。 重心児は複数の併存疾患があると言われており[1]、 併存疾患等のデータを収集し、個人差に起因する要 因の探索が必要である。要因が分かればコミュニケ ーション支援策につながる可能性がある。

4.2 視線の動きを数値化できる可能性

客観的な評価指標として提案した距離スコアと顕 著度マップにおける定量評価の結果から、どの指標 も同じ群間において統計的有意差が出た。提案した 全ての指標は視線位置を同じように客観的評価でき ていたことが考えられる。一方で定性評価において 顕著度マップの中でも動画における顕著度を検出で きる MotionSaliency と距離スコアが動画の特徴をよ く捉えられていたことから、今回の対象者データに おいてこの２つの客観的評価指標がより有効ではな いかと考えた。今後、別の対象者データを用いてこ の客観的指標の妥当性を示す必要がある。

５ むすび

本研究では、アニメーション動画を見せた際のよ り多くの重心児の視覚的な特徴をアイトラッカーに より収集されたデータと動画像を解析し重心児の特 徴を探索し、視線の動きの数値化を用いた客観的指 標の提案を行った。視線の動きを数値化する客観的 指標を用いることで視線位置の評価をできる可能性 が示唆された。また、重心児の中でも注視や追視に 個人差が大きいことがわかった。しかしその個人差 につながる要因を探索するためのデータが不足して いた。一方で今後の研究で必要なデータの示唆を得 ることができた。今後の研究で客観的指標の妥当性 を測り、視線の動きの個人差に起因する要因を探索 していく。

謝辞

本研究の一部は科学研究費補助金基盤（B）17H04448 の助成による。

参考文献

[１] Van Timmeren EA., van der Schans CP., van der Putten AAJ.:Physical health issues in adults with severe or profound intellectual and motor disabilities: a systematic review of cross-sectional studies, J INTELL DISABIL

RES, Vol. 61, No. 1, pp. 30-49, (2016) [２] 厚生労働省社会・援護局: 医療的ケアが必要な子ども へ の 支 援 の 充 実 に 向 け て .(2018) https://www.mhlw.go.jp/content/12200000/000365179.pd f (2019.11.11 アクセス) [３] 鈴木: 人工呼吸管理中の障がいの重い子どものコミ ュニケーション力に対する親の認識．小児保健研究, Vol.72, pp.713-20, (2013)

[４] Kooiker MJ, Pel JJ, Verbunt HJ: Quantification of visual function assessment using remote eye tracking in children: validity and applicability, Acta Ophthalmol, Vol. 94, No.6, pp. 599-608, (2016)

[５] 鈴木: 重度障害児のコミュニケーション支援に効果 的な介入に関するシステマティックレビュー, 小児 看護学会, Vol. 44, No. 3,(2019)掲載予定

[６] Xiaodi H., and Liqing Z.: Saliency Detection: A Spectral Residual Approach, IEEE Conference on CVPR 2007, (2007), DOI: 10.1109

[７] Sebastian M., and Albaro S.: Human detection using a mobile platform and novel features derived from a visual saliency mechanism, Image and Vision Computing, Vol. 28, No. 3, pp.391-402, (2010)

[８] Bin W., Piotr D.: A Fast Self-Tuning Background Subtraction Algorithm, IEEE Conference on CVPR 2014, pp. 395-398, (2014)