ʸ

エネルギー科学研究科

エネルギー社会・環境科学専攻修士論文

題目：

拡張現実感を用いた

原子力プラントの保守作業

支援システムの開発

指導教官： 吉川 榮和 教授

氏名： 新田 和弘

提出年月日： 平成

15

年

2

月

5

日（水）

論文要旨

題目 : 拡張現実感を用いた原子力プラントの保守作業支援システムの開発 吉川榮和研究室 新田和弘 要旨 : 電力自由化を背景に、原子力発電の経済性を向上させるためのプラント運転・保守技 術の革新を目指して、「原子力発電所運用高度化のための次世代HMS の技術開発」プ ロジェクトが開始されている。このプロジェクトの中で、本研究では、プラントの定 期点検時の現場における現場監督と作業員とのコミュニケーションに着目し、拡張現 実感を用いてコミュニケーションを支援するシステムを開発する。 支援システムでは、作業員の安全ヘルメットにつけた小型CCD カメラで撮影した視 界の画像（視界画像）を現場監督が持つタブレットPC の画面に表示し、複数の作業 員を同時に監視できるようにする。また、現場監督が、電子ペンで視界画像の上に文 字や絵を描くと、その内容が作業員の視界に重畳されるようにする。これにより、作 業指示を容易に理解でき、指示対象を直感的に把握できる。このシステムを実現する には、（1）作業員の位置推定機能、（2）通信機能、（3）指示対象位置の位置推定機能、 （4）情報提示機能が必要がある。 （1）作業員の位置推定機能では、人工マーカと自然マーカを用いて作業員の 3 次元 位置を求める。このとき、周囲環境が変化する保守作業の現場に対応させるため、セ ンサを用いて位置推定の精度の向上を図る。（2）通信機能では、作業員の視界画像を 送信することで、現場監督が複数の作業員を同時に監視を行う。また、現場監督は、こ の機能を用いて作業指示を絵や文字で表現した情報画像を作成し、作業員に送信する。 （3）指示対象位置の位置推定機能では、現場監督からの作業指示の対象を推定し、情 報画像を重畳する指示対象位置を求める。（4）情報提示機能では、先に求めた作業員 の位置と指示対象位置との関係を求め、情報画像を作業指示の対象上に重畳表示する。 以上の機能を統合し支援システムを試作し、作業員の位置推定機能の動作確認と現 場監督と作業員のインタフェースの主観的評価を行った。 動作確認の結果、人工マーカの場合、正常に動作することを確認した。一方、既存の 自然マーカの場合、（a）視界画像の偏った範囲から 4 つのマーカを選別したため、（b） 映像が揺らぎにより自然マーカの照合が正確でなかったため、大きく誤差が生じた。ま た、センサによるマーカの評価は、精度の向上に有効であった。 インタフェースの評価では、現場監督の場合、電子ペンによる入力は容易に行えた が、タブレットPC に視界画像を大きく表示するなどの改善が必要であると示唆され た。一方、作業員の場合、重畳表示による作業指示は、作業指示を理解しやすく、指示 対象の場所を直感的に理解できると評価された。しかし、本研究で使用した片目HMD では、左眼と右眼の視界に違和感があるなどの改善点が指摘された。 以上の結果より、作業員の位置推定を行う際、既知の自然マーカを画面上から距離 を離して選び出す方法と、画像の揺らぎに対応させたマーカの照合方法を考案し、精 度を向上させる必要がある。そして、センサから得られるデータをさらに利用するこ とで、精度の向上が期待できる。また、現場監督、作業員のインタフェースを改良す る必要があると分かった。

目 次

第 1 章 序論 1 第 2 章 研究の背景と目的 3 2.1 原子力発電所運用高度化のための次世代 HMS の技術開発 . . . 3 2.2 拡張現実感とその応用 . . . 7 2.2.1 拡張現実感 . . . 7 2.2.2 拡張現実感技術を用いた作業支援 . . . 11 2.3 研究の目的 . . . 14 第 3 章 拡張現実感技術を用いた保守作業支援システムの設計 15 3.1 次世代原子力プラントにおける保守作業 . . . 15 3.2 保守作業支援システムの設計 . . . 16 3.2.1 設計の概要 . . . 16 3.2.2 システムの意義 . . . 18 3.2.3 必要な機能 . . . 19 3.3 保守作業支援システムのハードウェア . . . 21 3.3.1 作業員のハードウェア . . . 23 3.3.2 現場監督のハードウェア . . . 24 3.4 作業員の位置推定機能 . . . 25 3.4.1 保守作業の現場における作業員の位置推定 . . . 25 3.4.2 既存の位置推定の方法 . . . 25 3.4.3 本研究で用いる位置推定の方法 . . . 27 3.5 通信機能 . . . 38 3.6 指示対象位置の位置推定機能 . . . 40 3.7 情報提示機能 . . . 45 3.8 まとめ . . . 46 第 4 章 保守作業支援システムの開発 49

4.1 作業員の位置推定機能の開発 . . . 49 4.1.1 開発の概要 . . . 49 4.1.2 画像取得部 . . . 49 4.1.3 人工マーカ抽出部 . . . 51 4.1.4 自然マーカ抽出部 . . . 51 4.1.5 自然マーカ照合部 . . . 51 4.1.6 自然マーカ評価部 . . . 52 4.1.7 人工マーカを用いた作業員の 3 次元位置推定部 . . . 52 4.1.8 既知の自然マーカを用いた作業員の 3 次元位置推定部 . . . 53 4.1.9 自然マーカの位置推定部 . . . 53 4.2 通信機能の開発 . . . 54 4.2.1 作業員の視界画像の送信 . . . 54 4.2.2 現場監督の監視および作業指示の書込み . . . 55 4.2.3 作業員の情報画像の受信 . . . 56 4.3 指示対象位置の位置推定機能の開発 . . . 56 4.3.1 3次元直線取得部 . . . 57 4.3.2 自然マーカ検索部 . . . 57 4.3.3 指示対象位置の 3 次元位置推定部 . . . 58 4.4 情報提示機能の開発 . . . 59 4.5 試作システム . . . 59 4.5.1 ハードウェア構成 . . . 61 4.5.2 ソフトウェア構成 . . . 69 第 5 章 保守作業支援システムの評価 75 5.1 作業員の位置推定機能の動作確認 . . . 75 5.2 試作システムの評価 . . . 80 5.2.1 現場監督のインタフェース . . . 80 5.2.2 作業員のインタフェース . . . 81 5.3 評価のまとめと今後の展望 . . . 83 第 6 章 結論 85 謝 辞 87

図 目 次

2.1 サテライト運転・保守センタ . . . 4 2.2 次世代原子力プラントの保守時の人員構成 . . . 5 2.3 次世代原子力プラントの定期点検の流れ . . . 6 2.4 拡張現実感のイメージ図 . . . 8 2.5 拡張現実感の位置付け . . . 8 2.6 HMDを用いた拡張現実感の実現方法 . . . 9 2.7 プロジェクタを用いた拡張現実感の実現方法 . . . 9 2.8 対象の直観的理解 . . . 10 2.9 情報内容の容易な理解 . . . 11 2.10 航空機ワイヤーハーネス作成支援システム . . . 12 2.11 KARMA . . . 12 2.12 レーザ光を用いた拡張現実感による作業支援環境の構築 . . . 13 3.1 現場作業員と作業員の役割 . . . 15 3.2 保守作業支援システム . . . 17 3.3 作業員の位置推定機能 . . . 19 3.4 通信機能 . . . 20 3.5 作業員、視界画像、指示対象位置の位置関係 . . . 21 3.6 指示対象位置の位置推定機能 . . . 22 3.7 情報表示機能 . . . 22 3.8 作業員のインタフェース . . . 24 3.9 現場監督のインタフェース . . . 25 3.10 AR tool kitで使用するマーカの例 . . . 28 3.11 AR tool kitによるデモンストレーション . . . 29 3.12 照明環境の違いによる色抽出例（明るい環境） . . . 29 3.13 照明環境の違いによる色抽出例（暗い環境） . . . 30 3.14 Harrisオペレータ . . . 30 3.15 作業員の 3 次元位置の取得の処理の流れ . . . 31

3.16 マーカの一対一関係 . . . 32 3.17 自然マーカの 3 次元位置の取得方法 . . . 33 3.18 自然マーカの 3 次元位置の計算方法 . . . 34 3.19 現場監督と作業員との画像の送受信 . . . 39 3.20 現場監督が携帯するタブレット PC の画面 . . . 40 3.21 2次元座標を用いた指示対象位置 . . . 41 3.22 2枚の画像の対応関係 . . . 42 3.23 指示対象位置を含んだ直線と平面から求める指示対象位置の位置推定 . 42 3.24 指示対象位置の位置推定機能の概要 . . . 43 3.25 指示対象位置の位置推定機能の処理の流れ . . . 44 3.26 情報提示機能能の処理の流れ . . . 46 3.27 HMDの表示画面 . . . 47 4.1 作業員の位置推定機能の処理 . . . 50 4.2 通信機能の処理 . . . 54 4.3 タブレット PC の画面構成 . . . 55 4.4 タブレット PC による入力作業 . . . 56 4.5 指示対象位置の位置推定機能の処理部 . . . 57 4.6 3次元直線取得部のイメージ . . . 58 4.7 情報提示機能の処理部 . . . 59 4.8 HMDの表示画面 . . . 60 4.9 試作システムの対象とした小型ポンプ . . . 60 4.10 ハードウェアを装着した作業員 . . . 62 4.11 HMD（Data Glass 2）の概観 . . . 62 4.12 小型 CCD カメラ（KEYENCE CK-200）の概観 . . . 63 4.13 センサ箱の中身 . . . 64 4.14 マイコン . . . 66 4.15 作業員の使用するハードウェアの接続 . . . 67 4.16 ハードウェアを携帯した現場監督 . . . 68 4.17 タブレット PC . . . 69 4.18 4つの機能の統合 . . . 72 4.19 作業員に提示する HMD の画面 . . . 73 4.20 現場監督のタブレット PC の画面（監視モード） . . . 73

4.21 現場監督のタブレット PC の画面（作業指示モード） . . . 74

4.22 作業員からみた作業指示 . . . 74

5.1 動作確認で使用した画像 . . . 76

5.2 動作確認で使用した画像を撮影した場所 . . . 77

表 目 次

2.1 次世代原子力プラントの保守時の各人員役割 . . . 4 3.1 マーカの分類 . . . 28 3.2 視界画像のマーカの状態 . . . 36 3.3 各状態における作業員の位置推定方法 . . . 37 4.1 作業員の移動方向と視界画像中の自然マーカの移動方向の関係 . . . 53 4.2 作業員のハードウェア構成 . . . 61 4.3 HMD（Data Glass 2）の仕様 . . . 63 4.4 小型 CCD カメラの仕様 . . . 64 4.5 ジャイロセンサの仕様 . . . 65 4.6 加速度センサの仕様 . . . 65 4.7 ウェアラブルコンピュータの仕様 . . . 66 4.8 現場監督のハードウェア構成 . . . 68 4.9 タブレット PC の仕様 . . . 69 4.10 無線アクセスポートの仕様 . . . 70 5.1 動作確認の結果 . . . 78 5.2 各画像中の自然マーカの個数 . . . 78 5.3 センサによる評価の有無による作業員の位置推定の違い . . . 79 5.4 現場監督のインタフェースの評価 . . . 82 5.5 作業員のインタフェースの評価 . . . 83

第

1

章 序論

近年、CO2などの温室効果ガスによる地球温暖化問題が深刻化している。そのため、 産業界では、環境に有害な物質の排出を抑制するなど、環境にやさしい操業が求めら れている。電力分野でも、例外ではなく、CO₂を多量に排出する火力発電などの使用 を控え、その代わりに環境にやさしい新エネルギーを用いた発電や、原子力発電を使 用する傾向にある。しかし、太陽光発電や風力発電などの新エネルギーでは、発電量 が少なく、気候などの要因によって発電量が変動するため、現在のわが国の電力需要 を賄うことができない。そのため、環境に有害な物質を排出せず、気候などに依存せ ず発電量が多く得られる原子力発電は欠くことのできない重要な電力源である。 しかし、原子力発電は安全性の確保が問題で、例えば、運転員や保守作業員の誤操 作・誤判断で、TMI 事故や JCO 事故のような、重大な被害が発生する大事故に繋がる 可能性がある。そのため、運転時には多数の人員が 1 つの原子力プラントを監視し、保 守時には十分な安全を確保できるよう膨大なコストと人員で作業を行う。 一方、1990 年代から始まった欧米諸国での電力自由化の流れをうけ、わが国でも 1995 年に発電分野での部分的自由化や 2000 年に小売分野の自由化が行われ、今後も自由化 が進められる。この自由化の流れにより、電力を安価に確保することが必要となり、原 子力発電の発電コスト削減が求められている。 原子力発電の発電コストを削減する方法としては、（1）原子力プラントで使用する 機器（プラント機器）の延命化、（2）原子力プラントの操業に携わる人員の効率の向 上、の 2 つがある。（1）の方法では、例えば、これまで 1 年間しか使用しなかったプラ ント機器を、2 年以上使用できるようにすることでプラント機器を交換する回数を減ら せるなど、プラント機器の使用効率が向上し、コスト削減を行うことができる。この 方法を実現するには、プラント機器の延命化・高性能化のための技術の開発や、プラ ント機器の状態を調べ交換時期を把握するための高度な点検技術の開発が必要となる。 一方、（2）の方法では、例えば、複数の原子力プラントの運転や保守を遠隔地からが できるようにし、人員を一極集中化することで、原子力プラント 1 基ごとに考えれば 従来と変わらない人数ではあるが、全体的には少ない人員で運転・保守を行えるよう になり、人員効率が向上する。また、プラント機器に関する知識を豊富に持った熟練 作業員や製造メーカの関係者も集中化し、知識を一ヵ所に集約することで、異常発生

時に適切な処置を即座に行うことができる。

本研究では、この 2 つの発電コストの削減方法の中で（2）の方法に注目する。（2） の方法を想定した研究・開発として、「原子力発電所運用高度化のための次世代 HMS （Human Machine System）の技術開発[1]」プロジェクトがある。このプロジェクトは、

情報技術（Infomation Technology:IT）を用いて、原子力プラントの運転・保守を一極 集中化するサテライト運転・保守センタを設置した次世代原子力プラントを想定し、集 中化するために必要となる基盤技術の開発と、サテライト運転・保守センタの導入に よって考えられる安全レベルの低下を抑えるための技術の開発を目的としている。本 研究では、このプロジェクトの中の、定期点検時の現場における作業員と現場監督と のコミュニケーションに着目し、コミュニケーションの失敗によるヒューマンエラー を未然に防ぐための支援を、新しいヒューマンインタフェースである拡張現実感を用 いて行う支援システムを設計し、開発を行う。 本論文は、第 1 章の序論を含め、6 章で構成されている。第 2 章では、「原子力発電 所運用高度化のための次世代 HMS の技術開発」と、本研究で用いる拡張現実感につい て述べる。そして、本研究での目的を述べる。第 3 章では、現場監督と作業員のコミュ ニケーションを支援するシステムの設計について、システム実現に必要な機能を 4 つ に分けて説明する。第 4 章では、第 3 章の設計を踏まえて、実際に 4 つの機能を開発す る手法について述べる。そして、4 つの機能を統合した試作システムについて述べる。 第 5 章では、第 4 章で試作したシステムの評価実験について述べる。第 6 章では、本研 究の結果をまとめ、今後の課題について述べる。

第

2

章 研究の背景と目的

原子力プラントの経済性の向上を目標に「原子力発電所運用高度化のための次世代 HMSの技術開発」プロジェクトが進められている。本研究では、このプロジェクトの 中で定期点検における現場監督と作業員とのコミュニケーションに着目し、新しいイ ンタフェースである拡張現実感を用いた連携型保守作業支援技術を開発する。 本章では、まず、本研究が関わっている「原子力発電所運用高度化のための次世代 HMSの技術開発」について述べる。次いで、本研究で使用する拡張現実感技術につい て説明し、その応用例について述べる。最後に本研究の目的について述べる。

2.1

原子力発電所運用高度化のための次世代

HMS

の技術

開発

「原子力発電所運用高度化のための次世代 HMS の技術開発」プロジェクトでは、図 2.1に示すように、原子力発電の運転・保守をサテライト運転・保守センタに IT を用い て集中化することが提案されている。これにより、運転時には、従来はプラントごと で行っていた運転・監視を、プラントの場所によらず一ヵ所で行える。そのため、従来 よりも少ない人員で運転・監視が期待できる。また、日常点検や定期点検の保守作業 時には、点検の進捗状況の管理を一元化して行えるため、保守作業のスケジュール管 理が容易になり、保守作業に携わる作業員の割り振りを最適化できる。そのため、点 検に要する時間の短縮が可能となる。 また、最近の少子化や高学歴化に伴って、現場で働く作業員が敬遠され、現場での 作業に関する豊富な知識を持った熟練作業員が育ちにくい。そのため、原子力プラン トごとに熟練作業員が配置されている現行の保守体制では、熟練作業員を確保するこ とが難しく、不足することが考えられる。そこで、サテライト運転・保守センタを導 入し、熟練作業員やプラント内の機器の製造メーカの関係者をセンタに集めることが 考えられる。これにより、原子力プラントに関する専門的な知識をセンタに集約でき、 少ない熟練作業員でも従来どおりの点検の質の維持が可能であると期待できる。 次世代原子力プラントで行われる定期点検は、サテライト運転・保守センタにいる サテライト点検責任者とサテライトアドバイザ、原子力プラント内の保守作業を行う

• • • • A • • B • • • • • • • • •_• 図 2.1: サテライト運転・保守センタ 場所（現場）にいる現場監督と作業員で作業を行うと想定する。それぞれの人員構成 を図 2.2 に示し、各人員の役割を表 2.1 に示す。 表 2.1: 次世代原子力プラントの保守時の各人員役割 人員 役割 サテライト ・現場監督に点検の指示を出す 点検責任者 ・定期点検全体の進捗状況を把握し、スケジュールの管理を行う 現場監督 ・作業員に作業の指示を出す ・作業員が行っている作業を監視する 作業員 ・プラント機器に対して実際に作業を行う サテライト ・現場監督や作業員から点検中に発生した問題について相談を受け付 アドバイザ  け、アドバイスする このような人員構成による定期点検の流れを図 2.3 に示す。まず、サテライト点検責 任者が、現場監督に点検を行う対象のプラント機器と、そのプラント機器に対して行 う点検の内容を指示する。現場監督は、サテライト点検責任者の点検指示をもとに、数 名の作業員を連れて点検対象のプラント機器に誘導する。その後、それぞれの作業員 に、プラント機器に対して行う作業を指示する。作業員は、現場監督からの作業指示

図 2.2: 次世代原子力プラントの保守時の人員構成 をもとに、実際に作業を行う。作業が終了すると、作業員は、計器類の読みや点検の 経過など作業の報告を現場監督に行う。現場監督は、作業が終了した作業員に、再び 別の作業を指示する。この手順をプラント機器全体の点検が終了するまで、現場監督 と作業員との間で繰り返し行う。また、この作業の間に、現場監督や作業員はサテラ イトアドバイザから作業のアドバイスを受けることができる。点検が終了すると、現 場監督は、サテライト点検責任者に、プラント機器の点検が終了した旨の点検報告を 行う。 このような定期点検の保守体制では、サテライト点検責任者と現場監督、現場監督 と作業員とのコミュニケーションが重要である。そこで、本研究では、次世代原子力 プラントにおける定期点検時のコミュニケーションについて考えることにする。 保守作業の現場でのコミュニケーションでは、以下の内容を確実に伝えることが求 められる。 • 保守作業対象 作業を行う対象の場所を明確に伝える必要がある • 保守作業内容・手順

図 2.3: 次世代原子力プラントの定期点検の流れ 作業対象に対して行う作業の内容を伝え、その作業の手順を明確に伝える必要が ある • 保守作業の重要性 作業に対して、作業中に注目すべき箇所や絶対してはならない作業方法など伝え、 作業の重要性を伝える必要がある 以上の内容が正しく伝わらず、コミュニケーションが失敗すると、例えば、原子力プ ラントの 1 号機と 2 号機を取り違えて作業を行う（平成 8 年 3 月 15 日 高浜発電所 2 号 機）やレバーを戻す順番を取り違える（平成 4 年 2 月 4 日 高浜発電所 1 号機）のよう なヒューマンエラーが発生し、原子炉停止など重大な事態になる可能性がある。 しかし、サテライト運転・保守センタを導入することで、コミュニケーションを円 滑に行うことが、従来よりも難しくなると考えられる。例えば、サテライト点検責任 者と現場監督、サテライトアドバイザと現場監督や作業員のコミュニケーションでは、 双方が遠方になるため、音声を用いてコミュニケーションを行うことが考えられる。し かし、音声を用いると絵や地図を用いたプラント機器の説明や現場の状況の説明がで きないため、作業の内容などを即座にかつ確実に理解できるように伝えることは難し

い。また、現場監督と作業員とのコミュニケーションでは、音声のみで多数あるプラ ント機器の部品の中から保守作業対象を作業員が特定することは難しく、作業員の側 に現場監督が出向いて指示を与えることが考えられる。これにより、現場監督の負担 が大きくなり、また、作業員が指示を受けるまでに時間がかかる。 そのため、次世代原子力プラントでは、コミュニケーションを IT によって支援し、 サテライト点検責任者、サテライトアドバイザ、現場監督、作業員のそれぞれの間で、 遠方でも、内容を即座かつ確実に理解できるコミュニケーションが可能な保守作業環 境を構築する必要がある。

2.2

拡張現実感とその応用

前節で述べたように、次世代原子力プラントの定期点検では、サテライト点検責任 者、サテライトアドバイザ、現場監督、作業員間のコミュニケーションを、遠方からで も内容を即座かつ確実に理解できるように IT を用いて支援する必要がある。このよう なコミュニケーション支援方法の 1 つとして、拡張現実感を用いてコミュニケーション を支援する方法が考えられる。 本節では、まず拡張現実感について述べ、次いで拡張現実感を用いた支援システム について述べ、支援システムとしての特徴と問題点について述べる。

2.2.1

拡張現実感

最近、新しいヒューマンインタフェースとして、拡張現実感（Augmented Reality:AR） が注目され、研究、開発が盛んに行われている。拡張現実感とは、現実空間と仮想空 間を融合した複合現実感（Mixed Reality:MR）の 1 種で、図 2.4 に示すように現実空 間の映像上に、コンピュータを用いて生成した文字や図形などの情報を重ね合わせて、 現実空間の情報を拡張する技術である。コンピュータで仮想世界を生成し、その中に 人間を没入させる仮想現実感（Virtual Reality:VR）や現実世界との関係は図 2.5 に示 すようになり、拡張現実感は現実世界に近い「実世界志向」のインタフェースである。 拡張現実感を実現する方法としては、ヘッドマウントディスプレイ（Head Mounted Display:HMD）を用いた方法やプロジェクタを用いた方法がある。 HMDを用いた方法の例を図 2.6 に示す。ユーザは光学シースルー型の HMD を装着 し、HMD の画面を通して現実世界を見る。HMD の画面には、コンピュータで作成し た記号や文字で表現された付加情報を表す画像を、現実世界に重畳させるように表示

ઃട䈘䉏䈢 ᖱႎ 図 2.4: 拡張現実感のイメージ図 ᜛ᒛ⃻ታᗵ䋨Augmented Reality䋩 ᜛ᒛ઒ᗐ⃻ታᗵ䋨Augmented Virtuality䋩 ઒ᗐ⃻ታᗵ䋨Virtual Reality䋩 ⃻ታ਎⇇䋨Reality䋩 ⶄว⃻ታᗵ (Mixed Reality) 図 2.5: 拡張現実感の位置付け

する。この表示により、ユーザは、付加情報が現実世界と重なった状態で見ることが できる。HMD を用いた方法では、付加情報を表示するデバイスである HMD をユーザ が装着するため、ユーザの場所に関係なく付加情報を重畳表示が可能である。 図 2.6: HMD を用いた拡張現実感の実現方法 プロジェクタを用いた方法の例を図 2.7 に示す。現実世界にプロジェクタを用いて付 加情報を投影することで、ユーザに現実世界に付加情報を重畳した状態で見ることが できる。この方法は、ユーザがいる空間全体に対して付加情報を投影できるため、一 度に複数のユーザが同じ付加情報を見ることができる。 図 2.7: プロジェクタを用いた拡張現実感の実現方法 以上のような方法で実現された拡張現実感は、次のような特徴がある。 1. 対象の直観的理解 付加情報は、情報が指し示している対象の上に重畳表示するため、情報の対象を

ユーザは直観的に理解できる。例えば、図 2.8 に示すように、機器のレバーを上 げる操作を行う際、従来のマニュアルでは、マニュアルと実物を見比べて操作の 対象となるレバーを特定する。そのため、ユーザは、視線移動を繰り返す必要が あり、容易に操作対象の場所を特定できない。また、レバーを間違える可能性も 大きくなる。一方、拡張現実感を用いると、矢印や文字でレバーの操作を表現し た付加情報を現実空間に重畳表示するため、ユーザは機器を見るだけで操作する レバーを特定でき、間違える可能性も小さくなる。 図 2.8: 対象の直観的理解 2. 情報内容の容易な理解 付加情報は、文字だけでなく絵も用いて表現できるため、ユーザは情報の内容を 容易に即座に理解でき、また、情報の内容を確実に理解できる。例えば、図 2.9 に 示すように、レバーを上げる操作において、文字のみの情報では、ユーザはレバー を動かす方向をすべての文字を読んで理解する。一方、情報の内容を矢印の記号 で表現した情報では、矢印を見たユーザは即座にレバーを動かす方向を理解でき る。また、文字のみの情報では意味が不明確になる場合があり、情報の本来の意 味とユーザの解釈が一致していない可能性もある。しかし、文字と絵を併用する ことで、文字の情報を明確化できる。 以上の特徴から、拡張現実感技術は、作業を支援するインタフェースとして有効で

図 2.9: 情報内容の容易な理解 報をその対象上に重畳表示して、1 の特徴を実現する必要がある。そのため、HMD を 装着したユーザの位置や付加情報を投影するプロジェクタの位置と、付加情報の対象 の位置との相対関係をリアルタイムで求め、ユーザの動きや対象位置の移動に応じて、 付加情報を重畳表示する位置を変化させていかなければならない。そのため、さまざ まな状況に適応したユーザや対象位置の位置計測方法が研究・開発されている。

2.2.2

拡張現実感技術を用いた作業支援

拡張現実感技術を用いた作業支援として、ボーイング社の航空機ワイヤーハーネス作 成支援システム[2]が実用化されている。このシステムは、航空機の電子機器配線ハー ネスの配線を行う際、図 2.10 に示すように、配線すべきハーネスの種類と位置を、作 業員が装着している光学シースルー HMD を用いて基板上に重畳表示することで、作 業効率の向上が図られている。このシステムでは、作業員の頭部に取り付けられた磁 気センサを用いて作業員の頭部の位置を計測し、作業台とユーザの位置の相対関係を リアルタイムで計測している。 レーザプリンタのメンテナンスの支援を目的とした支援システムとして、KARMA[3] がある。このシステムは、図 2.11 に示すように、対象となるプリンタの主要なパーツ にあらかじめマーカを貼り付けておき、そのマーカから各パーツの位置と方向を検出 して、目的の作業を行うには、パーツをどのように動かせば良いかを HMD を介して

図 2.10: 航空機ワイヤーハーネス作成支援システム

提示する。 また、本研究室でも、レーザ光を用いてプリント基板の面実装作業を支援する、拡 張現実感による作業支援環境の構築[4]の研究を行っている。このシステムは、図 2.12 に示すように、工場の製造ラインを流れるプリント基板上に対して電子部品を取り付 ける位置を、レーザ光で投影して指示を出す支援するシステムである。このシステム では、ラインを流れている基板の位置を、ラインの上から撮影したカメラの画像を画 像処理して計測し、付加情報を提示する位置を求めている。 図 2.12: レーザ光を用いた拡張現実感による作業支援環境の構築 以上の支援システムの例では、情報提示を行う位置とユーザの位置との相対関係を 求める際、ユーザがあらかじめ定めた場所に立って利用することや、付加情報を表示 する位置に目印（マーカ）を貼り付けることを前提として実現されており、ユーザが 任意の場所に移動すると情報が表示できなくなる。また、マーカを貼れない環境では、 利用できない。 一方、保守作業の現場では、大きなプラント機器の周囲を作業員は動き回って作業 を行い、また、プラント機器の様子もカバーが外されるなど時々刻々と変化するため、 マーカを貼ることは難しい。そのため、上述の支援システムをそのまま応用すること はできず、ユーザが任意に移動を行う環境でマーカを利用せずに、付加情報を所定の 位置に表示できる技術が必要である。

2.3

研究の目的

本研究では、保守作業時におけるコミュニケーションを拡張現実感を用いて支援す る保守作業支援システムを実現することを目指し、システムに必要となる連携型保守 作業支援技術の基盤技術開発を行う。保守作業の現場では、さまざまな場面のコミュニ ケーションが考えられるが、本研究では、特に、現場監督と作業員とのコミュニケー ションに着目し、現場監督と作業員が離れた場所にいても、現場監督からの指示を作 業員が確実かつ即座に理解できるコミュニケーションを行うための支援システムを開 発する。 開発するシステムは、現場監督が作業員に出した作業の指示を、絵や文字で表現し、 作業を行う対象上に重畳表示して伝える。これにより、作業を行う場所や対象を間違 えるヒューマンエラーを未然に防ぐことができ、また、コミュニケーションの失敗に よって作業内容を勘違いするヒューマンエラーを減らすことが可能となる。 本研究では、この支援システムを開発するにあたり、保守作業の現場に適した作業 員の位置計測の手法として、作業員の視界を撮影した画像（視界画像）を用いて計測 する手法を提案する。このとき、現場にはマーカを貼ることができないため、マーカ の代わりとして画像中の物体の角などの特徴的な部分を使用する。また、保守作業の 現場では、作業員の視界画像中のマーカの位置は、作業員の移動の要因のほかに、プ ラント機器の移動など作業員の周囲環境の変化によって変化する。そのため、センサ を用いて作業員の移動を監視し、視界画像中のマーカが変化した要因を求め、位置計 測の精度を向上させる。 その後、提案した手法を用いて、支援システムのプロトタイプを作成し、システム の評価を行う。

第

3

章 拡張現実感技術を用いた保守作業支援シ

ステムの設計

本章では、まず、次世代原子力プラントの保守作業について述べる。次いで、本研 究で開発する試作システムについて、設計の概要と使用するハードウェア、システム に必要な 4 つの機能の設計について述べる。

3.1

次世代原子力プラントにおける保守作業

次世代原子力プラントにおける保守作業の現場では、ポンプやモータなどのプラン ト機器 1 基に対して 1 名の現場監督と数名の作業員が作業を行うと想定する。 現場監督と作業員の役割を図 3.1 に示す。現場監督は、作業員の作業の割り振りを行 い、作業員に作業の指示を出しながら、点検の進捗状況とスケジュールを管理する。ま た、作業中の作業員に対して、適切に作業を行っているかを監視する。一方、作業員 は、現場監督からの指示に従って作業を行い、作業の結果を現場監督に報告する。 䊶⋙〈䈱ᜰ␜ㅢ䉍䈱૞ᬺ䉕ⴕ䈉 䊶૞ᬺຬ䈱૞ᬺ䈱ഀ䉍ᝄ䉍 䊶ὐᬌ䈱ㅴ᝞⁁ᴫ䊶䉴䉬䉳䊠䊷䊦▤ℂ ⃻႐⋙〈 ૞ᬺຬ 䊶૞ᬺᜰ␜ 䊶૞ᬺ䈱⋙ⷞ 䊶ὐᬌ䈱⚿ᨐႎ๔ 図 3.1: 現場作業員と作業員の役割

このような保守体制では、現場監督と作業員とのコミュニケーションが重要となる が、次のような問題点がある。 • 現場監督による監視が難しい 作業を行うためにさまざまな場所に移動する複数の作業員に対して、1 名の現場 監督が監視をしなければならない。 • 作業指示を与えることが難しい 現場監督と作業員とのコミュニケーション手法として音声を用いる方法が考えら れる。しかし、音声で作業指示を伝えるとき、作業の対象の場所などの説明に時 間がかかってしまう上、聞き間違いなどが発生する可能性がある。 これらの問題を解決しなければ、コミュニケーションが原因となって、保守作業自 体が従来よりも時間が必要になる。また、作業員に作業指示が伝わらず、指示した作 業内容以外の作業を行ってしまうヒューマンエラーや、指示した作業対象とは異なる 部分に対して作業を行うヒューマンエラーが増加する。また、すべての作業員を同時 に監視することが難しく、現場監督が作業員の犯したヒューマンエラーを発見できな い可能性がある。

3.2

保守作業支援システムの設計

本研究では、3.1 節で述べたような次世代原子力プラントを導入するときに生じるコ ミュニケーションの問題を、拡張現実感を用いて支援することで解決させる保守作業 支援システムを設計する。 本節では、開発する保守作業支援システムの概要について述べ、次いでシステムの 意義と実現するために必要となる機能について述べる。

3.2.1

設計の概要

現場での現場監督と作業員とのコミュニケーションを支援するシステムとして、図 3.2に示すようなシステムを考える。 このシステムでは、各作業員の安全ヘルメットに小型 CCD カメラを取り付ける。こ のカメラは、作業員の視界を撮影しており、この視界の画像（視界画像）を現場監督 が携帯しているタブレット PC の画面に表示する。これにより、現場監督は動き回る作

ή✢

LAN

䉶䊮䉰▫

䋨䉳䊞䉟䊨䉶䊮䉰

+ടㅦᐲ䉶䊮䉰䋩

CCD䉦䊜䊤

䉲䊷䉴䊦䊷

HMD

䉟䊮䉦䊛 ૞ᬺຬ

䊒䊤䊮䊃ᯏེ

⋙〈⠪ 䉺䊑䊧䉾䊃

_PC

䊕䊮䈪౉ജ

૞ᬺຬ䈱ⷞ⇇

䉺䊑䊧䉾䊃

PC䈱↹㕙

図 3.2: 保守作業支援システム

業員を監視できる。さらに、タブレット PC の画面は複数の作業員の視界画像を表示 することで、現場監督は複数の作業員を同時に監視できる。 また、現場監督は、作業員への作業指示の内容や対象機器についての情報を、電子 ペンなどを用いて視界画像上に文字や絵で書き込む。この書き込まれた内容は、作業 員の視界には、作業対象などの上に重畳されるように HMD を利用して表示する。こ れにより、現場監督から作業員へ、作業対象機器の位置や、注意すべき箇所、作業方 法などを伝えることができる。 また、本システムを保守作業の手順をデータベース化した作業手順データベースと 連携させることで、現場監督による作業指示をシステムが行うことが可能となる。こ れにより、現場監督の負担が低減される。また、現場監督が複数の作業員に作業指示 を出す場合、現場監督が 1 名ずつ順番に入力していかなければならない。それに対し て、システムが作業指示を出すようにすると、入力作業を行う必要がないため、複数 の作業員に同時に作業指示を出すことができ、作業員が作業指示を受けるまでの時間 の短縮が可能となる。

3.2.2

システムの意義

本システムを利用することによって、以下のような利点が得られる。 • 作業指示を文字や絵で表現するため、作業員は作業指示の内容を理解しやすくなる • 作業指示の対象に重畳して作業指示を表示するため、作業員は直観的に対象を理 解できる • 視界画像が現場監督に送信するため、離れた場所にいる作業員を監視できる • 複数の作業員の視界画像が現場監督に表示するため、複数の作業員を同時に監視 できる これらの利点によって、作業員の作業内容の理解不足や対象の勘違いなどのヒュー マンエラーを未然に防ぐことができる。また、現場監督が作業員の作業が適切に行わ れているかを容易に把握できるため、作業員がヒューマンエラーを犯しても早期発見 が可能となり、ヒューマンエラーによる事故を未然に防ぐことができる。

3.2.3

必要な機能

本システムでは、拡張現実感を用いて作業員に指示を与えるため、作業員の位置や 現場監督からの作業指示を表示する位置を求める必要がある。また、作業員の監視や 作業指示を行うために、現場監督と作業員との間で通信と、作業手順データベースの 連携を行う必要がある。そのため、本システムを実現するためには、次の 5 つの機能 が必要となる。 1. 作業員の位置推定機能

䉁䉒䈜

䉁䉒䈜

_૞ᬺຬ

⒖േ

䉁䉒䈜

䉁䉒䈜

ⷞ⇇↹௝

䊒䊤䊮䊃

ᯏེ

૞ᬺຬ䈱⒖േ䈮ᔕ䈛䈩

ᖱႎ䉕⴫␜䈜䉎૏⟎䉕ᄌൻ

図 3.3: 作業員の位置推定機能  本システムでは、図 3.3 に示すように、作業員が任意の場所から任意の方向を 見ていても、現場監督からの作業指示を見ることができるようにしなければなら ない。そのためには、作業員の位置をリアルタイムで求め、作業員の移動などに 応じて、作業指示を表示する位置を変化させる必要がある。そこで、作業員の位 置推定機能を用いて、作業員の位置、特に作業員の頭の位置をリアルタイムに求 める。 2. 通信機能

૞ᬺຬ

⃻႐⋙〈

ⷞ⇇↹௝ ᖱႎ↹㕙 ⷞ⇇↹௝ 㔚ሶ䊕䊮 ᖱႎ↹㕙 ૞ᬺᜰ␜䈱 ᦠ䈐ㄟ䉂 図 3.4: 通信機能  現場監督と作業員との間には、従来の音声以外に、作業員の視界画像や現場監 督から作業員への作業指示を表した文字や絵の画像（情報画像）の 2 種類の画像 を通信する必要がある。そのため、膨大な量の通信を行う必要があり、通信機能 を用いて、図 3.4 に示すように、画像データを円滑に送受信できるようにする。  また、現場監督による作業員の視界画像の監視や作業指示を書き込みを容易に 行えるインタフェースが必要である。そこで、通信機能を用いて、現場監督が容 易に使用できるインタフェースを実現する。 3. 指示対象位置の位置推定機能  現場監督から作業員への作業指示は、指示の対象である位置（指示対象位置）を 正確に指定できるよう、3 次元位置を入力する必要がある。しかし、3 次元位置を 入力できるデバイスは大きく、操作が複雑であるため、現場監督が保守作業の現 場で使用することは難しい。そのため、本システムでは、2 の通信機能で述べた ように、視界画像を用いて作業指示を行う。しかし、視界画像は 2 次元の情報し かもっていないため、作業員が別の角度から作業指示を見ると、指示対象位置か らズレてしまう。  そこで、視界画像は 3 次元空間を正射影した画像であり、作業員と視界画像、プ ラント機器の位置関係は図 3.5 に示すようになることから、指示対象位置の位置 推定機能を用いて、この位置関係から指示対象位置の 3 次元位置を求め、図 3.6 に 示すように作業員がどの角度から見ても、指示対象位置が正確に表示できるよう

x y 図 3.5: 作業員、視界画像、指示対象位置の位置関係 にする。 4. 情報表示機能  この機能は、1 と 3 の機能によって求めた、作業員の位置と指示対象位置から、 HMDの画面上に情報を表示する位置を求め、図 3.7 に示すように作業員に表示 する。 5. データベース連携機能  事前に作成した作業手順データベースをもとに、システムが作業員への作業指 示を行うとき、作業員が指示された作業が完了したかの進捗状況を判断し、次の指 示する作業手順をデータベースから検索して、作業員に表示する必要がある。そ こで、データベース連携機能を用いて、システムが作業指示を行えるようにする。 本研究では、この 5 つの機能の中で、1 の作業員の位置推定機能を中心に研究・開発 を行い、1 から 4 の機能をもつ保守作業支援システムを構築する。

3.3

保守作業支援システムのハードウェア

本節では、システムを利用する際、現場監督と作業員が使用するハードウェアにつ いてそれぞれ述べる。

ⷞ⇇↹௝ 䊒䊤䊮䊃ᯏེ ⷞ⇇↹௝

ᖱႎ䈱⴫␜

䋨=૞ᬺ䈱ᜰ␜䋩

೎䈱ⷺᐲ䈎䉌⷗䈩䉅 ᖱႎ䈏⴫␜น⢻ 図 3.6: 指示対象位置の位置推定機能 図 3.7: 情報表示機能

3.3.1

作業員のハードウェア

本システムを利用する上で、作業員が装着するハードウェアは作業の支障にならな いようにする必要がある。そのため、小型、軽量、どこでも使用可能である必要があ る。また、装着しても安全であり、装着しても両手が自由に使えるようにしなければ ならない。 一般的に拡張現実感で情報を表示する際、表示に使用するインタフェースとして、 HMDのほかに小型テレビ（Handheld Display）やプロジェクタが使われる[5]。小型テ レビは、カメラで取り込んだ画像に情報を重畳させてテレビ画面に表示するが、ユー ザが小型テレビを携帯しなければならないため、保守作業の現場で作業員が使用する と、少なくとも片手を自由に使うことができない。また、プロジェクタは現実空間に 情報を投影して重畳させるが、ユーザのいる場所にプロジェクタを設置する必要があ り、さまざまな場所で作業を行う作業員が使用するためには、多数のプロジェクタを 設置しなければならず、コストが高くなる。そこで、本研究では HMD を使用すること にする。 HMDにはビデオ型 HMD と光学シースルー型 HMD の 2 種類がある。ビデオ型 HMD は、不透明な画面に映像を表示する方式で、HMD を装着したユーザは現実空間を直接 見ることができない。そのため、ユーザが現実空間を見るときは、例えば、ユーザの 視界画像を HMD の画面に表示して間接的に見るようにする。一方、光学シースルー 型 HMD は、透明な画面に映像を表示する方式で、装着したユーザは HMD の画面を通 じて現実世界を見ることが可能である。保守作業の現場では、安全面から現実空間を 実際に見ることが望ましい。そのため、本システムでは、光学シースルー型 HMD を 使用することにする。 また、作業員の視界をリアルタイムで撮影するために、小型ビデオカメラを使用す る。このビデオカメラは、作業員の視界と近い映像が撮影できるよう、安全ヘルメット の前方に固定する。 光学シースルー型 HMD と小型ビデオカメラは、作業員が携帯しているウェアラブ ルコンピュータに接続する。このウェアラブルコンピュータは、作業員の位置推定な どの処理を行う処理端末である。また、作業員と現場監督との通信端末の役割なども 果たす。ウェアラブルコンピュータは、作業員が携帯しても、作業に支障がないよう にリュックサックなどに入れ背中に背負うようにする。 以上から、作業員のインタフェースを図 3.8 に示す。

図 3.8: 作業員のインタフェース

3.3.2

現場監督のハードウェア

現場監督のインタフェースは、作業員の監視や作業指示の際に使用する情報端末であ る。この情報端末には、作業員から送られる視界画像を表示し監視できるように十分大 きな表示画面と、作業員への指示の書き込みが容易にできるような入力インタフェー スが必要である。

情報端末としては、携帯用情報端末（Personal Data Assistant:PDA）やノートパソ コンが考えられる。しかし、PDA は、表示画面が小さいため、複数の作業員の視界画 像を表示できず、同時に監視することは難しい。また、ノートパソコンは、入力方法 がキーボードやマウス、タッチパッドであり、現場監督が携帯した状態で入力作業を 行うことが難しい。そこで、タブレット PC を使用する。タブレット PC は、ノートパ ソコン程の大きな表示画面を持っており、入力方法としては電子ペンで直接表示画面 に書き込むことができるため、携帯した状態でも入力できる。そのため、監視に必要 な大きな表示画面と、容易な入力インタフェースという要求仕様を満たしており、現 場で使用するのに最適である。 以上から、監督者のインタフェースは、図 3.9 に示すようにタブレット PC を利用す ることにする。

図 3.9: 現場監督のインタフェース

3.4

作業員の位置推定機能

本節では、作業員の位置推定機能ついて説明する。まず、作業員の位置推定機能を 実現するときの保守作業の現場での制約条件について述べる。次いで、既存の位置推 定方法について述べ、最後に本研究で提案する位置推定機能について述べる。

3.4.1

保守作業の現場における作業員の位置推定

現場監督からの作業指示を表した絵や文字の付加情報を HMD を用いて重畳表示す るとき、重畳表示する対象の位置と、その情報を見る作業員の位置の相対的な関係が 必要になる。そのため、作業員の位置、特に頭の位置をリアルタイムで求める必要が ある。作業員の位置が正しく求められない場合、情報の表示する位置が狂ってしまう。 そのため、作業員の位置は、ズレが数 cm 以内になる精度で推定する必要がある。 また、保守作業の現場において、作業員の周囲環境は、例えば、別の作業員が動き 回り、プラント機器が移動するなど大きく変化する。また、作業員の位置推定のため に、現場全体にマーカを貼るなど、大幅に周囲環境を変えることは、安全面とコスト 面から考えて望ましくない。そのため、周囲環境に依存した位置推定の方法は使用で きない。

3.4.2

既存の位置推定の方法

既存の位置推定の手法としては、画像データベースを用いる方法やセンサを用いる 方法、画像処理で行う方法が研究されている。 画像データベースを用いる方法[6]では、あらかじめにユーザの移動範囲内の景色を

カメラで撮影しておき、撮影した画像と撮影した位置のデータベースを作成する。そ して、ユーザに取り付けられたカメラから撮影した画像を基準に、データベースの画 像の中で最も類似している画像を検索し、その画像を撮影した位置を、ユーザの位置 であると推定する方法である。この方法では、画像と位置のデータベースを作成する 必要があるが、プラント内は広大であり、また、周囲環境が変化するため、画像のデー タベース作成は不可能である。そのため、この方法を保守作業の現場で使用すること はできない。 センサを用いる方法は、加速度センサやジャイロセンサ、磁気センサなどを用いて ユーザの位置を測定する方法である。しかし、センサ類は一般的にドリフト誤差が発 生し、その誤差が蓄積する。そのため、長時間使用すると、ズレが大きくなり、正確 にユーザの位置を測定できなくなる。本研究でも加速度センサとジャイロセンサの精 度に関する実験を行い、付録 A-1 と付録 A-2 のような実験結果が得られた。この実験 から、「作業員が右に移動した」や「頭を上に倒した」などの移動方向は測定が可能で あるが、移動した変位を正確に得ることは難しいことがわかった。 また、センサ類と画像処理を併用し、センサでユーザの移動を計測し、その際に生 じるドリフト誤差を画像処理によって検出し補正する方法[8]が研究されている。この 方法は、精度もよく長時間の使用しても生じるズレは微小であった。しかし、この方法 では、ユーザの立っている場所が固定され、頭のみを動かす場面を想定しており、ユー ザの移動に対応していない。保守作業の現場では作業員は動き回るため、この方法を 適用することができない。 一方、画像処理を用いて行う方法として、マーカを利用する方法がある。これは、壁 や天井などに形と大きさが既知のマーカ（人工マーカ）を張り、この人工マーカをユー ザの頭に取り付けたカメラで撮影し、得られた画像を画像処理して位置を求める方法 である。この方法では、センサ類を用いる方法より高い精度が得られ、また長時間の 使用が可能である。しかし、この方法では、ユーザの周囲環境に人工マーカを多数貼 り付けるため、プラント内の環境を大幅に変更しなければならない。また、この人工 マーカを利用する方法を応用し、画像中にある特徴的な部分をマーカの代わりに利用 する方法[7]がある。この方法は、最初に人工マーカでキャリブレーションを行う。そ の際、カメラから得られた画像から、特定の色の領域や物のエッジなどの特徴的な部 分を抽出し、3 次元位置を求めてマーカ（自然マーカ）として利用する。その後、この 3次元位置が既知となった自然マーカを用いてユーザの 3 次元位置を求める。これを繰 り返して利用することで、広範囲に渡ってユーザの位置計測が可能である。しかし、こ

の方法は、周囲の環境が変化しない場面を想定しており、カメラ画像中の自然マーカ の移動は、ユーザの移動によってのみに限られている。そのため、機器が移動するな ど周囲環境の変化によっても自然マーカの移動のある保守作業の現場に適用すること はできない。

3.4.3

本研究で用いる位置推定の方法

本研究では、保守作業の現場での作業員の位置推定を、人工マーカと自然マーカを 捉えた視界画像を画像処理して行う。このとき、保守作業の現場では、プラント機器 の移動や他の作業員の移動によって、作業員の周囲の環境が変化するため、視界画像 中のマーカの 2 次元座標は、作業員自身の移動以外の要因でも変化する。そこで、本研 究では、作業員の頭部に装着したセンサを用いて作業員の移動した方向を監視し、作 業員自身の移動が要因で 2 次元座標が変化したマーカのみを抽出して利用することに より、位置推定の精度を向上させる。 本研究で使用するマーカは、表 3.1 に示すように 3 種類に分類でき、このうち、3 次 元位置が既知である人工マーカや既知の自然マーカを視界画像に捉え、視界画像中の マーカの 2 次元座標と、マーカの 3 次元位置の関係から作業員の位置を推定する。人 工マーカは、あらかじめ形状や大きさが既知であり、事前に決めた保守作業の現場内 の場所に貼り付ける。自然マーカは、保守作業の現場内を捉えた視界画像を画像処理 して抽出した特徴的な部分を使用する。そのため、事前にマーカの形状や大きさや 3 次元位置は未知である。表 3.1 の中で「未知の自然マーカ」は、3 次元位置が求まって いないマーカで、作業員の位置推定で使用するためには、事前に 3 次元位置を求める 必要がある。一方、「既知の自然マーカ」は、既にマーカの 3 次元位置が求まったマー カで、このマーカを利用して作業員の位置推定を行うことが可能である。それぞれの マーカの詳細については後述する。 作業中の作業員の位置を常に推定するには、次の 4 つの要素技術が必要である。 （1）人工マーカを用いた作業員の位置推定 （2）自然マーカの抽出 （3）既知の自然マーカを用いた作業員の位置推定 （4）未知の自然マーカの位置推定

表 3.1: マーカの分類 マーカの種類 形状や大きさ 3次元位置 特徴 人工マーカ ○ ○ 規定の場所に貼る 位置推定に使用可能 自然マーカ 未知の自然マーカ × × 位置推定に使用不可 既知の自然マーカ × ○ 位置推定に使用可能 ○……既知の状態、×……未知の状態、位置推定=作業員の位置推定 以下では、まず、作業員の位置推定に必要な 4 つの要素技術について説明し、次いで、 要素技術を用いた位置推定方法について述べる。 （1）人工マーカを用いた作業員の位置推定 人工マーカを用いた位置推定は、加藤らによって提供されている AR tool kit[9]を用 いて行う。AR tool kit は、人工マーカを利用してユーザの 3 次元位置を取得するライ ブラリである。人工マーカは、図 3.10 に示すような 2 次元バーコードのような模様を 含んでおり、周りには黒色の四角形で囲まれた構造をしている。AR tool kit では、カ メラで撮影した人工マーカの画像を処理して、カメラの 3 次元位置、カメラの向きを 表す 3 次元ベクトルを計算し、図 3.11 に示すように人工マーカ上に 3 次元形状の物体 などの情報を付加できる。本システムでは、プラント機器に人工マーカを数個貼る。 図 3.10: AR tool kit で使用するマーカの例 （2）自然マーカの抽出 視界画像から特徴的な部分を抽出し、自然マーカとして使用する。特徴的な部分の 抽出方法として、特定の色の領域を抽出する方法が考えれる。しかし、この方法では、

図 3.11: AR tool kit によるデモンストレーション 図 3.12 と図 3.13 に示すように、照明環境の変化によって抽出する領域の大きさが異な るなど、照明環境の影響を受けてしまう。そのため、保守作業の現場では、プラント機 器の移動により生じた影などに照明環境が変化するため、マーカが抽出できなくなる。 （a）カメラで撮影した画像 （b）黒色を抽出した画像 図 3.12: 照明環境の違いによる色抽出例（明るい環境） そこで、本研究では、視界画像を Harris オペレータ[10]で走査して、自然マーカと なる部分を抽出する。Harris オペレータは、画像中の画素の値（画素値）を水平方向、 垂直方向に微分した値を用いて演算を行い、この演算結果を閾値で分離する。これに より、図 3.14 に示すように画像中の物体の角を抽出できる。Harris オペレータは、画 素値の微分した値を用いるため、照明の変化に影響を受けにくくなり、安定して角を 抽出できる。 本システムでは、Harris オペレータで求めた領域を自然マーカとする。また、視界 画像中における自然マーカの 2 次元座標は、抽出した領域の重心座標とする。

（c）カメラで撮影した画像 （d）黒色を抽出した画像 図 3.13: 照明環境の違いによる色抽出例（暗い環境）

（青の丸が角として抽出された部分） 図 3.14: Harris オペレータ

（3）既知の自然マーカを用いた作業員の位置推定 3次元位置が既知の自然マーカを用いて、作業員の位置を計算によって推定する。こ のとき、作業員の頭部に装着した加速度センサとジャイロセンサからのデータを用い て、自然マーカ中から作業員の移動を反映しているマーカを選別し、位置推定の精度 を向上させる。 一般的に 3 次元位置が既知の 3 つのマーカをカメラで撮影することで、撮影したカ メラの 3 次元位置を求めることができる。しかし、この方法では、非線形方程式を解 く必要があり、解を推定して 3 次元位置を求めなければならない。そのため、非線形 方程式の解法に処理時間がかかり、また、解を間違える可能性もある。そこで、4 つ以 上のマーカを用いて 3 次元位置を求める方法がよく使われている。これにより、非線 形方程式を線型方程式にすることができ、また解が一意に決定できる。 本システムでも、3 次元位置が既知の 4 つのマーカを用いて作業員の位置を求める。 処理の流れを図 3.15 に示す。 図 3.15: 作業員の 3 次元位置の取得の処理の流れ まず、時刻 t に撮影した視界画像 Imgt中の自然マーカの集合を Mtとし、時刻 t − 1 に撮影した視界画像 Img_t−1中の自然マーカの集合を M_t−1とする。M_t−1の中には、時 刻 t − 1 までに 3 次元位置が既知になった既知の自然マーカの集合 Mkt−1と、3 次元位 置が未知である未知の自然マーカの集合 Mu_t−1が含まれている。このうち、Mk_t−1と M_t を照合し、図 3.16 に示すように、Img_t−1と Img_tの 2 つの画像間におけるマーカの一対 一関係を求める。そのとき、2 つのマーカがどの程度類似しているかを表す類似度も求

める。類似度の求め方は、後述する。

Img

_t-1

Img

_t 図 3.16: マーカの一対一関係 次に、作業員の移動を最も反映しているマーカを 4 つ選別する。選別する方法は、加 速度センサとジャイロセンサから得られた作業員の移動方向から視界画像が移動する 方向を求め、その方向と時刻 t − 1 から t に視界画像中を移動した自然マーカの移動方 向が一致しているか調べる。その後、一致しているマーカのうち、類似度の高いマー カを 4 つを選別する。 そして、4 つのマーカを用いて作業員の位置を計算する。作業員の位置の計算は AR tool kitで行えるため、これを利用する。AR tool kit に 4 つのマーカの 3 次元位置と視 界画像中の 2 次元座標とを代入すると、作業員の 3 次元位置と、カメラの向きの 3 次元 ベクトルを得ることができる。 以上により、作業員に関する必要な 3 次元情報を取得する。 （4）未知の自然マーカの位置推定 未知の自然マーカの 3 次元位置を計算によって推定する。このとき、（3）の既知の 自然マーカを用いた作業員の位置推定と同様に、センサを用いて未知の自然マーカを 評価し、作業員の移動方向と視界画像中のマーカの移動方向が一致している未知の自 然マーカの 3 次元位置を推定する。 一般的に、1 枚の画像を画像処理して得られる位置の情報は 2 次元である。そのた め、自然マーカの 3 次元位置を求めるためには、2 枚以上の画像を用いて行う必要があ る。2 枚の画像から 3 次元位置を求める方法として、両眼ステレオカメラ法[11]がある。

両眼ステレオカメラ法は、ユーザに 2 台以上のカメラを取り付け、これらのカメラ で 3 次元位置を求めたい対象物を撮影する。そして、撮影した 2 枚の画像をもとに、対 象物の 3 次元位置を計算する方法である。この方法を本研究で使用するためには、作 業員の安全ヘルメットに 2 台のカメラを取り付ける必要があり、安全ヘルメットが重 くなるため、作業員の負担が大きくなってしまう。 そこで、本研究では、1 台のカメラを用いて撮影した、2 枚の視界画像を画像処理し て自然マーカの 3 次元位置を取得する。 図 3.17: 自然マーカの 3 次元位置の取得方法 自然マーカの 3 次元位置の取得方法を図 3.17 に示す。時刻 t − 1 に撮影した視界画 像 Img_t−1から得られた自然マーカの集合 M_t−1のうち 3 次元位置が未知のマーカの集 合 Mu_t−1と、時刻 t に撮影した視界画像 Imgtから得られた自然マーカの集合 Mtを、照 合してマーカの一対一関係を求める。そして、視界画像 Img_t−1内の Mu_t−1の 2 次元座 標と、視界画像 Img_t内の M_tの 2 次元位座標置から自然マーカの 3 次元位置を計算す る。その計算方法は、ステレオカメラ法を応用し、以下の方法[12]を用いる。 時刻 t のとき、空間中において、人工マーカか既知の自然マーカを用いて求めた作業 員の 3 次元位置が O であり、図 3.18 に示すように、視線の向きが 3 次元ベクトル k 、 視界画像 Img_tの x 方向が 3 次元ベクトル i 、y 方向が 3 次元ベクトル j であるとする。 このとき、ある自然マーカ M が視界画像 Img_tに撮影され、視界画像中の 2 次元座標の 点
Pt= (xt, yt)にあるとする。このとき、
Ptは空間中の 3 次元座標 P には、カメラの 焦点距離 f を用いて、

i_t-1 jt-1 kt-1 Ot-1 it j_t kt O_t M_p 3 P_t 3 P_t-1 t t-1 x y x y xt y_t xt-1 y_t-1 3 3 f 図 3.18: 自然マーカの 3 次元位置の計算方法

P = O + xt· i + yt· j + f · k (3.1) となる。時刻 t − 1 のときも、自然マーカ M が視界画像 Imgt−1中にあるとすると、 P 1 = O 1+ xt−1· i 1+ yt−1· j 1+ f · k 1 (3.2) となる。ここで、3 次元ベクトル v と v 1を次のように定義する。 v = P − O = xt· i + yt· j + f · k (3.3) =       vtx vty vtz       (3.4) v 1 = P 1− O 1 = xt· i 1+ yt· j 1+ f · k 1 (3.5) =       vt−1x vt−1y vt−1z       (3.6) また、時刻 t − 1 から t の作業員の移動を表すベクトル d を、次のように定義する。 d = O − O 1 (3.7) =       dtx dty dtz       (3.8) 以上のパラメータから、自然マーカ M の 3 次元位置 M
は、次のように表せる。 vt−1xvty − vtxvt−1y
= 0 のとき M
= O + dtxvty− vtxdty vt−1xvty− vtxvt−1y · v (3.9) = O 1+ dtxvt−1y− vt−1xdty vt−1xvty− vtxvt−1y · v 1 (3.10) vt−1xvty − vtxvt−1y = 0かつ vt−1yvtz − vtyvt−1x
= 0 のとき M
= O + dtyvtx− vtydtz vt−1yvtz − vtyvt−1x · v (3.11) = O 1+ dtyvt−1z− vt−1ydtz vt−1yvtz − vtyvt−1x · v 1 (3.12)

vt−1xvty − vtxvt−1y = 0かつ vt−1yvtz − vtyvt−1x= 0 のとき M
=∞ (3.13) （自然マーカ M が無限遠方に存在することを意味する） 以上の計算を用いて、時刻 t における、自然マーカの 3 次元位置を求める。 作業員の位置推定方法 以上の 4 つの要素技術を用いて、視界画像中に捉えた人工マーカと自然マーカから 作業員の 3 次元位置を推定する。 視界画像中に捉えるマーカの種類によって、表 3.2 に示すような 8 つの状態があり、 作業員の位置を常に推定するためには、これらの状態において作業員の位置推定が可 能である必要がある。各状態での作業員の位置推定の処理を表 3.3 に示す。 表 3.2: 視界画像のマーカの状態 状態 人工マーカ 自然マーカ 未知の自然マーカ 既知の自然マーカ 状態 A ○ × × 状態 B ○ ○ × 状態 C ○ × ○ 状態 D ○ ○ ○ 状態 E × × ○ 状態 F × ○ ○ 状態 G × ○ × 状態 H × × × ○…存在する、×…存在しない 状態 A は、人工マーカのみを視界画像に捉えた状態で、システムを使用する際の初 期状態である。この状態での位置推定の方法は、（1）の人工マーカを用いた作業員の 位置推定の方法で行う。また、（2）の自然マーカの抽出を行い、得られたマーカを未 知の自然マーカとする。

表 3.3: 各状態における作業員の位置推定方法

状態 A 状態 B 状態 C 状態 D