イメージセンシングを用いた機器制御の検討
齊藤 公博
＊Study of equipment control method using image sensing technology
Kimihiro Saito
*The interface transfer method based on the gesture recognition is described. The method means the concept of the connection between an existing control device and a gesture recognition hardware. The combination of an existing well-designed interface and a hands-free system allows us to suffer convenient and simple life. As examples of existing devices, I introduce the model helicopter, the computer mouse, the Unity-based game content, and the Pepper robot. I also investigated the gesture recognition algorithms based on the optical flow analysis and the deep learning based library OpenPose. The advantages and disadvantages of the methods are discussed.
Keyword Image sensing, Equipment control, Gesture recognition, Interface transfer method
１．本研究の背景と目的
産業のIT 化や AI の進化によって、人と機械のインター フェイスはますます重要になってきている。 例えば工場 生産における工程への汎用ロボットの導入も進んでゆく と考えられるが、多様な工程を実現させる（学習させる） 方法として、ロボットを外部から手を添えて動かす方法な ども知られている(ダイレクトティーチング)。 また、自 動運転車では幾つかのレベルがあるが、目的地を示して以 後は搭乗者は何もしないレベル5 においても、搭乗者の意 思の変化への対応などにはインターフェイスが必要と思 われる。 現在のノート PC、スマートフォンやタブレットは一昔 前のワークステーションと同等以上の性能を有している が、もちろん電気機器のみならず、自動車や工作機械、建 設機械といった機械装置も急速に発達してきている。 こ れらは、いわゆる機械工学技術の発達のほかにも、マイコ ンなどのコンピューターによる制御、材料開発、生産技術 の貢献も大きい。 このような多くの高度な機能を持つ装置は、多様な使用 条件や要求に応えられる利点を有することと裏腹に、その 機能を選択実行するための入力装置の複雑化を生むこと となった。 これら装置のユーザーインターフェイスは人間との コミュニケーションを行う部分であり、人の五感を用いる ことになる。 デバイス技術の発達によって、映像、音、 動き、更には人間には出来ない物理量の測定が可能なセン サー、センシング技術も進化してきた。 中でも特に人間の目に当たる撮像から画像処理、表示の 技術の発達は大きく、今では普及率が100%を超える携帯 電話には必ずカメラが搭載されており、小型化と低価格化 も著しい。 更に、店舗やマンション、各種施設には防犯 用のカメラが設置され、自動車も周囲の情報を座りながら にして得られるように複数のカメラが搭載されている状 況である。 このような背景を基に、本研究では特に撮像デバイスを 用いて様々な装置を制御するための技術を検討し提案す ることを目指している。[1-4] 既に普及、稼動している装置はそれぞれがユーザーイン ターフェイスを持ち制御が行われている。 以前であれば、 撮像デバイスはその価格と大きさや処理の複雑さから、イ ンターフェイス用のデバイスとしては認識されていなか った。 しかしながら昨今の状況すなわち、低価格化や小 型化、手軽さ、画像処理ソフトウエアライブラリ等の普及 によって可能性が広がっている。 ジェスチャー認識を用いたインターフェイスに関して、 exvision 社[5]が開発した EGS-Motion というシステムがあ り、カメラ入力によるジェスチャーで、TV 画面や家電を 手の動きで制御することが可能になっている。 また、 Microsoft 社の kinect はジェスチャーを基本としたインタ ―――――――――――――――――――――――― 近畿大学工業高等専門学校 総合システム工学科 電気電子コースーフェイス機器としてよく知られている。 その他にも、
近年は、LeapMotion [6]や、Intel 社の Realsense [7]といった
装置が販売されている。 kinect では赤外線レーザーの照
射パターンやTOF(Time of flight) を用いた depth 情報を含
む画像取得を行っており、LeapMotion や Realsense、その 他にもORBBEC [8]では、2 台のステレオカメラと赤外照 明を用いた同様な画像を用いている。 これらは機器を PC やゲーム機器に接続するドライバとソフトウエアで制 御するためのライブラリをSDK として提供している。 人 物の動きを抽出するために特殊な光源を持ったこれらの デバイスのほかにも、近年では、３D 画像や depth 画像を 取得するためのカメラも各社で開発・販売されている。 産業用のステレオカメラをはじめとして、個人ユーザー向 けのステレオカメラも以前から販売されてきており、最近 ではスマートフォンをヘッドマウントする形で３D 映像 を見ることもできる。 また、これらのカメラを利用して人物等を3D 画像とし て取得し、仮想空間内で操るような事も行われるようにな ってきた。 Realsense や LeapMotion をはじめとして Structure sense [9]等のデバイスも知られている。 3D 画像 を取得・構成するためのSDK やソフトウエアも提供され ている。
２．実験方法
本研究では、イメージセンシング自体はできるだけ簡素 な撮像デバイス(Web カメラなど）を想定し、できるだけ 多くの人々が使用でき、また、社会に広く普及しているデ バイスをそのまま用いることができるような方法を一つ の目標としている。[10] もう一つは制御対象であり、できるだけ多くの既に広く 普及している装置をできるだけ変更することなく制御で きるような方法である。[10] 単眼カメラを用いたモーショントラッキングの方法も いくつか公開・販売されてきており、例えばexvision 社の システム等がある、また、OpenPose [11]といった Project (画 像処理ライブラリ)が公開されていたり、VisionPose （Next system社) [12] という Webカメラだけで実現するリアルタ イムな骨格検出システムといったシステムも販売されて いる。 本研究ではこのような既に実用化されつつある技術を できる限りフォローしつつ、独自のアルゴリズムの提案と 実証を行ってゆく方針で進めるが、もう一つの特徴を持っ ている。 ジェスチャー認識を用いて制御する対象として、前年度 は次の４つを検討した。 (A) 赤外線リモコンを用いた機器を決め、赤外線信号を 生成するハードウエアを作製してシステムを構築する。 (B) ゲーム機：コントローラのボタン部分を外部制御で きるように改造する。 (C) 多軸ロボットアームの制御 (D) 無線コントロール機能を持った、模型自動車（ラジ コンカー）の制御 本年度は次のような制御対象を検討している。 (E) 無線コントロール機能を持った、模型ヘリコプター の制御 (F) PC に接続するマウスの外部制御 (G) PC をベースに Unity [13] を用いて作成した対戦型 ゲーム (H) ソフトバンクロボティクスの感情をもったパーソナ ルロボット 3HSSHU の外部制御 それぞれについて概要を述べる。 ２．１ジェスチャーによる模型ヘリコプターの制御 屋内で使用でき、実際の動き制御を体験できる対象とし て、無線コントロールを用いる模型ヘリコプター(GP TOYS, G610) を選んだ。 2 重反転式のメインのプロペラに加えて胴体内にジャイ ロが搭載されており、比較的安定したホバーリングが行え る。 ３軸の制御スティックをもつ赤外線通信によって、 上昇下降、前後、左右の操作が可能になっている。 前後 および左右の制御は３値（/前/中立/後/, /左/中立/右) 、上昇 /下降についてはアナログ値となっている。 今回の方針 に従って、既存のコントローラーを改造し、ジェスチャー 認識による結果を、マイコンを通して制御用スティック (可変抵抗）の動作に反映させるようにした。 図１ コントローラーの改造 3RWHQWLRPHWHU 引出線） 各引き出し線は変換基板上では抵抗に接続され、カメラ を搭載したPC につながった Arduino Uno から抵抗値を制 御するようになっている。 前後左右の制御は各スティック方向に対応した３値の 抵抗値を設定する。 上昇/下降の制御はアナログ値であるため、スティックの位置に対応した抵抗値をコントローラ内部に設定する 必要がある。 今回はこの機能を実現するためにアナログ のフォトカプラを用いた。 LED と CdS の組み合わせで構 成されており、立上り/立下り特性の違いは速度が気にな るが、今回の用途では大きな問題はない。 アナログフォ トカプラ(LCR-0203) の特性測定結果を示す。 図２ アナログフォトカプラの特性 外部PC から送る 1 Byte の信号をマイコンと変換基板 でアナログ電圧に変換し、フォトカプラで抵抗値の変化に 変換した。 ２．２ ジェスチャーを用いたマウス ポインタ の制御 近年の産業用や家電製品の高性能化は、機器内に組み込 まれるコンピューターの小型高性能化や低価格化が一つ の理由と考えられるが、windows 等をベースとした PC と 同様なシステムを内部に持つ機器も多い。 また、PC は 汎用ゆえに多様なアプリケーションがあり、PC を外部か ら容易に制御できれば本研究の目的を達成する一つの手 段と考えた。 今回はPC のインターフェイスの中でも、 視覚的にわかりやすく比較的入力チャネルの少ないマウ スを制御対象として用いた。 マウスにはいくつかの種類があり、近年ではいわゆる光 学式マウスが普及している。 LED やレーザーを卓面に照 射して反射光の変化を画像処理で移動方向と量に変換し ている。 すでに画像処理とPC の USB インターフェイス が1 チップ IC 化されており、外部制御は困難だったため、 旧式のボール型マウスを改造して制御を行った。 ボール型マウスの内部のボールは、X,Y 軸の回転ロッド に接触しており、移動によるボールの回転は、ロッドの回 転を通して光学式エンコーダーで電気信号の変調に変換 される。 光学式エンコーダーは位相がずれた 2 ch の信 号を発生させ、その位相と周波数によってマウスポインタ の移動量が制御される。 今回は外部PC からマイコンを 通してこの 2 ch 信号を発生させることで、マウスの制御 を行った。 また、使用上必要なマウスの左ボタンの押下 についても外部PC からマイコンを通して制御できるよう にした。 図３ ボール型マウスの構成 図４ ボール型マウス内部の信号 ２．３3& ベースの 8QLW\を用いて作成した対戦型ゲーム
Unity は Unity technology 社が提供しているゲームを
中心とした3D 開発プラットフォームであり、無償での使 用が可能であるだけでなく、現在のほぼすべての主要な OS やゲーム機などのプラットフォームに対応した開発が 可能である。 前回の報告では Playstation 2 のコントローラを改造す ることでゲーム内のキャラクタの制御を行う実験を行っ た。 現状では扱えるゲームの種類なども限られるが、制 御できるコンテンツを作成できればゲームに限らず目的 に合った制御の実験が可能になる。 Unity によるコンテンツの作成は自由度があり、外部と のインターフェイスも C#言語を用いればプラットフォー ムに依存したハードウエアを介しての制御が可能になる。 今回は、PC( Mac, Windows を想定) 上のキーボードで 動作するコンテンツを作成し、その後にキーボード受付け をUDP パケット受付に変更することで、外部 PC からの制 御を行うことを可能にした。 UDP を用いているため、 送受信の手続きの負担も少なく、また、複数PC からの入 力が可能になっており、前回用いた対戦型ゲームコンテン ツのようなものも複数台のジェスチャー入力により可能 になる。 外部PC では、Python + OpenCV [14,15]を開発環境とし たジェスチャー認識処理を行い、認識した動作を文字コー ドに置き換えてUDP により Unity コンテンツへ送信する。 Unity が動作している PC では、UDP パケットで受信し た文字コードがそのままキー入力となるよう、C#によるプ ログラムをコントロールオブジェクトとしてコンテンツ に組み込んだ。
図５ Unity によるゲーム作成画面 Unity 開発環境では、使用例として人型キャラクターの オブジェクトやアニメーションなどの公開されているも のがあり、これらを用いて目的に応じたコンテンツを作成 することが可能である。 また、キャラクターや背景のオブジェクトは Blender な どの3D CG 作成ソフトを用いて、モーションも含めたリ アルな形に仕上げることも可能になっている。 本研究の 目的とするリアルな操作対象を目指し、最近着目されてい
る3D キャプチャー (Occipital, Inc., Structure sensor )等な
ども用いて実在人物をUnity コンテンツ内で操作するよう なことも考えている。 ２．４ソフトバンクロボティクスの感情をもったパーソ ナルロボット 3HSSHU の外部制御 さらにリアルな制御対象の実現を目指し、2015 年よりソ フトバンクロボティクス社から製品化されている、感情を もったパーソナルロボット Pepper [16] を導入した。 Pepper は車輪による走行と、首 2, 肩 2, 肘 2, 腕 1, 手 1, 腰2 膝 1 軸の合計 11 軸、3D カメラや赤外線照明、ソナー などのセンサーを持ち、自律的な制御によりモーションや 表情も伴った人との対話が可能なロボットである。 ロボット本体の制御にNAOqiというOSが用いられてお り、ボックス(Python、フローダイアグラム、ダイアログボ ックス、タイムラインボックスの種類がある）を使ったプ ログラミングが可能になっている。 図６&KRUHJUDSKH を用いた 3HSSHU アプリ作成画面 動作についても、手を取る形でポーズを指定してアニメ ーションのように作成することが可能である。 Pepper 自体はオートノマスライフモードという自律動 作 を 基本 とし てい るが 、外部 か らの 通信 でモ ードの ON/OFF や指定した動作を行わせることができる API が用 意されている。 これら API はプログラミング環境の Python ボックスからアクセスできるだけでなく、Pepper のIP アドレスを直接指定して、以下のような Python のコ ードで外部のPC から制御が可能になっている。 図７ Pepper 外部制御プログラムの例 本機能を用いて、本年度本校オープンキャンパスにおい てモーションを含んだ読み上げのデモを行った。 イメー ジセンシングによる制御をこれから行う予定である。 本校ではソフトバンクロボティクスの 3HSSHU の活用を独 自に実施しています
。
３．ジェスチャー認識アルゴリズムと課題
前述の装置をイメージセンシングにより制御する検討 を行っている。 前回の報告では幾つかの素朴な認識アルゴリズムの検 討について報告した[10,17-19 等]。 認識動作に対応する 検出領域を画像上に設置し、ジェスチャーの存在を検出す る。 しかしながら、人物の外観、背景の違いや変化など による誤検出を抑制することが課題となり、以下に述べる 対策を検討した。 (1) 単純な領域積分検出：背景の影響を直接受ける (2) 背景除去検出：背景の変化(照明など）の影響を受ける (3) 時間差分検出：背景の変化は受けなくなるが領域への 出入り時のみの反応となる (4) 空間差分検出： 背景の変化の影響は抑制されたが、さ らに改良が必要 このような経緯を踏まえて、今回は次のような改良を試 みている。 (A) オプティカルフローを用いた方向検出 プログラム開発に用いている Python+OpenCV では、 Lucas-Kanade 法 (OpenCV の 関 数 で は 、calcOpticalFlowPyrLK() など) や Gunner Farneback による 方法 (calcOpticalGlowFarneback()) がライブラリとして用 意されており、今回は後者の方法を用いることにした。 画像の各点(領域)での物体の動き方向と量を検出し、この 値により認識動作の判定を行う。 画像全体の値が一括し て得られるが、PC のスペックによっては計算時間を要す るため、画像を縮小してから処理を行うことも必要であっ た。 図９ Optical flow の計算例、白い線がフローの方向と 量を表している 同一の判定領域を用いて上下左右などの異なる方向の 検出も可能であるが、動きのみの検出となるため継続動作 をどのように実現するかが今後の課題である。 (B) OpenPose を用いたハンドジェスチャーの認識
2017 年に発表された、単眼カメラを用いてスケルトン 検出を行うアルゴリズムをライブラリ化したものであり、 Deep Learning を用いている。 今回使用したライブラリは DL のプラットフォームとして Chainer が使用されている。 学習済のネットパラメータとして、人体のスケルトン、顔 情報、手形があり、特に今回は手形の検出を用いることに よって、これまでの単純な領域判定ベースの認識に比べて 正確な制御を行うことができると考えている。 図１０ OpenPose を用いた手形スケルトンの検出例 しかしながら、現状ではGPU(NVIDIA Quadro GP100)を 用いたマシンでもリアルタイム判定はなかなか難しい状 況であり、判定項目も考慮した簡略化やハードウエアの検 討が必要と考えられる(EGS-Mosion はこのような大規模 な処理をハードウエアで解決しているのではないかと思 う)。４．まとめと今後の展望
撮像デバイスを用いて様々な装置を制御するための技 術として、特に既存の装置のインターフェイスや機能へそ のまま接続できるような方法を検討し提案した。 今回の報告では、(1) 赤外線コントロールの模型ヘリコ プター、(2) PC を制御するマウス、(3) Unity を用いた自作 の制御対象、(4) ソフトバンクロボティクス社 Pepper の 制御を試みた。 また、イメージセンシングによる制御信号を得る方法と して、オプティカルフローと領域検出の組み合わせによる 改良、および、OpenPose を用いたハンドジェスチャーの 認識の検討を行った。 前回の報告も含め、既存のインターフェイスへの接続を 通して現存するデバイスの多様さに対する認識と、ノウハ ウが得られたことは収穫である。 装置の進歩に伴って、 直接既存のハードウエアへ接続することが難しくなって いる事例もあった。 ジェスチャー認識についてはかなり初歩的な状況にあ り、今後の大きな課題である。 装置の進化に伴って、今 後のインターフェイスはますます感覚的なものになって ゆくと考えられる。 人間が主に画像で行っている認識に 近づけるよう、人間が実際に行えていることを実現可能性 の根拠にさらに進めてゆきたい。 最後に本成果を報告するにあたり、平成28,29,30 年度当 研究室の卒業研究生および専攻科生の竹岡寿明君に感謝 致します。参考文献
1) S. Kobayashi, “Optical Gesture Recognition System,” Siggraph 97 2) 特開平 11-53563, 姿勢検出ゲーム装置及びゲーム方法 3) 特開平 11-128534, 姿勢検出ゲーム装置及びゲーム方法 4) 特開平 11-128535, 姿勢検出ゲーム装置及びゲーム方法 5) http://www.exvision.co.jp/ 6) https://www.leapmotion.com/ja/ 7) https://www.intel.co.jp/content/www/jp/ja/architecture-and-technology/realsense-overview.html 8) https://orbbec3d.com/ 9) https://structure.io/ 10) 齊藤、平成 29 年度近畿大学工業高等専門学校紀要 11)https://github.com/CMU-Perceptual-Computing-Lab/openpo
se
12) https://www.next-system.com/ai/visionpose
13) https://unity3d.com/jp14) Python, Numpy, Scipy マニュア ル等 15) OpenCV マニュアル: http://opencv.jp/opencv-2svn/c/ な ど 16) 村山 龍太郎 他,"Pepper プログラミング 基本動作から アプリの企画・演出まで", SB クリエイティブ社, 2015 17) 越後 他、IT Text 人画像処理、オーム社 2007 178 畠 他、動き情報と情報圧縮を用いたロバストなジェ スチャ認識手法、電子情報通信学会論文誌D II , J81-II, 9, pp1983-1992 (1998)
19) T. Mashita, et. al., “Pointing Gesture Recoginition and Indicated Object Detection,” Proc. 10th Intl. Conf. Human Computer Interaction (HCI2003), 2, pp.731-735 (2003)
