第 4 章 全自動型実験システムの構築

第 4 章 全自動型実験システムの構築

4.1 はじめに

4.2 開発コンセプトと概要

4.3 オープンフィールド型実験装置 4.4 画像処理

4.5 ロボットの制御 4.6 まとめ

4.1 はじめに

3章では，筆者が開発したラットとのインタラクションを志向した3種類の小 型移動ロボットについて説明した．これらのロボットはラットと同等の大きさ と運動性能を有しており，それぞれ異なるインタラクションモジュールを搭載 している．本研究では，ロボットの開発と平行して，ラットとロボットによる インタラクション実験を実施するための実験装置とその制御系の構築にも取り 組んでいる．そして，ロボットとこの実験装置を一つの実験システムとして統 合することで 1 章にて提案した方法論の具現化を目指している．本章では，ロ ボットとラットによるインタラクション実験を実施するために開発された実験 装置と，その制御系について説明する．

4.2 開発コンセプトと概要

筆者は，ラットと小型移動ロボットによるインタラクション実験を実施する 場として，オープンフィールドテストとよばれる実験に着想を得た実験装置を 開発した．また，その装置と小型移動ロボットの自動制御を行う制御系を構築 した．本節では実験装置の開発コンセプトについて述べる．まず本節では，こ れまで動物心理学において行われてきた実験装置の開発の歴史について簡単に 紹介し，動物心理学における実験装置開発の意義について述べる．次に，オー プンフィールド型実験装置の着想をもたらせたオープンフィールドテストと呼 ばれる実験について説明する．そして，実験装置の開発に際して最も重視した 点である実験装置の自動化のコンセプトについて述べる．

4.2.1 動物心理学的手法の導入と動物心理学への貢献

本論文において筆者が提案する研究の方法論はこれまでに類を見ない全く新 しいものであるが，1章および2章で述べたとおり動物心理学における実験手法 の導入を積極的に進めている．筆者は動物心理学において構築された既存の実 験手法を応用してラットと小型移動ロボットによるインタラクション実験を具 現化することで，研究の効率的推進が可能となると考えている．既存の手法を 応用することのメリットは以下の 2 点にあると考える．一つは既存の装置ある いはコンポーネントを利用することで，実験装置の開発効率の向上が見込まれ る点にある．そしてもう一つは，本研究において開発する実験装置を既存の実 験装置の延長線上に位置づけることで，先行研究において報告されている実験 データと本研究において得られる実験データを比較可能になる点にある．これ は本研究のような実験実証的研究において，非常に重要な意義を持つ．

また，本研究における実験装置およびその制御系の開発には，動物心理学に 新たな実験装置を提供する狙いも含まれている．2 章にて見たとおり，Skinner は自らが開発した装置を使用して実験を行い，オペラント条件づけの理論を確 立した．そしてその後この実験装置は，スキナー箱（Skinner Box）と命名され，

現在では汎用的オペラント行動調査用実験装置として広く使用されており[99]， さまざまな研究成果を生み出している．このように動物心理学をはじめとする 動物の行動を調査の対象とした学問分野において，実験装置の開発は非常に重 要な研究要素の一つであり，新たな装置の開発は新しい理論の導出や実験の効 率化などさまざまな恩恵をもたらせてきた．筆者もまた，ラットと小型移動ロ ボットによる実験システムを本研究専用の実験装置としてではなく，動物の行 動や知能を調査するための汎用的実験装置として，動物心理学はじめその周辺 分野に広く提案していくことを目指している．また，装置開発にともない得ら れるさまざまな要素技術についても積極的に公開または提供し，動物心理学に おける実験効率の向上に貢献することも目指している．

4.2.2 オープンフィールドテスト

前述のとおり，ラットと小型移動ロボットによるインタラクション実験の場 として，動物心理学や行動薬理学において多用されているオープンフィールド テストと呼ばれる実験に着想を得て，実験装置を開発した．オープンフィール ドテストとはげっ歯類，特にラットをオープンフィールドと呼ばれる実験装置 に放ち，その中での生起する行動について調査する実験である[100][101]．オー

形が一般的である．オープンフィールド内に入れられたラットには探索行動を はじめとするさまざまな行動が生起することが予想されるが，一般的なオープ ンフィールドテストでは表4.1に示す行動が計測される．

Table4.1 Definitions of behavior measured in open-field test [100]

Walking Trajectory,

Rearing Numbers of rearing on hind legs to look around Defecation Numbers of dung

Grooming Numbers of face washing by forefoot, body scratching

オープンフィールドテストでは，これらの行動を計測し，そこからラットの心 理状態の評価が行われる．表 4.1 に示した行動指標のうち，Walking（歩行）と

Rearing（立ち上がり）は探索行動の主な指標となる．探索行動はラットが新規

環境に置かれた際に良く行う行動であるが，ラットが極度の恐怖の状態にある 場合には行わないとされている．これより，探索行動はラットの情動が適度に 活性化されていることを示す指標であると言える．また，Defecation（脱糞）は ラットが極度の緊張あるいは恐怖の状態にあることを示す指標となる．一方，

Grooming（毛づくろい）はラットの情動が不安定な際にはあまり見られない行

動であり，情動の安定を示す指標となる．

オープンフィールドテストの実施事例は行動薬理学に見ることができる．行 動薬理学では，向精神薬を投与したラットと投与していないラットを用意し，

その両者にオープンフィールドテストを行い行動指標の計測を行う．そして計 測された行動からその薬物の不安抑制効果や情動活性化効果が評価される．脳 神経科学では，脳の特定の部位に損傷を与えられたラットと与えられていない ラットを用意し，その両者にオープンフィールドテストを行い動指標の計測を 行う．行動薬理学以外にも脳神経科学や遺伝学などにおいて，脳損傷や遺伝的 障害がラットの行動にどのような影響を及ぼすかかがオープンフィールドテス トによって調査されている[102]．また，同一のオープンフィールドに 2 匹のラ ットを放ち，両者の間に生起する社会的インタラクションを調査対象とした研 究も存在する[103]．

次に筆者がオープンフィールドに注目した理由を述べる．前章にて述べたと おり，実験ではラットとロボットの間に身体的インタラクションが発現するこ とを想定している．また，本研究で開発されたロボットは高い運動性能を有し，

実験環境内を自由に移動できる点が最大の特徴である．この特徴を生かすため には，実験環境はロボットが自由に移動することが可能であることが望ましい．

このように考えると，Skinner Box型実験装置は手狭であり，迷路型実験装置は

移動に大きな制約を受けるために適していない．その点オープンフィールド型 実験装置は，ロボットが自由に移動を行うのに十分な大きさを有しており，本 研究の実験装置として適しているといえる．また，本研究では，ラットがロボ ットとのインタラクションによってどのような心的作用を受けるかといことも 調査の対象としている．先に述べたとおり，オープンフィールドテストはラッ トの心理状態の推測に適した実験であり，この点においても本研究に適した実 験装置であるといえる．

4.2.3 制御・計測の自動化

動物の行動実験における実験装置の自動化への取り組みは古くから行われて いる．たとえばThorndikeの問題箱では，箱の内部に取り付けられたレバーは機 械仕掛けで箱の入り口に接続されており，実験は実験者による操作を必要とせ ず実施可能であった．Skinner Boxでは，レバーは電気的に餌供給装置と接続さ れており，実験者による操作を必要とせずに実験の実施が可能となっている．

動物の行動実験において，このような実験装置の自動化が求められる理由は次 の2点にある．

1点目は実験者の負担軽減である．実験における装置の操作および記録は非常 に単調な作業の繰返しであるが，実験に用いる個体数および実験時間が長くな れば実験者にかかる負担は大きい．実験装置が自動化され実験者が実験中の装 置の操作と記録から開放されれば，研究効率の向上が望まれる．2点目は実験結 果におけるヒューマンファクターによる影響の抑制である．実験において装置 の操作と記録をヒトが行う場合，実験結果にヒューマンファクターが影響を及 ぼす可能性は否定できない．これらは実験結果の信頼性を著しく低下させる可 能性があり，可能な限り排除する必要がある．実験結果に大きな影響を及ぼす ヒューマンファクターには2種類ある．

一つはヒューマンエラーで，人為的な装置の操作ミスと実験の記録ミスがこ れにあたる．たとえ実験が完全に自動化されたとしても，装置の誤動作や誤記 録を完全に無くすことはできないが，自動化された装置の場合，使用条件とエ ラーの発生頻度の関係を定量的に評価することが可能であり，実験結果を分析 する際にそれらを考慮すればエラーの影響は最低限に抑えられる．これに対し てヒューマンエラーは，その原因の多様性により発現頻度やエラーの内容を正 確に推測することが不可能であり，実験結果の信頼性を損なう要因となりうる．

もう一つは，実験者効果である．実験者効果とは，主にヒトを対象とした心理 実験において見られる現象であり，実験者が特に意図していないにも関わらず

者の「こういう結果になった望ましい」という願望が，実験者が特に意図せず とも被験者に伝わり，実験結果にバイアスをかける作用をもたらす現象などが あげられる．このような現象は実験者，被験者ともにヒトである場合にのみ生 じるように思われるが，動物実験において実験者効果が確認された例も存在し ており，本研究において実験装置の自動化を進める動機の一つとなった．

以上が実験装置の自動化が求められる理由であるが，特に24時間あるいは数 日間におよぶ長時間実験を実施する場合，実験の完全な自動化が必須となる．

本研究が調査の対象としている社会的インタラクションを通じたラットとロボ ットの相互適応は，時間とともに進行するものと考えられる．よって，長時間 あるいは長期間にわたるインタラクション実験の実施は必要不可欠であると考 えられ，実験の完全な自動化が必須となる．そこで，実験開始時と終了時に行 われる被験体となるラットの装置への出し入れ以外は全て実験者の介在を必要 とせずに自動的実施可能とするとの要求にもとづき実験システムの構築を行っ た．

4.3 オープンフィールド型実験装置

図4.1に製作したオープンフィールド型実験装置の全景を示す．この実験装置 の最も中核をなす装置がオープンフィールドであるが，本研究では，3種類の異 なる形状のオープンフィールドを製作した．それらを図4.2，4.3，4.4に示す．

2000 [mm]

Control PC Open field

y

z x o

Fig. 4.1 Overview of the experimental setup

400 [mm]

WM-5R

y Rat x o

Fig 4.2 Open-field type 1, hexagon

1000 [ m m]

WM-5R Rat

y o x

1000 [mm]

Fig. 4.3 Open-field type 2, Square with a food feeding machine, a water feeding machine and a battery exchanger

1000 [mm]

WM-6

y o x

1000 [mm]

Fig. 4.4 Open-field type 3, Square with a food feeding machine, a water feeding machine, a battery exchanger, grooming sensors and rearing sensors

3種類のオープンフィールドに共通する特徴としては，ラットの逃去防止のた めに周囲を高さ450 [mm]の壁に囲まれている点と，画像処理のために床面およ び壁面が黒色に塗布されている点である．次に 3 種類それぞれの特徴について みてみる．まず一つ目は，正八角形型のオープンフィールドで，一辺の長さは 500 [mm]である．二つ目は，正方形型のオープンフィールドで，一辺の長さは 1000 [mm]である．このオープンフィールド内には後述の餌供給装置，水供給装 置，電池交換装置が取り付けられている．三つ目は，二つ目と同じく正方形型 のオープンフィールドで，一辺の長さは1100 [mm]である．このオープンフィー ルドには，餌供給装置，水供給装置，電池交換装置が取り付けられており，さ らに立ち上がりセンサと毛づくろいセンサが取り付けられている．

オープンフィールド上部，高さ1900 [mm]のところにはCCDカメラが取り付 けられている．このCCDカメラはオープンフィールドの全領域を撮影すること が可能であり，オープンフィールド内で行われるインタラクション実験の映像

を30 [fps]で制御PCに送信する．また，このCCDカメラに隣接して，ラットの

拡大映像を撮影可能なラット追従式カメラも取り付けられている．

以下にオープンフィールド型実験装置を構成する各ハードウエアについて説 明する．

4.3.1 制御 PC

オープンフィールド型実験装置および前章にて述べたロボットの制御は 1 台 のPCによって行われる．また，同時にラットとロボットの位置をはじめ，実験 中に計測されるさまざまなセンサの状態と，ロボット行動の記録も同じPCによ って行われる．制御用PCの仕様を表4.2に示す．

Table 4.2 Specification of the control PC

OS Window XP

Name Pentium IV, Prescott (Intel) CPU

Clock GHz 3.4

Chipset Intel 955X Express (Intel)

Memory GByte 1

Serial Port (RS-232) 5

Analog Input 16

Input / Output

Video Input 1

Grooming

Sensor A/D Board

Recording Module

Grooming Detecting Module CCD Camera Image Processing

Board Rearing

Sensor Serial

Communication Port

Image Processing Module

Food Feeding Machine

Serial Communication Port Water Feeding

Machine

Software

Controller Module

Prediction Module

PC

Serial Communication Port Active Tracking

Camera Monitor / Video Recorder

Fig. 4.5 Connection between the PC and the instruments

制御用PCには，上述の装置の制御と計測を自動で行うためのソフトウエアが 実装されている．ソフトウエアの開発にはVisual C++を使用した．このソフトウ エアは画像処理を実行するスレッドと装置の制御を実行するスレッドの 2 つの スレッドを有するマルチスレッドソフトウエアである．画像処理および装置の 制御に関しては4.3節と4.4節にて詳しく述べる．

4.3.2 餌供給装置

動物の行動に関連した実験において，餌は非常に重要な意味を持つ．2章にて 述べたとおり，オペラント条件づけは動物の自発行動の変容を論ずるうえで最 も重要な原理である．オペラント条件づけの原理によれば，行動の変容をもた らすものは行動の発現に伴って行われる強化と罰の手続きであり，餌の提示は 正の強化の最も明確な手続きの一つであるといえる．このため，Skinner Boxで の実験や迷路抜け実験に代表される課題学習に関する実験では，課題が遂行さ れた際に餌の提示が行われることで学習が形成される．本研究においても，ラ ットにロボットへの特定の働きかけを学習させる実験を想定しており，インタ ラクション実験の最中に任意のタイミングで餌を提示する装置が必要である．

また，課題学習を伴わない実験においても，実験時間が長時間に及ぶ場合は餌 の提示が必要となる．

以上の要求にもとづき，オープンフィールド内において制御PCによって遠隔 操作可能な餌供給装置を製作した．この装置は 1 自由度を有し，その自由度は ステッピングモータによって駆動される．また制御用電子回路および Bluetooth 無線通信モジュールを内蔵しており，制御PCからの餌提示指令にもとづき，餌 のミルクペレット（45 [mg], 室町機械製）を 1 個提示する．製作した餌供給装 置を図4.6に示す．また，装置の仕様を表4.3に示す．

Table 4.3 Specification of the food feeding machine

Actuator Stepping Motor

Onboard CPU PIC 16F877 (20 [MHz])

Communication with PC Bluetooth (9600 [bps])

Power Supply V 12

A 3

Inside the Field Pallet

Bowl

PelletFood 150 [mm]

Stepping Motor

Outside Inside Mouthpiece

200 [mm]

4.3.3 水供給装置

動物実験において，水は餌と同様に強化子としての作用を持つが，毎回均一 量を提示することが困難なためあまり用いられていない．しかし，餌と水の双 方が提示される実験と餌のみが提示される実験を比較すると，前者の方がラッ トの餌摂取量が多いことが知られており，実験における水の提示は必要である といえる．そこで，水を一定量だけ提示することが可能な装置が開発されれば 水も定量的な強化子として使用可能となり，餌と水の双方を強化子とする新た な実験手法の開発につながると期待される．

そこで筆者は水を充填された容器に接続された給水口を一定時間提示する方 式の水供給装置を製作した．この装置は1自由度を有し，その自由度はRCサー ボモータによって駆動される．また制御用電子回路とBluetooth無線通信モジュ ールを搭載しており，制御PCから水提示指令にもとづきRCサーボモータを駆 動し，給水口をオープンフィールド内に提示する．そしてその姿勢を 3 [s]間保 持し，その後再びサーボモータを駆動して給水口の提示を終了する．ラットは 給水口の提示から提示終了までの 3 [s]間，自由に摂水することが可能となる．

開発した水供給装置を図4.7に示す．また，装置の仕様を表4.4に示す．

Table 4.4 Specifications of water feeding machine

Actuator Servo Motor

Onboard CPU PIC 16F877 (20 [MHz])

Communication with PC Bluetooth (9600 [bps])

Power Supply V 12

A 2

Fig. 4.6 Food feeding machine Fig. 4.7 Water feeding machine

4.3.4 毛づくろいセンサ

前述のとおり，毛づくろい（Grooming）はラットの情動を推測するための有 用な行動指標である．毛づくろい行動は表4.1にも示したとおり，ラットが前肢 によって洗顔を行う行動や，口で前進の毛並みを整える行動，および後肢によ って下半身を掻く行動を指す．既存のオープンフィールドテストにおいては，

毛づくろい行動の計測は，実験者の観察によって行われており，自動化はなさ れていない．オープンフィールド型以外の実験装置では，毛づくろい行動が自 動計測可能なものも存在する．しかし，それらはどれもラットの飼育ケージ程 度の小型の装置であり，オープンフィールドでの使用は難しい．

オープンフィールド内において毛づくろい行動を計測する方法としては，2種 類の方法が考えられる．一つは画像処理による方法であり，もう一つは毛づく ろい計測専用のセンサを開発することである．まず画像処理による方法である が，現行の実験システムでは，30万画素のCCDカメラによって1100 x 1100 [mm]

の領域を撮影しているため，解像度不足によって困難であると思われる．また，

毛づくろい判定のための画像処理の導入によって画像処理に要する時間が増大 することも望ましくない．次に毛づくろい計測専用のセンサを開発する方法で あるが，これは床面に振動センサを埋め込み，ラットの毛づくろい行動に伴っ て床面に生じる振動を計測することで可能である．しかし，一枚板からなる床 面の振動計測を行う場合，ラットの毛づくろい行動によって生じる振動は微小 となり，計測は困難であると予想される．また，複数の小さな板によって構成 される床面のそれぞれの板の振動を計測する場合，その板 1 枚 1 枚にセンサが 必要となりシステムが複雑となる難点がある．ここで，筆者は，図4.8に示す実 験データが物語るように，オープンフィールドにおいてラットが 4 隅での滞在 を好む傾向があることに注目した．これは，ラットの穴居の習性によるもので あると考えられるが，筆者らの行った実験によれば，実験中にラットが 4 隅に 滞在している時間は総実験時間の 8 割以上に及ぶことが確認された．また，残 る2割は探索行動と思われる移動が行われており，毛づくろいは行動はすべて4 隅の滞在中に行われている可能性が高い．よって，オープンフィールド 4 隅の 床面に毛づくろいセンサを設置すれば，実験中に発現するすべての毛づくろい 行動を計測することが可能となる．

Fig. 4.8 Distribution map of rat’s staying

200 [mm]

200 [mm]

Strain Gage

Fig. 4.9 Grooming sensor embedded in the floor of the open field

P

>P

Yes

Yes

No No

FFT

P

<P

P

<P

Detect grooming

Yes

No

Start ^Pmax: Max Spectrum(3～6[Hz]) P_th: Threshold

P_f1: Magnitude on 2 [Hz]

P_f2: Magnitude on 10 [Hz]

0 2 4 6 8 10

Frequency Hz

Magnitude

P_max

P_th

Fig. 4.10 Algorithm to detect grooming

以上の考察にもとづき，図4.9に示す床面置換型の毛づくろいセンサを開発し，

オープンフィールド 4 隅の床面をこの毛づくろいセンサによって置換した．こ の毛づくろいセンサは，一辺が150 [mm]の正方形のステージとそれを支える台 座と梁からなる．梁には歪ゲージが取り付けられており，歪ゲージは利得 1000 倍程度のアンプを介して，制御PCのA/Dボードに接続される．A/Dボードへの 入力値は正方形ステージのｚ軸方向の変位を表すものと見ることが可能で，こ の変位からステージの振動を計測する．ラットが毛づくろい行動を行う際，ス テージに発生する振動は3～6 [Hz]であり，毛づくろい行動の判定は高速フーリ エ変換を用いた図4.10に示すアルゴリズムによって行われる．

4.3.5 立ち上がりセンサ

毛づくろい行動と同じく，立ち上がり行動（Rearing）もラットの情動状態を 推測するための有用な行動指標である．立ち上がり行動とは，表4.1に示したと おり，ラットが後肢のみによって立ち上がり周囲を見回す行動である．既存の オープンフィールドテストにおいては，立ち上がり行動の計測は，実験者の観 察によって行われる．立ち上がり行動の自動計測を意図した一辺が500 [mm]程 度の小型オープンフィールド用の立ち上がりセンサは市販されているが，本研 究において使用されている一辺が 1000 [mm]以上のオープンフィールドでの仕 様に適したセンサは販売されていない．また，既存の市販品はどれも特定のオ ープンフィールドでの使用を想定して製作されており，ユーザが製作した任意 のオープンフィールドへ後から取り付けることが可能なものは存在しない．

そこで，ユーザが作成した任意の形状のオープンフィールドへ取り付けるこ とが可能な立ち上がりセンサモジュールを開発した．開発された立ち上がりセ ンサを図4.11に，動作原理を図4.12に示す．

Fig. 4.11 Rearing sensors

Walking IR LED

Rearing

160 [mm] 70

Photo- transistor

110 [m m]

110 [mm]

Fig. 4.12 the method how to detect rat’s rearing

このセンサは，遮断型フォトインタラプタによって構成され，フォトインタラ プタをラットの走行時には遮断されず，立ち上がり時にのみ遮断される高さに 設置することで，立ち上がり行動を検知する．このセンサはオープンフィール ドのx軸上とy軸上に15組ずつ取り付けられており，マイクロコントローラを 内蔵した制御用回路を介してPCに接続されている．センサは7 [cm]間隔で取り 付けられており，隣り合うセンサ同士の干渉を防止するために，制御用回路の マイコンによって赤外線LEDはタイミングをずらして発光するよう制御されて いる．また，遮断型フォトインタラプタは5個1組でモジュール化されており，

オープンフィールドの形状に応じてモジュール単位で追加・撤去が可能となっ ている．なお，筆者らはこれを立ち上がり時にのみ遮断される位置に設置して 立ち上がりセンサとして使用したが，走行時でも遮断される低い位置に取り付 ければ，ラットの位置検出センサとしても使用可能である．これは，このモジ ュールがラットの位置検出センサとして，迷路などの実験装置にも適用可能で あることを意味している．

4.4 画像処理による位置計測

画像処理はオープンフィールド内のラットとロボットの位置計測と，後述の ビジュアルフィードバックによるロボットの位置制御の双方に必要不可欠な要 素であり，実験システムの制御の要である．本節では画像処理アルゴリズムお よびその実装，そして評価について述べる．

4.4.1 画像処理への要求

画像処理への要求としては，以下の 2 点に集約される．まず 1 点目はラット とロボットを識別し，それぞれの位置をオープンフィールド上に設定された座 標系に従って算出することである．もう 1 点は，可能な限り画像処理の計算コ ストを削減することである．近年，ムーアの法則に代表される半導体技術の進 歩によってPCの計算能力は飛躍的に向上したが，その計算能力が有限であるこ とにはかわり無く，画像処理の計算コストの削減は処理時間の短縮につながり 非常に重要である．特に本実験システムはビジュアルフィードバックによるロ ボットの位置制御を行っており，画像処理にはリアルタイム性が求められる．

ロボットのビジュアルフィードバック制御については次節にて詳しく述べるが，

そこから生じる画像処理への要求は，100 [ms]以下の周期で実行可能であること である．また，実験システムは全て1台の制御PCによって制御されるため，制 御ソフトはマルチスレッド型となり，ソフト全体の安定化のためにも可能な限 り画像処理の計算コストが削減される必要がある．

4.4.2 ハードウエア構成

実験システム全体の構成図は図4.5に示したとおりである．ここでは画像処理 に関連する部位についてそれぞれ詳細に説明する．まず，オープンフィールド 上方には示すカラーCCDカメラ（CS9300, 東芝テリー）が取り付けられている．

このCCDカメラの使用を表4.5に示す．

Table 4.5 Specification of the CCD camera

TV system NTSC

CCD type Type 1/3 Interline Color CCD

Scanning system 2:1 Interlace

Active pixels pixel 768 (H) x 494 (V) Resolution TV lines 470 (H) x 350 (V)

Focal length m 1.6

CCDカメラによって撮影された映像は，制御 PC の PCIバス上に接続された画 像入力ボード（PicPort Color, Letron Vision）に送られる．この画像入力ボードは 同期・非同期のどちらのモードでも画像の取り込みが可能であるが，本実験シ ステムでは，非同期モードで使用している．キャプチャーボードで入力された 画像はPC内のメモリに転送され，メモリ上でソフトウエアによって画像処理が

4.4.3 画像処理アルゴリズム

開発した画像処理アルゴリズムを図 4.13に示す．なお，画像処理アルゴリズ ムの開発には，汎用画像処理ライブラリHALCON 6を使用し，これをVisual C++

によってソフトウエアとして実装した．

Start

Overlap two windows?

Extract blue and yellow Yes

No

in robot-window

in rat-window

Set robot-window Erase robot’s image in Img1

Extract rat’s color (white)

Set rat-window

Capture Img1 (image from camera)

Extract blue and yellow Compute robot’s C.G.

r

and orientation θ_robot Set robot-window

Extract rat’s color (white)

Compute rat’s C.G.

r

Set rat-window Compute robot’s C.G.

r

and orientation θ_robot

Compute rat’s C.G.

r

Fig. 4.13 Image processing algorithm

(a) (b)

まず，オープンフィールド内のラットとロボットを識別するアルゴリズムに ついて説明し，次に計算コスト削減のための処理について説明する．アルゴリ ズムの説明を容易にするために，CCDカメラによって撮影された映像を図 4.18 に示す．

このアルゴリズムではまず，ロボットの位置算出が行われる．前章にて述べ たとおり，ロボットはそれぞれ画像処理のためのカラーマーカーを搭載してい る．WM-6のそれは青と黄のレバーであり，WM-5とRaton Primeroのそれは外 装上の赤と青のマーカーである．ロボットのカラーマーカーに使用されている 色はすべて原色であり，HALCONライブラリが提供する色抽出関数を使用する ことで，画像から容易に抽出される．またHALCONライブラリによって抽出さ れた色の中心座標を計算する関数も提供されており，これをカラーマーカーに 使用されている各色についてそれぞれ行うことで 2 個のカラーマーカーの中心 座標が算出される．WM-6におけるカラーマーカーの位置と，ロボットの重心点 の関係は図4.15に示すモデルで与えられる．

x y

o

robot

r θ

bl robot_

r

yl robot_

r

lever

L

Fig. 4.15 Robot’s model for the image processing

[ ]

[ ]

[

]

bl robot

T yl robot yl

robot yl

robot

T robot robot

robot

y x

y x

y x

_ _

_

_ _

_

, , ,

=

=

= r

r

r

: Center of the yellow lever : Center of the blue lever

ロボットの重心座標が算出されると，次はCCDカメラによって撮影された映像 からロボットが消去される．これはロボットの重心座標を中心として，その周 囲を黒く塗りつぶすことで実行される．ことの時，塗りつぶす範囲はロボット を覆う必要最低限となるように設定される．この作業が完了した時点における 制御 PC のメモリ上に展開されている画像を図 4.14 に示す．図から見て取れる とおりこの時点で画像上に残されている黒色以外の色の物体は白色のラットの みであり，ロボットのレバーの色を抽出し重心座標を求めたのと同じ方法でラ ットの重心座標も算出される．以上の手順によってラットとロボットそれぞれ の重心座標の算出が可能である．

次に計算コスト削減のための処理について説明する．一般にPC等で行われる 画像処理は，画像入力ボードによって取り込まれた画像をメモリ上に配列とし て保存し，その配列に処理を行うことで実行される．配列に実行される処理に

robot lever

bl robot yl

robot robot

robot lever

bl robot yl

robot robot

y L y y

x L x x

θ θ 2 sin

2 cos

_ _

_ _

⋅ + −

=

⋅ + −

=

i) x_{robot_yl} < x_{robot_bl}のとき

tan 2

_ _

_

1 _

π

θ

−

= ⁻ −

yl robot bl

robot

yl robot bl

robot robot

x x

y y

ii) x_{robot_yl} > x_{robot_bl}のとき

tan 2

_ _

_

1 _

π

θ

−

= ⁻ −

yl robot bl

robot

yl robot bl

robot robot

x x

y y

iii) x_{robot_yl} = x_{robot_bl} I y_{robot_yl} < y_{robot_bl} ^のとき

=0

robot

θ

iv) x_{robot_yl} = x_{robot_bl} I y_{robot_yl} > y_{robot_bl}^のとき

π

θ

(4.5) (4.6) (4.1)

(4.2)

(4.3)

(4.4)

はさまざまなものがあるが，色抽出などの単純な処理はその配列をスキャニン グするように処理が実行されるものが多い．ゆえに，同じ処理を実行する場合，

対象となる配列の大きさが大きくなればなるほど多くの時間を要するようにな る．また，カラー画像は，三原色（YUVの場合は輝度と色相）がそれぞれ独立 した配列として保存されるため，画像処理の実行には白黒画像の 3 倍に時間を 要する．ここで，画像処理の時間を短縮するための効果的手法としては，処理 の対象となる配列の大きさを小さくすることである．画像の保存に必要とされ る配列の大きさは，画像を取り込む際の解像度で決定される．よって処理の対 称となる配列の大きさを小さくする一つの方法は，画像取得時の解像度を低く することであるが，これは同時に処理対称の低解像度化を招き画像処理の精度 低下を招きかねない．もう一つの方法は，処理を実行する領域を限定すること である．処理領域を限定する機能として，HALCONにはウインドウという機能 が存在する．これは，処理の実施に先立ち，処理を実行する範囲をウインドウ として指定する機能である．たとえば，ラットを色によって抽出する場合，ラ ットが画像上でどのあたりに存在するか予測することができれば，存在が予想 される領域にウインドウを設定し，その中だけ処理を行えば計算コストは少な くてすむ．ラットの存在する位置を厳密に予測することは非常に難しいが，画

像処理が100 [ms]以下の周期で繰返し実行されるとすると，ある瞬間におけるラ

ットの位置は、その一周期前の画像処理によって求められた位置から，100 [ms]

の間にラットが移動しうる範囲の中に存在する．前章にて示したとおりラット の移動速度は最大1500 [mm/s]以下であるから，100 [ms]の間には150[mm]以下 しか移動しないことになる．

このような考えにもとづき，ラットおよびロボットの画像処理にウインドウ の概念を導入し，それぞれに対する画像処理の範囲を 1 周期前のそれぞれの位 置の周囲に限定する処理を画像処理アルゴリズムに取り入れた．これにより，

ラットとロボットのウインドウが重なっている時意外は，ロボットの重心算出 後にロボットの周囲を黒く塗りつぶす処理も必要なくなり，これも処理時間の 短縮につながる．ウインドウ導入の欠点は，一度画像処理に失敗して位置を見 失うと，再度発見できないことであるが，画像処理が失敗した場合には，ウイ ンドウの設定を解除し，画像全体に処理を行う手順を追加することでこの問題 を解決した．

前述のとおり，この画像処理アルゴリズムはVisual C++を用いて，実験装置計 測制御用マルチスレッド型ソフトウエアの一つのスレッドとして実装された．

画像処理の性能評価については後述するが，実装に先立ち行われたアルゴリズ ムの動作テストの結果，開発された画像処理アルゴリズムが 1 回実行されるの

求であった100 [ms]を大きくした下回るものである．また，ロボットの制御周期 は100 [ms]であるため，画像処理が30 [ms]周期で実行されることの効果は無い．

そこで，PCへの負担を軽減するために，画像処理スレッド中には50 [ms]の休止 時間を入れ，75 – 80 [ms]周期で処理を繰返し実行するようにした．

4.4.4 滞在時間分布

ラットの行動モデルの構築は本研究を進めるために重要な要素のひとつであ る．ラットの行動をモデル化するためには，まず，行動傾向の理解から始める 必要がある．先に述べたとおり，筆者が開発した実験装置においては，画像処 理によってラットとロボットの位置を自動的に計測することが可能となってお り，計測された位置情報は二次元ベクトルとして 100 [ms]周期で記録される．

このデータをxy平面上にプロットし時系列的に結ぶことで，ラットおよびロボ ットの軌跡を得ることができ，これはラットの移動傾向の理解を進める上で有 用なデータとなる．また，さらに記録された位置情報を滞在時間分布に変換す ることで，ラットの滞在傾向について知る事ができる．

滞在時間分布は，オープンフィールドを格子状に分割し，画像処理によって 得られたラットの位置情報から，各格子点においてラットが滞在した時間を算 出することで求められる．この操作は以下の式で表現される．

y

x

d y

0 1 2

y

x

x

A

12

nn

d x

y

Fig. 4.16 the method how to calculate distribution map of rat’s staying

) ) ≠ (

∪ ) ≠

( ( 0

)

= ) (

= ∩ ) ( (

= 1 )) ( ), ( (

)) ( ), ( (

= ) ,

(

∑

0

=

n n

n y n

x

t

y n x

n

y t y x t x

y t y x t t x

y t x g

t y t x g y

x P

n n

n n

: ) , (

: ) (

n y n

x n n

y x g

y x P

n n

また，この式によって得られたP(xi, yj)を二次元空間に図示することで，滞在時 間分布図を得ることができる．滞在時間分布図は，オープンフィールドにおけ るラットの滞在傾向を視覚的表現したものといえ，滞在傾向のモデル化をすす める上で有用であると思われる．また，滞在傾向は，ラットがどのように環境 を認知しているかを知る手掛かりとなるものであり，位置情報から滞在時間分 布に返還する解析手法は，本研究以外にも動物の行動解析の新しい手法として 広く利用可能であると思われる．

4.4.6 評価

実装された画像処理の評価を行った．まず，ラットとロボットの識別能力お よび画像処理の精度について評価した．評価試験では，ラットを模した白色の 人工毛皮と WM-6 をオープンフィールド内に設置し，それらを静止状態のまま

60 [min]間保持し，その間画像処理によって位置の計測と記録を行った．評価試

験の結果を表4.10に示す．

Table 4.10 Positions measured by the image processing / the human

x y Max. 40 40 Rat By the image processing mm

Ave. 35 36 Max. 50 50 Robot By the image processing mm

Ave. 34 35 Stay Time at Grid (xi, yj)

Grid Passing Flag at Coordinate (x, y) (4.7)

(4.8)

試験中，人工毛皮とロボットの位置に変化は無かったが，画像処理による計測 では，若干の変化が見られた．よって表中の画像処理による計測欄にはそれぞ れの最大値と平均値を記載した．また，この実験では，画像処理がラットとロ ボットの識別に失敗することは無かった．これより，開発された画像処理アル ゴリズムが十分な識別能力を有することが示された．

次にオープンフィールド内で60 [min]間ラットを自由に移動させ，その際の画 像処理によるラットの位置計測性能の評価試験を行った．なおこの評価試験を 実施した際は，オープンフィールド内にはラットのみを放ち，ロボットはフィ ールド内に入れなかった．実験結果より得られたラットの移動軌跡を図 4.17の (b)に示す．また，それを変換して得られたラットの滞在時間分布図を図4.17の (a)に示す．

0 y pixel

x pixel

440

440

Long 0

0 y pixel

x pixel

440

440

stayed time Long 0

0 y pixel

x pixel

440

440

stayed time

Fig. 4.17 Rat’s trajectory and the distribution map calculated form it

(a) (b)

WM-6 Rat

Open field

Instruction data

Interaction

Feeding Supplying

Image Processing

Operation Generator Robot Controller Device

Controller

Control PC

Bluetooth Bluetooth

Bluetooth Battery Exchanger

Food Feeding Machine

Water Feeding Machine

CCD camera

Fig. 4.18 System configuration 4.5 ロボットの制御

本節では，ロボットの制御について述べる．ロボットの制御は，上位の制御 としての行動生成部と下位の制御としての移動制御部からなる．なお，行動生 成部ではロボットの行動のみならず，各実験装置への動作指令も生成される．

ロボットの制御を中心とした実験システムの構成図を図4.18に示す．

前述のとおり，ラットとロボットによるインタラクション実験はオープンフ ィールド内において行われる．実験の様子はフィールド上部に取り付けられた CCDカメラによって撮影され，制御用PCに送られる．制御用PCには，実験装 置の制御と記録を行うマルチスレッド型ソフトウエアが実装されており，CCD カメラの映像は画像処理スレッドによってメモリ上に取り込まれる．画像処理 スレッドは前節にて述べた画像処理アルゴリズムによってラットとロボットの 位置を算出し，算出された位置データはロボット制御スレッドに渡される．ロ ボット制御スレッドでは，まず行動生成部が状況判断を行いロボットの行動と 実験装置への指令を生成する．生成されたロボットの行動は移動制御部へ渡さ れ，移動制御部では画像処理によって得られた位置データをもとにビジュアル フィードバックによってロボットの移動を制御する．また，実験装置への指令 はそのまま装置制御部を介して各実験装置へ送られる．以下，行動生成部と移 動制御部について詳細に説明する．

4.5.1 行動生成部

動物とロボットのインタラクションについて調査している点において非常に独 自性が強く，参考となる先行研究を持たない．そのため，研究の進行とともに どのようなインタラクション実験が必要になるのかを予想することは難しい．

筆者は研究の進行とともに出現すると予想されるさまざまな実験に柔軟に対応 すべく，異なる機能を有する 3 種類のロボットと，それぞれがモジュール化さ れ，自由に組み合わせて使用することが可能な実験機器を開発した．このため，

ロボットの行動と各機器の動作を生成する行動生成部には，使用されるロボッ トと装置の構成に応じて柔軟に制御戦略を変更可能でなければならない．また，

同一のロボットを使用した実験においても，異なる行動戦略にもとづいてロボ ットの制御が行われれば，ロボットに異なる性格を与えたことと同義である．

このような視点からも，今後多様なインタラクション実験を効率的に実施して いくためには，行動生成部は容易に変更が可能である必要がある．

このような考えにもとづき，ロボットの行動および実験装置の動作は，表4.11 に示す実験状態変数と，表 4.12に示す行動・動作関数によって記述し，行動生 成部に実装することとした．実験状態変数と行動・動作関数によって記述され たロボットの行動および実験装置の動作を行動シーケンスと命名した．実験中，

行動生成部では画像処理およびロボットとの通信によって得られる情報を行動 シーケンスに照会し，それにもとづいてロボットの行動および実験装置の動作 を生成する．行動シーケンスの一例をフローチャートで表現したものを図 4.19 に示す．

Table 4.11 List of experimental state parameters RatPosX x coordinate of rat’s current position RatPosY y coordinate of rat’s current position MovingDistance Cumulative moving distance of the rat RobotPosX x coordinate of robot’s current position RobotPosY y coordinate of robot’s current position DistanceRobotRat Distance between the robot and the rat

NumApproach Cumulative number of rat’s approaches to the robot RightLeverON State of the right lever on the robot

LeftLeverON State of the left lever on the robot

NumRLeverP Cumulative number the rat pushes right lever (Only WM-6)

NumLLeverP Cumulative number the rat pushes left lever (Only WM-6)

Table 4.12 List of operation functions MoveTo (x, y) The robot moves to the point (x, y).

StandUp () The robot stands up using the forefoot.

(Only WM-5R)

MountOn () The robot stands up and mounts on the rat.

(Only WM-5R)

ApproachBE () The robot approaches to the battery exchanger.

(Only WM-6)

PushLever () The robot pushes the lever by its forefeet.

(Only Raton Primero)

FeedFood () The food feeder releases a food pellet.

FeedWater () The water feeder shows the water tap for 3 seconds.

StartExchange () The battery exchanger starts to operate.

Start experiment Robot waits at the home

position

Rat pushes the levers?

Robot moves to the

food feeding area Robot moves to the water feeding area

Rat is

also there? Rat is

also there?

Food Lever Water Lever

Yes Yes

No No

No Yes

Food feeding machine

release a food Water feeding machine show water tap Fig. 4.19 An example of the behavior sequence

4.5.2 移動制御部

ロボットの移動制御にはモデルベースのフィードフォワード型制御とフィー ドバック型制御の 2 種類の制御方式が一般的である．本研究が対象としている ラットとロボットのインタラクション実験においては，移動中のロボットには ラットからの働きかけによる外乱が作用する可能性が有り，フィードフォワー ド型制御は適していない．また，実験記録のために画像処理が用いられており，

これによって得られるロボットの位置データを利用したビジュアルフォードバ ックによる移動制御が適していると考えられる．

このような考えにもとづき，移動制御部にはビジュアルフィードバック制御 を実装した．制御のアルゴリズムを図4.20に示す．

x y

o

robot

r

target

r

Target orientation

Target position

orient

θ

traject

θ

robot

θ

Current position and orientation

robot

ω

robot

v

(a) Coordinate

robot orient

tg orient

diff

robot traject

tg traject

diff

robot tg

robot tg

tg

T tg tg tg

T robot robot

robot

y y x

x d

y x

y x

θ θ

θ

θ θ

θ

−

=

−

=

− +

−

=

=

=

_ _

_ _

2

2

( )

) (

] , [

] ,

[ r

r

Start

Rotate (iii)

Finish

Yes

Yes

No

No

Yes

No Calculate “d_tg” and “θ_{tg_traject}” (4.1)

d_tg<D_th Get Current Position “r_robot”

and Orientation “θ_robot”

Calculate “θdiff_orient” (4.3) Calculate “θdiff_traject” (4.2)

θdiff_orient<θ_{th_orient} θdiff_traject<θ_{th_traject}

Go straight (i) Rotate (ii)

) ( _{_}

_w tg orient robot

vfb

robot K θ θ

ω = ⋅ −

(i) Go straight;

(ii) Rotate;

(iii) Rotate;

tg v vfb

robot

K d

v =

⋅

) ( _{_}

_w tg traject robot

vfb

robot K θ θ

ω = ⋅ −

0

robot = ω 0

robot = v

0

robot = v

(b) Algorithm Fig. 4.20 Control of the robot 4.5.3 移動制御の評価

ビジュアルフィードバックによるロボットの移動制御の評価を行った．この 試験では図 4.21，22 に示すとおり，ロボットの姿勢のステップ応答について評 価した．

x y

o

robot

r

orient

θ

θ

θ

0 1 2 3 4

0 0.5 1 1.5 2 2.5 3

Time s

Angl e ra d

orient

θ

θ

Fig. 4.22 Transit response of the robot

{θ_init= 0, θ_{tg_orient} = 0 (t < 0.5 [s]), θ_{tg_orient} = π (t > 0.5[s])}

図4.22より1.5 [s] 程度で180 [deg]の旋回を完了しているのが見て取れる．また，

旋回開始より 2 [s]が経過した時点においても，目標姿勢角とロボットの実際の 姿勢角の間に3.3 [deg]程度の誤差が見られるが，これは許容値内であり，特に問 題とは思われない．

次にロボットの移動時における目標軌道への追従性能について評価した．こ の試験では，ロボットの初期位置と初期姿勢，通過点の位置，目標位置と目標 姿勢を指定し，ビジュアルフィードバックによって移動制御を行った．なおこ の試験は同一条件下で6試行行われた．実験の結果を図4.23に示す．

図 4.23よりロボットはほぼ指定された軌道どおりに移動していることが見て 取れる．通過点における誤差は最大で30 [mm]程度であり，目標地点における誤 差は最大で30 [mm]程度であった．これはインタラクション実験での使用に十分 耐えうるものであるといえる．

0 200 400 600 800 1000

0 200 400 600 800 1000

x mm

y mm

Trajectory 1 Trajectory 2 Trajectory 3 Trajectory 4 Trajectory 5 Trajectory 6 Target Path

Start

Goal

Passing point

Fig. 4.23 Trajectory of the robot controlled by the visual feedback 4.6 まとめ

本章ではラットと小型移動ロボットによるインタラクション実験を実施する ために開発された実験装置と，その制御系について説明した．実験装置の開発 に際しては，動物心理学において行われているオープンフィールドテストに着 想を得て，正方形のオープンフィールドと餌供給装置，水供給装置，毛づくろ いセンサ，立ち上がりセンサからなる装置を開発した．また，その制御系につ いては画像処理を実装し，ラットおよびロボットの位置の自動計測とビジュア ルフィードバックによるロボットの自動制御を実現した．そして画像処理によ る位置計測精度と，ビジュアルフィードバックによるロボットの自動制御の精 度について評価を行い，構築した実験システムがラットとロボットによるイン タラクション実験を行うのに十分な性能を有することを確認した．

5章および6章では前章にて述べた小型移動ロボットと，本章にて述べた実験 装置および制御系を統合して行った実験について述べる．