畳み込みニューラルネットワークを用いた積雪状態の認識とロードヒーティングの制御

畳み込みニューラルネットワークを用いた積雪状態の認識と

ロードヒーティングの制御

Recognition of Snow Condition Using Convolutional Neural

Network and Control of Road-heating Systems

小山望海

1∗

_武田清賢

2

_横川誠

2

_川村秀憲

1

Nozomi Koyama

1

_{Kiyotaka Takeda}

2

_{Makoto Yokogawa}

2

_{Hidenori Kawamura}

1

1

_{北海道大学大学院 情報科学研究科}

1

_{Graduate School of Information Science and Technology Hokkaido University}

2

_{北海道ガス株式会社 技術開発研究所}

2

_{Technology Development Institute Hokkaido Gas Corporation}

Abstract: The conventional control method of road-heating systems, which is controled mainly by snowfall, is the feedforward control. Therefore, the road-heating systems often operate in spite of no snow on the road. In this paper, I introduce the way of feedback control for road-heating systems which detects snow condition on the road, and turns on and off road-heating systems properly. To recognize the snow condition, I adopt images for recognition using convolutional neural networks.

1

はじめに

現在，一般的に用いられているロードヒーティングの 制御方法は，センサーの上に付着した水分を感知する ことで積雪を検出する降雪センサーを用いている．具 体的には，降雪センサーが降雪を検知してからロード ヒーティングを稼働し，雪が止んでからタイマーで設定 された時間稼働し続けてからロードヒーティングを停 止させるという方法が最も多く用いられている．この ように降雪の有無からロードヒーティングを制御する 方法が多く用いられている．これらの方法は制御する べき路面状態ではなく降雪状態から制御を行うフィー ドフォワード制御となっているため，積雪がなくロー ドヒーティングを稼働する必要が無い場合にも稼働し てしまう場合がある．このような不必要な稼働を減ら すため，路面の画像から制御対象である積雪状態を認 識することで，フィードバック制御を行った． また，赤外線センサーやレーザーなども用いて路面の 積雪の有無を検出してフィードバック制御を行っている ものもあるが，それらに用いられているセンサーはどれ も高価で設置のための工事が困難であるなどの欠点があ るため，容易が設置で安価なカメラ画像によって適切に フィードバック制御を行うことを目的とした．路面の画 ∗_{連絡先： 北海道大学大学院 情報科学研究科 調和系工学研究} 室 E-mail: [email protected] 図 1: 目標とするフィードバック制御 像から積雪状態を認識する方法として，画像認識におい て驚異的な性能を達成している畳み込みニューラルネッ トワーク (Convolutional Neural Network, 以下 CNN) を用いた．さらに，画像撮影から積雪状態の認識，制 御までの全てを RaspberryPi(図 2)[1] と RaspberryPi 用のカメラモジュール (図 3) 等を用いて行った．

2

CNN

による積雪状態の認識

RaspberryPiのカメラモジュールを用いて路面画像を 撮影する際に，いくつかのモードが用意されており，基 本的には通常のモード (auto mode) で撮影可能だが，通 常のモードでは夜間の画像が撮影できないため，night modeを加えた 2 つのモードを時間に応じて使い分け ることとした． 路面の画像を認識する上で必要とされるのは，撮影 された路面画像を「積雪あり」と「積雪なし」に分類す ることである．また，路面の画像を撮影する際に，人な 人工知能学会研究会資料 SIG-KBS-B506-05

図 2: RaspberryPi 3 model B

図 3: RaspberryPi カメラモジュール auto mode night mode 積雪あり 約 8000 枚 約 4000 枚 積雪なし 約 8000 枚 約 4000 枚 表 1: 訓練画像内訳 どの障害物が画像の一部に写る可能性があるため，画 像を 12 × 16 に分割し，分割された画像ごとに「積雪 あり」または「積雪なし」に分類し，それらを総合し て積雪状態を判断することにした．そのために，事前 に RaspberryPi のカメラモジュールを用いて撮影した 画像を 12 × 16 に分割し，それぞれに「積雪あり」と 「積雪なし」のラベルを付け，訓練データとした． また，設置する環境によって様々な状態が考えられ るため，車のタイヤの跡があるものや，白やオレンジ 色のライトがある場所や明るさの異なる画像などを合 計約 25000 枚を用意した．それらの画像の内訳は表 1 のようになっている． 集めた画像の例を図 4 に示す． 図 4: 訓練画像例

図 5: Network in Network 図 6: Alex Net

2.1

具体的な手法の決定

CNNを用いた画像認識の中でも，様々なネットワー ク構造や最適化の手法があるため，路面の画像を「積 雪あり」と「積雪なし」に分類するのに最も適した手 法を決定するために以下の比較実験を行った． 2.1.1 比較実験 ネットワーク構造 2 種類 (図 5, 6) と最適化手法 7 種 類を組み合わせた合計 14 種類の手法の性能を比較した．

図 5 が Network in Network, 図 6 の Alex Net がネッ トワーク構造を表したものである． 以下に最適化手法を簡単に説明する． 1 ⃝SGD 重み更新に使うサンプルを確率的に選ぶ 2 ⃝momentumSGD 前回の重みの修正量もいくらか 加算する 3 ⃝AdaGrad[2] 頻出する勾配より稀に表れる成分を 重視 4 ⃝RMSprop[5] 勾配の 2 乗の指数移動平均から重み を更新 5 ⃝AdaDelta[3] 学習率も自動で決定

1 ⃝ ⃝2 ⃝3 ⃝4 ⃝5 ⃝6 NIN 98.59 98.71 96.58 94.12 98.74 0.045 0.009 0.664 1.2 0.013 Alex 97.96 97.92 97.73 94.49 94.47 97.89 Net 0.041 0.022 0.039 9.58 2.447 0.146 表 2: 比較実験結果 (上段:平均精度 (%), 下段:分散) 6 ⃝Adam[4] 勾配の指数移動平均を用いて重みを更新 7 ⃝NesterovAG[6][7] 前回の更新時の勾配も使用 2.1.2 実験方法 実験には python のディープラーニング用ライブラリ chainer[13]を使用した． 「積雪あり」と「積雪なし」を同数にするために，auto modeと night mode をそれぞれ 8000 枚と 4000 枚ずつ を用いて行った．これらの画像全てに「積雪あり」と 「積雪なし」のラベルが付いている．これらのデータを 用いて以下の 1.∼ 3. の作業を 15 回繰り返した． 1. 24000枚のデータからランダムに選んだ 20000 枚 を訓練データ，残り 4000 枚をテストデータとす る．このとき「積雪あり」と「積雪なし」，auto modeと night mode が均等になるように分ける． 2. 訓練データ 20000 枚を用いて学習を行う (バッチ サイズ：32，エポック数：500)． 3. 学習させたネットワークにテストデータを入力 し，CNN の出力とラベルの一致率から精度を求 める． 学習する際に「積雪あり」を 1，「積雪なし」を 0 とし て学習し，テストデータを入力した際に CNN が 1 枚 の画像に対して 0∼1 の値を出力するため，CNN の出 力が 0.5 未満の場合を「積雪なし」，0.5 以上の場合を 「積雪あり」としてラベルとの一致率を求めた． 2.1.3 実験結果 15回の平均と分散を表 2 に示す．最適化手法に RM-Spropを用いた場合はどちらのネットワーク構造でも， 学習が進まなかった． この結果から，これらの組み合わせの中でネットワー ク構造に Network in Network，最適化手法に NesterovAG を用いたときに最も性能が良くなることが分かった． この組み合わせを用いて用意した画像全てを学習させ たネットワークを積雪状態の認識に用いることとした． 図 7: アルゴリズム

3

アルゴリズム

第 2.1.2 節のように 1 枚の画像に対しては 0.5 を閾値 として積雪を判断したが，実際に路面画像から認識す る際に 12 × 16 枚分の出力があるので，それらすべて の出力の平均から積雪状態を判断することとした．そ の際に，障害物が映り込んでいたり，誤判定が起こっ ている可能性が考えられるため，基本的には 2 回以上 連続で平均が 0.5 未満または 0.5 以上が続いたときにオ ンとオフを切り替える．しかし，CNN の出力の平均が 0.8以上または 0.2 以下の場合は 12 × 16 枚の画像のう ち何枚かが誤判定していたとしても，明らかに「積雪 あり」または「積雪なし」と判断できるため，条件を 満たした時点でオンとオフを切り替える． 制御アルゴリズムを図 7 に示す．

4

実証実験

4.1

実験設定

札幌市内の一般家庭駐車場 (約 30m2)に実験機を設 置し，実証実験を行っている．カメラモジュールによっ て駐車場内の一部約 1m 四方ほどが撮影できるように

図 8: 設置の様子 設置した．また，10:00∼15:00 は auto mode，それ以 外の時間は night mode で撮影した．設置の様子や実際 に撮影された画像は図 8 と図 9 のようになっている．

4.2

実験結果

今現在，1 か月間で従来の降雪センサーと比較して， 稼働時間を約 16.0%削減した上で路面の雪を十分に融 かし切ることに成功している．図 10 は従来センサーと 実際に実証実験で用いた制御器の挙動の違いがわかり やすい部分を抜粋したものである．それぞれの日の上 部にある黄色い棒は従来センサーが降雪を検出し，従 来センサーによってロードヒーティングを制御していれ ば本来ロードヒーティングが稼働していた時間を表す． 従来センサーの判定は 5 分おきに取得した．また，赤 いグラフは CNN の出力の平均の推移を表しており，こ の平均から先ほど紹介したアルゴリズムによってロー ドヒーティングを稼働するべきと判断され，実際に稼 働した時間が塗りつぶされている．本実験では画像撮 影から CNN の出力が出て実際に稼働するかの判断を するまでに約 7 分 30 秒かかるため，稼働するかどうか は約 7 分 30 秒おきに判断されている． auto mode night mode 図 9: サンプル画像

4.3

考察

青い丸で囲われた部分が，本システムによって削減 された稼働時間であり，降ってはいるが積もるほどで はなくロードヒーティングを稼働する必要のない場合 や，ある程度ロードヒーティングを稼働し続けて一度 融かし切り，その後の降雪も余熱等で融雪可能で，ロー ドヒーティングを稼働する必要が無かった場合などが 考えられる． 本実験では図 10 からわかるように，無駄な稼働時間 を削減することに成功したが，降雪がなくても本シス テムのみ稼働させている箇所も見受けられた．これら の原因として考えられるのは，まず 1 つは路面ではな くカメラの前に雪等が付着したことによる誤作動であ る．これに対しては，今後ケースに屋根のようなもの を付けるなどして対応していきたい．また，急に大雪 が降り始めた場合などに，従来センサーは積もり始め から稼働しているため早めに路面を温めることができ るが，本システムは画像で積雪が確認できるまで稼働 しないため，ロードヒーティングが稼働して路面が温 まるまでに雪がさらに積もってしまう．そのため，雪が 止んでからも融かし切るまでに時間がかかり，図中の 1/24の様に合計稼働時間に差はほとんどないが，ON と OFF の切り替えのタイミングが遅れている．しか し，このときの CNN の出力の平均を見ると，雪が止ん でから下がっていることがわかる．この様に CNN の 出力の低下などから早めに止めることができればさら に稼働時間を削減することができると考えられる．

5

おわりに

従来の降雪センサーによるフィードフォワード制御 から路面画像を用いたフィードバック制御に変更する ことで稼働時間を大幅に減らせることが分かった．し かし，さらに無駄な稼働時間を削減できる可能性があ るため，さらに工夫をしていきたい． また，本実験と同時に 5 分おきに気温，湿度，気圧， 輝度を RaspberryPi のセンサーモジュールから取得し ているため，これらのデータも使ってさらに効率よく ロードヒーティングを制御することを目指したい．

謝辞

北海道ガス株式会社技術開発研究所の方には，本研 究において実験場所の提供並びに貴重なご意見をいた だきました．心より御礼申し上げます．

参考文献

[1] https://www.raspberrypi.org/

[2] John Duchi; Elad Hazan; Yoram Singer (2011).” Adaptive Subgradient Methods for Online Learn-ing and Stochastic Optimization”. The Journal of Machine Learning Research 12: 2121-2159. [3] Matthew D. Zeiler (2012). ADADELTA: An

Adaptive Learning Rate Method.

[4] Jascha Sohl-Dickstein; Ben Poole; Surya Ganguli (2014). ”Fast large-scale optimization by unify-ing stochastic gradient and quasi-Newton meth-ods”. Proceedings of the 31 st International Con-ference on Machine Learning 32.

[5] Tijmen Tieleman; G. Hinton (2012). Lecture 6.5 -rmsprop, COURSERA: Neural Networks for Ma-chine Learning.

[6] Bengio, Yoshua, Nicolas Boulanger-Lewandowski, and Razvan Pascanu. ”Advances in optimizing recurrent networks.” Acoustics, Speech and Signal Processing (ICASSP), 2013 IEEE International Conference on. IEEE, 2013. [7] Nesterov, Yurii. ”A method of solving a convex

programming problem with convergence rate O (1/k2).” Soviet Mathematics Doklady. Vol. 27. No. 2. 1983.

[8] Fischer, Asja, and Christian Igel. ”An introduc-tion to restricted Boltzmann machines.” Progress in Pattern Recognition, Image Analysis, Com-puter Vision, and Applications. Springer Berlin Heidelberg, 2012. 14-36. [9] 月館司. ”民生用ロードヒーティングの制御に関す る検討.” 空気調和・衛生工学会論文集 81 (2001): 39-44. [10] 川合真, 景山一郎, and 栗谷川幸代. ”4309 画像処理 手法を用いた前方路面認識技術に関する研究 (J27-1交通機械における計測制御 (1), J27 交通機械に おける計測制御).” 年次大会講演論文集: JSME annual meeting. Vol.2007. No. 7.一般社団法人日 本機械学会, 2007.

[11] Hinton, Geoffrey E., Simon Osindero, and Yee-Whye Teh. ”A fast learning algorithm for deep belief nets.” Neural computation 18.7 (2006): 1527-1554.

[12] 後藤隆一郎, et al. ”画像解析を導入した路面融雪 運転制御システムに関する研究.” 空気調和・衛生 工学会論文集 103 (2005): 29-36. [13] http://docs.chainer.org/en/stable/index.html [14] https://www.adafruit.com/datasheets/TSL2561.pdf [15] https://www.adafruit.com/images/product-les/2652/2652.pdf