• 検索結果がありません。

機械学習を用いた掘削土砂の時系列変形予測モデルの構築

N/A
N/A
Protected

Academic year: 2021

シェア "機械学習を用いた掘削土砂の時系列変形予測モデルの構築"

Copied!
4
0
0

読み込み中.... (全文を見る)

全文

(1)日本ロボット学会誌. Vol. 39. No. 4, pp.367∼370, 2021. 367. レター. 機械学習を用いた掘削土砂の時系列変形予測モデルの構築 作. 祐. 輝∗1. 逢. 澤 正 憲∗2. 大 井. 健∗2. 石 上 玄. 也∗1. Spatio-Temporal Prediction of Soil Deformation using Machine Learning Yuki Saku∗1 , Masanori Aizawa∗2 , Takeshi Ooi∗2 and Genya Ishigami∗1 Unmanned construction machine working in dangerous environments such as construction sites and disaster areas has been developed. However, it is still necessary to improve its work efficiency especially during bulldozing and excavating soil. This research aims to develop a method for predicting soil deformation using machine learning. The feasibility of the proposed method is verified in a scenario where a simple bulldozing blade excavates soil. In the experiment, soil deformation at a front part of the blade is captured by multiple stereoscopic cameras. The camera provides depth data that are then converted to height field data. This dataset is fed to machine learning using Recurrent Neural Network (RNN) because soil deformation is continuous phenomena depending on time variation. The learned model for predicting soil deformation is confirmed in varied intrusion depth of the bulldozing blade. Key Words: Soil Deformation, Machine Learning, Prediction. 1. 緒. 測では目を,計画では頭を,制御では手を用いて行われる.これ. 言. らを自動化したとき,まずレーザ測距計などのセンサを用いて. 近年の人手不足や建設作業従事者の安全面といった点を考慮. 計測が行われる.次に計測で取得した情報や掘削軌道を考慮し,. し,建設機械の遠隔操縦による無人化が活発に進められている.. あらかじめ個別要素法(DEM)などを用いたシミュレーション. しかし,遠隔操作による施工には特殊な操縦技術を習得する必. により算出された制御パラメータを用いて機体の動作計画が行. 要があるほか,遠隔操作による作業効率は搭乗操作の 5 割程度. われる.そして,最後に搭載計算機よりこれまでに取得・決定し. まで下がってしまうという問題がある [1].これに対し,人工知. た情報に基づいて機体の制御が実行される.各手順において機. 能などを用いた自動化技術を取り入れることで作業効率を向上. 体に注目した自動化の手法はこれまでに提案されている [2] [3].. させる取り組みが行われており,最終的には建設機械の完全自. しかし,一般的に DEM のような手法には非常に大きな計算コ. 動化により,危険地帯での活躍が期待されている.しかし,こ. ストがかかることが知られており,実機試験による現場ごとの. こでもまた自動化による建設機械の動作の安全性や,これまで. チューニングを行う必要がある場合が多く,自動掘削の汎用性. 操縦者の経験から行われていた掘削作業が自動化されることに. に問題が生じてしまう.また,掘削抵抗については土圧理論を. よる作業効率の低下が,遠隔操作時と同様無視できない問題と. 用いた研究もあるが,掘削の対象である土砂の挙動に注目した. して挙げられる.ここで建設機械による作業の中でも,特に掘. ものはほとんど見られなかった.そこで,本研究では土砂,特. 削作業は主たる作業項目であり,作業全体の進度や質に与える. にその形状変化に注目する.. 影響は大きく,自動化が進んだ場合はより大きな問題となると 考えられる.よって,今後の建設機械の無人化や自動化に伴い, 掘削時の作業効率を向上させることは必須であると言える.. 土砂の形状変化に関連する研究例として,安本らによる海岸 の地形変化予測に関する研究 [4] や,吉田らによる DEM を用 いた掘削シミュレーションの研究 [5] が挙げられる.しかし,前. 自動制御による建設機械の掘削作業は,. 者はメートル単位というマクロな視点での数式モデルによる形. 1. 計測:機体の位置や姿勢,掘削したい場所の三次元情報を. 状変化予測であり,後者は土壌の動的特性のモデル化が可能で ある一方で,前述のとおり計算コストが膨大であるという課題. 取得.. 2. 計画:掘削後の土砂形状を考慮したバケット部等の制御パラ. が挙げられる.連続体の形状予測については,近年,流体分野 において機械学習を用いた流れ場の時間発展予測手法が長谷川. メータの決定.. 3. 制御:バケット部やアーム部等の制御.. らによって提案されている [6].土砂は比較的小さな粒子より構. という流れになっており,これを繰り返すことで掘削作業は進. 成され,かつ土砂の形状変化は時間に依存した連続的な変化で. 行していく.この三つの手順をそれぞれ人が操縦する場合,計. あるという点を考慮すると,土砂を流体とみなすことができる.. 原稿受付 2020 年 8 月 8 日 慶應義塾大学 ∗2 コマツ ∗1 Keio University ∗2 Komatsu Ltd.  本論文は有用性(要素分野)で評価されました. ∗1. 日本ロボット学会誌 39 巻 4 号. よって,土砂形状の時間発展を予測する手法として,機械学習 を用いることが有効であると考えられる.機械学習により複雑 なモデル化や定式化を回避することができ,加えて DEM など に援用した際にも計算コストの削減も可能になると考えられる. 以上より,本研究では機械学習を用いた土砂形状変化の予測手. —81—. 2021 年 5 月.

(2) 作. 368. 祐 輝. 逢 澤 正 憲. 大 井. 健. 石 上 玄 也. 法を提案する.本手法により,掘削計画における従来のシミュ レーション計算処理や時間のコストを削減しつつも高い検証精 度を保持し,より多くの試行が可能となる.また,それによりオ ンボードでの土砂形状変化予測や予測結果を用いた掘削軌道の 再計画などに応用でき,最終的に作業効率の向上が期待できる. 本稿ではまずブルドージング実験による本提案手法の実行可 能性検証の必要性を述べたのち,作成する学習モデルの構造の 概要を述べる.次に,実験により取得したデータを用いて土砂 変形予測モデルを構築したのち,その評価および考察を行うと ともに,バケットによる掘削時の土砂変形予測モデル構築に向 (a) Snapshot of the testbed. けた展望を述べる.. 2. ブルドージング実験の意義 本研究の最終的な目標は,バケットを用いた掘削実験を行い その前後の土砂変形を予測する学習モデルを作成することであ る.しかし,本研究を進めるにあたり直接掘削による土砂変形 予測モデルの構築に取り組むのではなく,学習モデルフレーム ワークの検討のため,初めに平板を用いたブルドージング実験 を行い,その土砂変形を予測する学習モデルを作成する.つま り,本研究は以下のように分けられ,本稿では Phase 1 および. Phase 2 について述べる. Phase 1: 平板を用いたブルドージング実験を行い,土砂形状 データを複数のステレオカメラで取得する. (b) Schematic view of the testbed. Phase 2: Phase 1 で取得したデータを用い学習用データセッ. Fig. 1 Overview of the testbed. トを作成する.さらに,土砂変形予測モデルを作成すると ともに,モデルの評価を行う.. Phase 3: バケットを用いた掘削実験を行い,土砂形状データ を取得する.. Phase 4: Phase 3 で取得したデータと Phase 2 において得 た知見をもとに,予測モデルを作成し評価を行う. ブルドージング実験は掘削実験に比べ土砂変形現象が単純で. (a) d = 10 [mm]. (b) d = 20 [mm]. (c) d = 30 [mm]. Fig. 2 Depth images of soil deformation. あり,またこれまでの研究によりその定性的・定量的な現象解 明が進められてきた [7].また,掘削を行った場合,平板よりも 複雑な形状を持つバケット部を取得データから除去する必要が. グ実験を行った.なお,平板の幅は 195 [mm] であり,各条件に. あり,さらに接触機械内部において砂の二次的な流動が発生す. おける実験中の平板の移動速度は 100 [mm/s] として一定とし. るため,ブルドージングよりも複雑化してしまう.以上の理由. た.また,実験開始時の土砂平面は整地装置により一様なもの. より,ブルドージング実験による学習モデルを作成することで,. とした.Fig. 1 (b) に示されている FDC-2 の鉛直下方向に対す. 本提案手法の実行可能性を明らかにした後,掘削実験による学. る傾きは θf = 5.8◦ とした.ここで,各沈下量 d において得ら. 習モデル構築に取り組むこととする.ただし,本稿では平板を. れた一連の深度データを時系列データ Dd とよぶこととする.. 用いたブルドージング実験において,平板の前方の土砂変形の. 3. 2 実験結果. みに注目しその予測モデルを構築する.. 各実験で取得したデータのうち,d = 10, 20, 30 [mm] のとき の深度データをヒートマップとして Fig. 2 に示す.各図にお. 3. ブルドージング実験. いて平板の進行方向はそれぞれ下方向であり,青色が低く赤色. 3. 1 実験方法. が高いことを表している.なお,本稿に示されたヒートマップ. ブルドージング実験は Fig. 1 (a) に示すように,著者らの研. の色付けはすべて,各データ内において相対的に行われている.. で同実験装置は珪砂 5 号(平均粒径 0.51 [mm])で満たされてい. Fig. 2 より,平板の沈下量 d が大きくなるほど砂の盛り上がり が大きく拡大していく様子が観察できた.これらの d の違いに. る.Fig. 1 (b) は実験装置を真横から見たときの概略図である.. よる土砂形状変化の差異は,学習を行うのに十分な特徴を有し. 究グループが所有する実験装置に平板を取り付け行った.ここ. 平板の前方には三つのデプスカメラ(Intel RealSense D435). ていると考えられるため,d を 10 [mm] 刻みで変化させ実験を. が,後方には一つのデプスカメラが設置されており,これらの. 行うことは適当であると言える.さらに,一定時間経過すると. うち同図中に FDC-2 と示されたデプスカメラを用いて平板前. 砂の変形が収束していく様子が実験より観察できた.. 方の深度データを取得した. 平板が土砂内に侵入している深さを沈下量 d [mm] とし,d を. 10∼60 [mm] まで 10 [mm] 刻みで変化させ,それぞれの場合で x 軸方向に 1,000 [mm] 平行移動させることによりブルドージン. JRSJ Vol. 39 No. 4. —82—. 4. 土砂変形予測モデルの構築 4. 1 データセット作成 取得したデータを用いて学習用データセットを作成する.こ. May, 2021.

(3) 機械学習を用いた掘削土砂の時系列変形予測モデルの構築. 369. Fig. 4 Relationship between height field data and matrix data for machine learning. Fig. 3 Height field data of soil deformation. こで d = 30 [mm] のときのデータを例とし,データセット作成 の流れを述べる.まず実験により取得した土砂変形に関する深 度データを点群データに変換したのち,ボクセルフィルタを用い てダウンサンプリングを行い,最後に 5 行 5 列のハイトフィー ルドへと変換した(Fig. 3) .以上を Dd の全フレームに適用す るとともに,Dd が含むフレーム数を土砂変形開始から終了まで の 200 フレーム分(1 フレームは約 0.06 秒相当)に統一した. なお本稿におけるハイトフィールドとは,点群データの x − y. (a) General SP(k = 1). 平面を任意のグリッドサイズに分割し,各グリッドに含まれる. (b) SPSTF(k > 1). Fig. 5 Flowchart of sequential prediction of soil deformation. データの z 座標の平均値を算出し抽出したものである.よって ハイトフィールド変換後の x および y 座標は無次元の値であ り,z 座標はデプスカメラから土砂表面までの距離を負の値と して表し,単位は mm となっている. 機械学習にはこのハイトフィールド,つまり 5 行 5 列の行 列データを用いることとし,行番号を m,列番号を n とした. 各時系列データ Dd における i 番めのフレームの行列データを. Z i とすると,. ⎡. z11 ⎢ . ⎢ Z i = ⎣ .. z51. ... .. . .... ⎤ z15 .. ⎥ ⎥ . ⎦ z55. 中央の要素 z53 に注目し,定性的・定量的な評価および考察を 行うこととする. 予測結果を示す前に,高精度な予測を目的とした補習フレー ム(Supplementary Training Frame,以下 STF)の導入につ いて述べる.LSTM を用いた時系列予測を行う場合,あるタイ ムステップにおける予測結果を次のタイムステップの予測のた めの入力に用いる手法(Sequential prediction,以下 SP)が一 般的に利用されている.本研究においては Fig. 5 (a) に示した. (1). ように,初期のフレーム Z 1 のみを入力とし,その後の時間発展. ˆ i は逐次的に予測される.しかし,ブルドージング実験におい Z. となり,時系列データ Dd は,. Dd = [Z 1 , Z 2 , ..., Z i , ..., Z 200 ]. トを行った.ここで,本稿では最も数値の変化が大きい 5 行め. てカメラの z 軸方向の位置は一定であるため,取得された全時 系列データの初期のデータ Z 1 は沈下量 d によらずほぼ等しい. (2). 値を有している.そのため,Fig. 5 (a) のように予測を行った場 と表すことができる.また,行列データとハイトフィールドと してプロットされた 三次元グラフの関係は,Fig. 4 に示した. 合,入力に用いた時系列データ Dd によらずほぼ一定の予測結 果を示してしまうことが予想される.これを解消すべく導入し. ようになっている.同図より,平板から最も遠い行を 1 行めと. たものが STF を用いた SP(SP with STF,以下 SPSTF)で. し,平板の進行方向に対し一番左の列を 1 列めと定義した.. あり,任意の自然数 k を用いて STF に用いるフレーム数を定. 4. 2 予測モデルの構築. 義する.初期のフレーム Z 1 から k 番めのフレーム Z k の範. 作成したデータセットを用いて予測モデルを構築した.使用. 囲の各時系列データを予測テストの入力データとして利用する. する時系列データ Dd が持つ行列データはどれも 5 行 5 列. (Fig. 5 (b)).STF の範囲では SP のように出力を次の入力と. (m = 5, n = 5)であり,予測モデル構築のための訓練データ. して利用するのではなく,常に真値を入力データとして予測を. に D10 , D30 , D50 を用いた.モデルの中間層には再帰型ニュー. 行っている.これにより 1 ≤ i ≤ k の範囲において,Fig. 5 (a). ラルネットワーク(RNN)の拡張系である LSTM を用いた.. よりも誤差の小さい状態へとネットワークを更新していくこと. なお,Fig. 4 に示したように予測モデルは行ごとに作成され,1. ができ,沈下量 d の違いによる土砂形状変化の大きさを予測モ. 行めの予測モデルを Model 1,5 行めを Model 5 とよぶこと. デルに把握させることができると考えた.. とする.よって,各予測モデルにおける入出力の形式は 1 行 5. 4. 4 評価および考察 D20 , D40 , D60 について,k を変化させ予測テストを行った 結果のグラフを Fig. 6 に示す.同図の縦軸は z53 の数値を,横 軸はフレーム番号 i を示しており,黒色の実線が真値 D40 を, 黒色の破線が Fig. 5 (a) で示したような SP(k = 1)を行った ˆ 40 を,その他が各 k の条件下における予測テ ときの出力値 D. 列の行列データとなっており,パラメータチューニングは各モ デルにおいてそれぞれ独立して行われている.. 4. 3 予測モデルの評価概要および補習フレームの導入 構築した予測モデルの精度評価のためのテストデータとして, 未学習のデータセットである D20 , D40 , D60 を用いて予測テス. 日本ロボット学会誌 39 巻 4 号. —83—. 2021 年 5 月.

(4) 作. 370. 祐 輝. (a) d = 20 [mm]. 逢 澤 正 憲. 大 井. 健. 石 上 玄 也. (b) d = 40 [mm]. (c) d = 60 [mm]. Fig. 6 Result of SP and SPSTF for soil deformation with different plate sinkage Table 1 RMSE of prediction results k 1 10 30 50. RMSE Ed E20 E40 8.54 10.3 16.2 4.94 11.9 2.62 8.23 —. するフレーム数が 200 フレーム(約 12 秒分)であることから, およそ 1.8 秒分の実測値でその 5.7 倍に相当する 10.2 秒分の. [mm] E60 20.7 14.1 5.28 —. 時間発展を予測することができたと言える.実際に土木作業現 場において利用する際には,ブルドージングや掘削による実測 値を必要とすることなく,計画された掘削軌道やそこから算出 された制御パラメータなどから土砂形状の変化を予測し出力す るモデルが求められると考えられる.しかし,本稿で示したよ. ˆ 40 を表している.また,各沈下量における真値 ストの出力値 D ˆ Dd と予測値 Dd の Root Mean Squared Error(以下 RMSE). うな初期に少量の実測値を必要とするような予測モデルであっ. を Ed と定義し,k を変化させたときの Ed をそれぞれ示した. ことで,土砂形状変化の開始から終了までのすべてを DEM に. ものが Table 1 である.Fig. 6 (b) および Fig. 6 (c) では,k. よるシミュレーションから取得した場合に比べ,大きく計算処. を増加させることで予測結果が真値に近づいており,予測精度. 理や時間のコストを削減できることも期待できる.. ても,予測に必要な入力データを DEM により取得し利用する. が向上していることが定性的に確認できた.さらに,Table 1. 5. 結. より k を増加させることで E40 および E60 が減少しているこ とから,定量的にも予測精度が向上していることが確認できた.. 言. 本稿では掘削時の作業効率向上の必要性を述べるとともに,. また,このような予測精度の向上は z53 以外の要素(平板の幅. 機械学習を用いた土砂変形の予測手法を提案した.その第 1 段. 方向)についてもほぼ同様の結果が得られることが確認された.. 階としてブルドージング実験を実施し,LSTM を利用した予測. しかし,d = 20 [mm] のときのデータに関する結果(Fig. 6 (a)). モデルを構築したのち,予測テストにより予測モデルの評価を. を見ると,k = 1 のときに比べ k = 10 で一旦精度が悪化し,. 行った.その結果,高精度な土砂変形予測を達成することがで. その後 k = 50 において k = 1 のときの予測精度を上回る結果. き,同時に本提案手法の実行可能性を確認することができた.. になっていることが分かる.この様子は Table 1 における E20. 今後,本研究の知見をもとに,バケット掘削における土砂変. の変化からも確認できる.. 形予測モデルの構築に発展していく予定である.この際,STF. また,各実験条件下における土砂形状変形の形態は,時間と. に用いるべき適切なフレーム数と掘削形態との関係の明確化,. ともに徐々に砂が盛り上がり最終的に一定値に収束するという. 本学習モデルを多様な土砂へ適用する際の実行可能性について. 一次遅れ系の傾向で一致しているが,その中でも D10 および. も検討していく.. D20 はほかのデータに比べ砂の盛り上がる速さが緩やかであり, 予測を実行するためにはやや変化に乏しい可能性があることが 実験より確認されていた.そのため 10 ≤ k ≤ 30 の範囲では. STF が十分な役割を果たすことができず,D30 や D40 に近い 結果が出力されたと考えられる.つまり,d = 20 [mm] におけ るこの予測精度と RMSE の悪化は,予測モデルの訓練に用い たデータのうち,D20 に似た傾向を示すデータが D10 のみであ り,変化の特徴がやや乏しいうえに訓練データが不十分であっ たために,構築された予測モデルが D20 に十分対応できなかっ たことが原因であると考えられる. 本研究にて提案した STF の有用性について D40 を例に挙げ ると,STF として k = 30 ほどまでの実測値が取得できれば, その後の土砂形状変化の時間発展を高精度に予測可能であると 言える.この 30 フレーム分のデータが全体のデータに対しど の程度のものなのかを時間に注目して考察する.1 フレーム当 たりは約 0.06 秒相当であることから,k = 30 にかかる時間は. 参 考 文 献 [ 1 ] 伊藤禎宣,ほか:“無人化施工において遠隔操作の映像環境が作業効率 へ与える影響について”,土木学会論文集 F3(土木情報学),vol.73, no.1, pp.15–24, 2017. [ 2 ] 山元弘,ほか:“動作計画と制御に 3 次元情報を用いた自律油圧ショ ベルプロトタイプの開発”,計測自動制御学会論文集,vol.48, no.8, pp.488–497, 2012. [ 3 ] 茂木正晴,ほか:“油圧ショベルの自律掘削技術の開発”,土木技術資 料,vol.51, no.6, pp.22–25, 2009. [ 4 ] 安本善征,ほか:“土砂の浚渫と投入過程を考慮した 3 次元海浜変形予測 モデル”,土木学会論文集 B2(海岸工学) ,vol.71, no.2, pp.787–792, 2015. [ 5 ] 吉田達哉,ほか:“油圧ショベルの掘削作業における効率向上の検討”, 日本機械学会論文集(C 編) ,vol.78, no.789, pp.1596–1606, 2012. [ 6 ] 長谷川一登,ほか:“機械学習を用いた円柱周り流れのレイノルズ数 依存性の予測”,日本流体力学会,vol.38, pp.81–84, 2019. [ 7 ] G. Ishigami: Terramechanics-based Analysis and Control for Lunar/Planetary Exploration Robots, Tohoku University, Ph.D. thesis, 2008.. 約 1.8 秒であることが分かる.これと時系列データ D40 が有. JRSJ Vol. 39 No. 4. —84—. May, 2021.

(5)

Fig. 2 Depth images of soil deformation
Fig. 4 Relationship between height field data and matrix data for machine learning
Fig. 6 Result of SP and SPSTF for soil deformation with different plate sinkage

参照

関連したドキュメント

1) 境有紀 他:建物被害率の予測を目的とした地震動の 破壊力指標の提案、日本建築学会構造系論文集、第 555 号、pp.85-91、2002. al : Prediction of Damage to

These analysis methods are applied to pre- dicting cutting error caused by thermal expansion and compression in machine tools.. The input variables are reduced from 32 points to

In deformation changes including step-like discontinuities, techniques using a laser beam of single wavelength cannot measure the deformation amounts.. Because the deformation

GoI token passing fixed graph.. B’ham.). Interaction abstract

Theorem A.1. The dynamic GoI machine simulates the call-by-need storeless abstract machine [Danvy & Zerny ’13] in linear cost, i.e. Reversible, irreversible and optimal

1-1 睡眠習慣データの基礎集計 ……… p.4-p.9 1-2 学習習慣データの基礎集計 ……… p.10-p.12 1-3 デジタル機器の活用習慣データの基礎集計………

Finally, coupling the structure subsystem and aerodynamic subsystem represented by the SVM-based ROM, the aeroelastic response can be predicted according to the virtual line loop in

子どもの学習従事時間を Fig.1 に示した。BL 期には学習への注意喚起が 2 回あり,強 化子があっても学習従事時間が 30