あらまし 地中レーダは，地上から入射した電波が地中の誘電率差で反射することを利用して地中物体を検出 する技術であり，近年劣化が社会問題化している道路や橋梁等の社会インフラの異常検出に有効な技術である． しかしながら，地中レーダで得られるレーダ画像から地中物体の材質や大きさを推定することが課題であった． 本論文では，レーダ画像からの地中モデル逆推定を目的に，深層学習による画像生成手法である敵対的生成ネッ トワーク GAN を用いたモデル逆推定手法について述べる． キーワード 地中レーダ，モデル逆推定，深層学習，敵対的生成ネットワーク，FDTD 法
1.
ま え が き
近年，トンネルや道路等の社会インフラ劣化が問題 になっており，異常箇所の早期発見が必要とされてい る．これまで異常箇所の検出には打音検査が用いられ ていたが，非破壊検査が可能な数百MHz帯の電波に よる地中レーダが有効である[1]∼[6]．地中レーダで はレーダ画像から内部を推定するものであるが，熟練 技術者による画像判読であるため，ばらつきがあるこ とや技術者減少も懸念されていることから，計算機に よる高度で高精度な自動推定が求められている． 地中レーダでは，電波の散乱原理によりレーダ画 像から地中物体の材質や大きさをある程度推定でき るため，手書き文字認識等の画像認識と同じように， ニューラルネットワークによる自動推定が研究されて いる[7], [8]．近年の計算機性能の向上とともにニュー ラルネットワークを多層化した深層学習が注目され ており，自ら特徴を抽出し多層のネットワークで学習 †仙台高等専門学校総合工学科，仙台市Department of General Engineering, National Institute of Technology, Sendai College, 4–16–1 Ayashi-Chuo, Aoba-ku, Sendai-shi, 989–3128 Japan ††大分工業高等専門学校電気電子工学科，大分市
Department of Electrical and Electronic Engineering, National Institute of Tech-nology, Oita College, 1666 Maki, Oita-shi, 870–0152 Japan
a) E-mail: sonoda@sendai-nct.ac.jp することで，高精度で高度な推定が可能になってい る[9]∼[11]．一方，大量の教師付学習データが必要に なることや多層構造のため学習に時間を要する等の問 題がある． 我々はこれまでに，深層学習で必要な教師付学習用 レーダ画像について，GPUクラスタを用いたFDTD法 により100万画像程度を生成しており，生成した学習 用レーダ画像を用いた畳み込みニューラルネットワー クCNN (Convolutional Neural Network)における物体
識別特性を明らかにしている[12], [13]．この結果，不 均質土壌においても地中物体の誘電率や大きさを80 %程度以上の精度で識別できることを明らかにしてい る．本論文では，比誘電率や大きさなどを数値で出力 していた地中物体を直接画像出力することを目的に， 深層学習による画像生成手法である敵対的生成ネット ワークGAN (Generative Adversarial Networks) [14]を 用いたレーダ画像からの地中モデル逆推定について述 べる．ここでは，FDTDシミュレーションで生成した レーダ画像のモデル逆推定[15]と，実際の実験画像 のモデル逆推定のために，シミュレーション画像を疑 似実験画像に変換するGANを加えた複数段のGAN (Stack GAN)による逆推定手法を示す[16]．
図 1 地中レーダ探査の実際 (a) 探査の様子 (350 MHz)，(b) レーダ画像の例 (800 MHz)
Fig. 1 A GPR survey on an embankment. (a) An appearance of a GPR survey (350 MHz), (b) an example of a radar image (800 MHz).
2.
地中レーダと敵対的生成ネットワークに
よるモデル逆推定
2. 1 地中レーダの概要 地中レーダは，一般に中心周波数が100 MHzから1 GHz程度で数百MHz程度の帯域の電波を地中に入射 し，地中の誘電率の差により生じる反射波を地上で観 測するものある．このため地中物体と土壌との誘電率 差が大きく，かつ大きな物体ほど検出されやすい．ま た中心周波数が低いほど探査深度が深くなるが分解能 は低くなり，逆に中心周波数が高いほど探査深度が浅 くなるが分解能が高くなる． 地中レーダでは，図1(a)のように送受信アンテナ を地表で移動させることにより，地中断面に相当する 図1(b)のレーダ画像が得られる．レーダ画像は，横軸 がアンテナ移動方向で縦軸が反射時間であり，地中の 誘電率が分かれば反射時間を深さに変換できる．また レーダ画像では，地中物体からの反射波はアンテナの 指向性のため双曲線状になる．800 MHzの地中レーダ による図1(b)でも，左から幅10 cmの空洞，幅20 cm の空洞，直径1 cmの金属管からの反射波が双曲線状 に現れている．地中レーダでは図1(b)のレーダ画像か ら地中内部を推定する． 図 2 敵対的生成ネットワーク GAN による画像生成 (a) GAN (pix2pix) の概略，(b) GAN の学習で用いる変換 前後の入力画像ペア例（左：地中モデル，右：地中 レーダ画像）Fig. 2 Image generations using a generative adversarial networks (GAN). (a) Outline of a GAN (pix2pix), (b) An example of image pairs for training.
2. 2 敵対的生成ネットワークによる画像生成
敵対的生成ネットワークGAN (Generative Adversar-ial Networks) [14]は，入力xから生成器Generatorで 画像G(x)を生成し，識別器Discriminatorで真の画像
yか生成した画像G(x)かを判定する．生成器Gと識
別器Dにおける学習を複数回くり返すことで，本物に
近い画像を生成する．
GANの原理で画像を変換生成するpix2pix [17], [18]
がある．pix2pixは図2(a)に示すように，GANの入力
にラベル情報を付加するConditional GAN [19]の一種 であり，入力した画像xを生成器Gのネットワーク で疑似画像を生成し，識別器Dで画像の真偽判定をく り返し学習することにより，精度のよい疑似画像を生 成するものである．以降，本論文で記述するGANは pix2pixのことを示す． GANの学習では，変換前後の入出力となる画像のペ アを複数枚用意する必要がある．本研究ではレーダ画 像から地中モデルを逆推定するので，図2(b)に示すよ うな地中モデルとそのレーダ画像のペアを準備する必 要がある．図2(b)のようなペア画像が大量に用意でき れば，GANでの生成器Gと識別器Dの学習により， 未学習のレーダ画像から地中モデルを生成できると考 えられる．ここで，生成される疑似画像の精度は，一 般的には学習画像の数に依存するので，精度のよい地 中モデルを得るには，多くのレーダ画像を準備する必 要がある．
2. 3 FDTD 画像の生成 地中レーダでは，GANで用いる大量の学習用レーダ 画像を実験で準備するのは困難であるので，地中レー ダの電波伝搬散乱をシミュレーションできるFDTD 法を用いて学習用レーダ画像を生成する．しかしなが ら，時間と空間での差分法であるFDTD法は計算コス トが大きい問題があり，大量のレーダ画像を生成する ことが課題であった．ここでは，100万枚規模の学習 用レーダ画像をGPUクラスタのタスク並列による複 数モデルの同時FDTDシミュレーションで生成する． 図3にFDTD法でシミュレーションする地中レーダ の計算モデルとパラメータを示す．生成するレーダ画 像は，大きさw × h × ℓで比誘電率εt agの物体が位置 (x, y)で深さdに存在するモデルである．ここでは， w, h, ℓを5∼20 cmまで5 cmごと，dを20∼50 cmま で10 cmごと，x, yを−20∼20 cmまで10 cmごとに 変化させる．また，地中の比誘電率εgadを4.0，地中 物体の比誘電率εt agを1.0，3.0，4.0，5.0，9.0，金属 の6種類とする．更に，後述する10種類の不均質土 壌と，地中レーダの中心周波数を250，500，800 MHz とすることで計1,152,000枚のレーダ画像を生成する． 様々な物体が存在する不均質土壌は，図3に示すよう にターゲットとする地中物体の周囲に石等を想定した 複数の不要物体を配置することでモデル化する．この とき，ターゲット以外の不要物体は，大きさが平均値 m× m × m cm，比誘電率は1.0∼8.0，個数は1 m3当 りn個を疑似乱数でランダムに変化させることで配置 する．ここでは，nを0，10，25，50，mを0，1，2， 3とし，計10種類の不均質土壌におけるレーダ画像を 生成する． 計算に用いるFDTD法のパラメータを以下に示す． 解析領域は128× 128 × 128 cellで周囲に16層のPML を適用する．電流源Iyは，中心周波数が250，500，800 レーダ画像の大きさは，水平方向1.00 mで深さ方向は 1.28 mである．図4のように生成したレーダ画像とそ の地中モデルのペア画像を用いてGANの生成器Gと 識別器Dで学習をくり返し，未学習のレーダ画像から 地中モデルを逆推定できるかを検証する．一般的に深 層学習では様々な条件の画像を学習することで推定精 度は向上するが，ここでは，一例として図4に示した 800 MHzのレーダ画像を用いた結果について述べる．
3.
GAN
を用いた深層学習による地中モデ
ル逆推定
3. 1 評 価 GANを用いた深層学習によるレーダ画像の地中モデ ル逆推定について評価する．前述のように，地中レー ダでは学習用レーダ画像を生成するのは困難であるの で，2.3のFDTDシミュレーションで生成した図4の ようなレーダ画像とその地中モデルをGANの学習に 用いる． モデル逆推定は，まず未学習のシミュレーション画 像で評価する．ここでは，地中に物体1個が存在す る図4の(0, 0)のレーダ画像とその地中モデルのペア 計38,400枚から，学習用6000枚と検証用6000枚を ランダムに選択し，図2のGANによりモデル逆推定 の精度を評価する．次に，図4の(0, 0)のシミュレー ション画像6000枚を学習した結果から，実際の実験 画像のモデル逆推定を評価する．ここで，pix2pixは 文献[17], [18]と同じネットワークを用いる． 3. 2 シミュレーション画像のモデル逆推定 図5に未学習のシミュレーション画像からモデル逆 推定をした結果例を示す．図5は，左から入力となる 未学習の検証用レーダ画像，GANが出力した地中モ デルの推定画像，正解画像，推定画像と正解画像との 差分画像である．レーダ画像及び地中モデルの図中の図 4 GPU クラスタを用いた FDTD 法により生成した地中レーダ画像の例（中心周波数
800 MHz，ターゲットの大きさ 10× 10 × 10 cm，深さ 40 cm，不要物体 (m, n)）
Fig. 4 Examples of GPR images by the FDTD method with a GPU cluster (center frequency 800 MHz, target size 10× 10 × 10 cm, depth 40 cm, other objects (m, n)).
図 5 GAN による地中モデル逆推定の例（左から入力画像， 推定画像，正解画像，差分画像）
Fig. 5 Examples of underground model inversion using the GAN, input images, estimated images, correct images, differ-ences (from left to right).
色は，レーダ画像では電界強度の高低，地中モデルで は比誘電率の高低をそれぞれ赤から青で示している． 図5の地中物体の比誘電率は，上から1.0，5.0，9.0， 金属である．また差分画像は，類似度が高いところほ ど白で，低いところほど黒で表しており，白が多いほ ど地中モデル逆推定の精度がよいことを意味する． 図5の結果より，位置や形状，また材質を表す色も よく一致していることが確認できる．図5で示した推 定画像と正解画像の差分画像から，全画素中の白の割 合で地中モデルの逆推定率を定量評価すると，検証画 像6000枚の推定率の平均は86.9%であった．推定精 度は，学習枚数や学習回数を増加させると高くなると 考えられる． 3. 3 コンクリートブロックによる実験画像のモデ ル逆推定 シミュレーション画像を学習したGANによる実験 画像のモデル逆推定を評価する．実験画像の生成では， 既知の内部状態を作ることができる図6に示すコンク リートブロックによるモデル実験を行う[20]．FDTD シミュレーションでは，誘電率や水分率分布など内部 状態を正確にモデル化することは困難であるので，図 6の既知のモデルでの実験と同じモデルでシミュレー ションをしても，図7のようにシミュレーションで生 成した画像と実際の実験画像では差が生じ，逆推定の 精度が低くなることが考えられる．ここでは実験画像 の逆推定を，(1) 3.2で評価したシミュレーション画像 のみを学習しモデルを逆推定するGANと，(2)学習に 使用するシミュレーション画像を疑似実験画像に変換
するGANを付加した2段のGAN (Stack GAN)で評
価する．ここで，StackGANは図8に示すように，文 献[17], [18]のpix2pixのネットワークを，疑似実験画 像変換用とモデル逆推定用の2段で用いるものである． 学習に使用するシミュレーション画像と実際の実験 画像の差で生じるモデル逆推定の精度低下を改善する ために，GANを用いてシミュレーション画像を疑似実 験画像に変換する手法を導入する．シミュレーション 画像から疑似実験画像への変換では，GANの学習で シミュレーションと実験のペアのレーダ画像が必要で
図 7 シミュレーション画像と実験画像の相違例（左：シ ミュレーション，右：実験）
Fig. 7 Examples of difference of simulation and experimental im-ages (left: simulation, right: experiment).
図 8 GAN を 2 段接続した StackGAN Fig. 8 StackGAN with connected two GANs.
図 9 GAN によるシミュレーション画像から疑似実験画像 変換の例（左：シミュレーション，右：疑似実験画像） Fig. 9 Examples of image conversion of simulation images to
pseudo-experimental images by using the GAN (left: sim-ulation image, right: pseudo-experimental image).
ある．シミュレーション画像を疑似実験画像に変換す るために，2.3とは別にモデル実験と同じ計算モデル でシミュレーションすることでGANの学習に必要な 図7のシミュレーション画像と実験画像のペアを生成 する[20]．ここでは，コンクリート中に空気，土，水， 物体なし（コンクリート）の4種類の内部物体を設置 し，大きさや位置を変えたモデル実験により実験画像 を60枚生成する．モデル実験と同じモデルのシミュ レーション画像と実験画像のペアをGANで学習する ことで，シミュレーション画像を実験画像に近い疑似 実験画像に変換する．図9にシミュレーション画像を 疑似実験画像に変換した例を示す．図9は左が入力す るシミュレーション画像，右がGANで変換した疑似 図 10 Stack GAN による実際のレーダ画像の地中モデル逆 推定例 (a) 入力実験画像，(b) GAN，(c) Stack GAN Fig. 10 Examples of underground model inversion from
experi-mental GPR images using Stack GANs. (a) input exper-imental GPR images，(b) using the GAN, (c) using the Stack GAN. 実験画像である．図9のようにGANで学習用シミュ レーション画像を疑似実験画像に変換した後に，レー ダ画像からモデル逆推定するGANで学習するStack GANにより実験画像の地中モデルを推定する． 図10に実験画像のモデル逆推定例を示す．図10は， (a)検証する実験画像，(b) 3.1の6種類のシミュレー ション画像のみを6000枚学習したGANによる実験 画像のモデル逆推定の結果，(c) (b)に疑似実験画像変 換を付加したStackGANの結果である．図10(c)は，4 種類の物体の実験画像とシミュレーション画像のペア 60枚により疑似実験画像変換を学習した後に，6種類 の物体によるシミュレーション画像6000枚を疑似実 験画像に変換し，この変換した疑似実験画像とモデル 画像のペア6000枚によりモデル逆推定を学習するこ とで，実験画像からモデル逆推定を行った結果である． 図10は，4種類の物体によるモデル実験から各種類1 枚ずつ選択した左から物体なし，空気，土，水の結果 例である．図10の物体の位置や大きさは，空気は深 さが24 cmで幅が14 cm，土も同様に深さが24 cmで 幅が14 cm，水は深さが18 cmで幅が21 cmである． レーダ画像及び地中モデルの図中の色は，図5と同様 にレーダ画像では電界強度の高低，地中モデルでは比 誘電率の高低をそれぞれ赤から青で示している．
図10(b)の結果から，シミュレーション画像のみを 学習したGANでも実験画像のモデル逆推定は可能で あるが，物体の材質，位置，大きさに誤りやノイズが多 いことが分かる．これに対して図10(c)のStack GAN では，物体の種類に応じて比誘電率の色が出力されて おり，また，位置や大きさについても，空気は水に比 べ位置が深く大きさも小さいことが結果から説明でき る．土は実験で使用したコンクリートとの比誘電率差 が小さく反射画像が弱いため推定が困難な物体であ り，深さも大きさも正しくない結果となっている．こ れらのことから，図10(c)のようにシミュレーション 画像を疑似実験画像に変換後にモデル逆推定を行うこ とにより，図10(b)のシミュレーション画像のみの場 合より材質，位置，大きさの推定が改善されることが 分かる． 図10の結果は，前述のように4種類の物体による 実験画像を元に6種類の物体によるシミュレーション 画像を疑似実験画像に変換したが，図10で入力した 実験画像は物体が4種類であるため，対象物体を合わ せることにより更に推定精度は改善されると考えられ る．以上のようにここでは，シミュレーション画像を 疑似実験画像に変換するGANを付加することにより， 実験画像の逆推定が可能になることを定性的に示した が，今後定量評価を実施予定である．
4.
む
す
び
本論文では，地中レーダのレーダ画像からのモデ ル逆推定を目的に，敵対的生成ネットワークGANを 用いた深層学習によるモデル逆推定について述べた． FDTDシミュレーションで生成した学習用レーダ画像 をGANで疑似実験画像に変換し更にGANでモデル 逆推定するStack GANにより，実験画像の精度のよい モデル逆推定が可能になることを示した． 地中レーダでは深層学習で必要な教師付学習用レー ダ画像の生成が困難であったが，FDTDシミュレー ションで大量にレーダ画像を生成することで，これま で困難とされてきたレーダ画像のモデル逆推定が可能 になる．本論文の深層学習によるレーダ画像処理の手 法は，ここで示したモデル逆推定の他にも，2.3の様々 な条件のシミュレーションで生成した大量のレーダ 画像を用いることにより，クラッタ除去[21]，超解像 化[22]，高SN化[23]，更に畳み込みニューラルネッ トワークCNNによるレーダ画像の物体識別の高精度 化[16], [24]なども実現できる． 今後の課題として，実験画像による推定結果の定量 評価や精度向上手法の検討，また道路空洞や埋設管調 査の現場での実データでの検証があげられる． 謝辞 本研究の一部は，総務省戦略的情報通信研究 開発推進事業SCOPE，科研費・基盤研究(B) 20H02401 の支援による． 文 献 [1] 佐藤源之，“地中レーダによる地下イメージング，” 信学論（C）， vol.J85-C, no.7, pp.520–530, July 2002.
[2] K. Belli, C. Rappaport, H. Zhan, and S. Wadia-Fascetti, “Effec-tiveness of 2D and 2.5D FDTD ground penetrating radar modeling for bridge deck deterioration evaluated by 3D FDTD,” IEEE Trans. Cosine’s and Remote Sensing, IEEE Trans. Geosci. Remote Sens., vol.47, no.4, pp.3656–3663, April 2009.
[3] X. Wei and Y. Zhang, “Autofocusing techniques for GPR data from RC bridge decks, “IEEE Select. Topics in Appl. Earth Observ. and Remote Sens., vol.7, no.12, pp.4860–4868, Dec. 2015. [4] X. Wei and Y. Zhang, “Interference removal for autofocusing
of GPR data from RC bridge decks,” IEEE Select. Topics in Appl. Earth Observ. and Remote Sens., vol.8, no.3, pp.1145–1151, March 2015.
[5] P. Shangguan and I. Al-Qadi, “Calibration of FDTD simulation of GPR signal for asphalt pavement compaction monitoring,” IEEE Trans. Geosci. Remote Sens., vol.53, no.3, pp.1538–1548, March 2015.
[6] 園田 潤，昆 太一，佐藤源之，阿部幸雄，“FDTD 法に
よる地中レーダを用いた鉄筋コンクリート下の空洞検出特 性，” 信学論（C）， vol.J100-C, no.8, pp.302–309, Aug. 2017. [7] P. Gamba and S. Lossani, “Neural Detection of Pipe signatures
in ground penetrating radar images,” IEEE Trans. Geosci. Remote Sens., vol.37, no.2, pp.790–797, Feb. 2000.
[8] T. Hara and A. Hirose, “Plastic mine detecting radar system us-ing complex-valued self-organizus-ing map that deals with multiple-frequency interferometric images,” Neural Networks, vol.17, no.8, pp.1201–1210, Oct. 2004.
[9] 福島邦彦，“位置ずれに影響されないパターン認識機構の
神経回路のモデル — ネオコグニトロン —,” 信学論（A）, vol.J62-A, no.10, pp.658–665, Jan. 1979.
[10] K. Fukushima, “Neocognitron: A self-organizing neural network model for a mechanism of patter n recognition unaffected by shift in position,” Biological Cybernetics, vol.36, no.4, pp.193–202, 1980.
[11] Y. LeCun, B. Boser, J.S. Denker, D. Henderson, R.E. Howard, W. Hubbard, and L.D. Jackel, “Backpropagation applied to handwrit-ten zip code recognition,” Journal Neural Computation, vol.1 no.4, pp.541–551, 1989.
[12] 園田 潤，木本智幸，“ディープラーニングによる地中レー
ダ物体識別のための GPU クラスタを用いた FDTD 法に
よる学習用レーダ画像生成，” 2016 信学ソ大，CS-1-3, Sept.
2016.
[13] J. Sonoda and T. Kimoto, “Object Identification from GPR images by deep learning,” Proc. APMC2018, Nov. 2018.
nets,” arXiv:1411.1784, 2014. [20] 園田 潤，木本智幸，“畳み込みニューラルネットワークと 敵対的生成ネットワークを用いた深層学習による地中レー ダ画像の物体識別，” 信学技報，SANE2018-123, Nov. 2019. [21] 園田 潤，木本智幸，“敵対的生成ネットワークを用いた 深層学習による地中レーダ画像からのクラッタ除去，” 信 学技報，EST2018-51, Sept. 2018. [22] 園田 潤，木本智幸，“敵対的生成ネットワークを用いた 深層学習による地中レーダ画像の超解像化，” 信学技報， EST2018-122, Jan. 2019. [23] 園田 潤，木本智幸，“敵対的生成ネットワークを用いた 深層学習による地中レーダ画像の SN 比向上，” 信学技報， EST2019-79, Jan. 2020. [24] 園田 潤，木本智幸，“畳み込みニューラルネットワーク と敵対的生成ネットワークを用いた深層学習による地中 レーダ画像の物体識別と画像化，” 地盤工学会誌，vol.67, pp.737–740, May 2019. （2020 年 4 月 10 日受付，9 月 14 日再受付， 2021 年 2 月 16 日公開） 園田 潤 （正員） 2005 東北大学大学院環境科学研究科博士 課程了．現在，仙台高等専門学校総合工学 科教授．主として電磁波工学，計算電磁気 学，レーダ信号処理に関する研究に従事． 博士（学術）．IEEE，電気学会，日本人工知 能学会，日本地球惑星科学連合，日本自然 災害学会，日本災害情報学会各会員． 木本 智幸 （正員） 1993 大阪大学大学院基礎工学研究科博 士前期課程修了．現在，大分工業高等専門 学校電気電子工学科教授．主としてニュー ラルネットワークによる並列分散処理及び 人工知能の応用に関する研究に従事．博士 （工学）．日本物理学会，日本人工知能学会 各会員．
