深層学習による空中写真を対象とした土地被覆分類の試み

全文

(1)国際ICT利用研究学会研究会研究論文誌第１巻第１・2合併号. 深層学習による空中写真を対象とした土地被覆分類の試み今井優 † †. 立正大学地球環境科学部外部研究員 †. 要旨. [email protected]. 空中写真を対象に，深層学習による画像変換プログラム「pix2pix」を用いて土地. 被覆分類を行った．その結果，Overall accuracy は 5 割強と高くなかったものの，森林や市街地等の学習用データ数を十分確保できた土地被覆では比較的正解率が高いモデルが構築できた．分類精度の向上には，学習用データ数の増量やより適したアルゴリズムの採用が有効と考えられる．キーワード. 1. 土地被覆分類，空中写真，深層学習，AI，CNN，GAN，pix2pix. はじめに. ると考えられる．一方で，空中写真・衛星画像の土地被覆分類は，任意. 土地被覆は，自然環境の把握や国土利用計画の検討等. の航空カメラ・センサによる特定の撮影日時の画像に対. に役立つ，有用性の高い基盤情報である．そのため，空. して行われることが多く，手動・自動にかかわらず各研. 中写真や衛星画像を自動判読・分類して土地被覆情報を. 究で個別にパラメータが調整されるため [10]，他の写真. 作成できるようになることは，利用目的に即した年代や. への適用が難しい．しかし，複数のシーンの空中写真を空間解像度の土地被覆情報を迅速に活用する上で役立つ．対象に CNN を用いることで異なる写真間に共通した特衛星画像の分類に関しては，これまでもピクセルベー徴を抽出できるのではないかと考えた．そこで，本研究スやオブジェクトベースによる手法や，ニューラルネット. では CNN を用いて空中写真を対象とした汎用性の高い. ワーク（NN: neural network）をはじめとする機械学習. 土地被覆分類モデルを構築することを目的とした．. の手法が活用されてきた [1][2][3][4]．従来型のニューラルネットワークでは手作業による特徴量抽出が必要とされたが，自動的な特徴量抽出とともにダウンサンプリングを行う畳み込みニューラルネットワーク（CNN: Convolutional. neural network）が提案され，近年のコンピュータ性能の向上等をきっかけに有力な画像認識手法となった [5]． CNN のような機械学習は，従来の NN と比べて計算過程である中間層が多いことから深層学習と呼ばれている．深層学習はリモートセンシングの分野でも，特にマルチスペクトルやハイパースペクトル画像に対して多く活用され始めている [2][6]．また，可視光の画像に対しても，各画像に含まれる主な地物を識別した例 [7]，RGB オルソ画像と数値表層モデル（DSM：Digital Surface Model）を元に分類を行った例 [8]，建築物の抽出を行った例 [9] 等がある．しかし，可視光の画像のみを対象に土地被覆の領域分割（セグメンテーション）を行った研究は見られない．土地被覆分類には植生の把握に有効な近赤外域 [1] や表層の高さの情報の併用が効果的だが，可視光の画像のみからの分類を可能にすることで，過去の情報資源の蓄積が豊富な空中写真をより活用しやすいものにでき 2018 年 6 月 11 日受付 2018 年 8 月 15 日採録. 2. 方法対象地域は，代表的な凡例を含む，関東地方の平地か. ら丘陵部にかけての北緯 139 - 139.5 度, 東経 35.8333 -. 36.4167 度の範囲とした．本研究は日本国内全域に適用可能な土地被覆分類モデルの構築を目標としているが，対象領域が広域になるにつれて多くの凡例が含まれることになり，分類しようとする凡例数に比例して必要な計算量や教師データ数が大きくなる．そのため，まずは手法の有効性検討のために限定した領域を対象にした．学習用データとして，入力画像の空中写真画像と教師画像の土地被覆画像のセットを用意した．空中写真画像には，異なる撮影日時の画像を接合して作成されている「地理院タイル（写真 2007 年∼）」[11] のズームレベル 18 を使用した．教師画像には「第 6・7 回自然環境保全基礎調査植生調査」[12] の成果（以下，環境省植生図と呼ぶ）をもとに凡例を相観レベルに統合して使用した．その中の「市街地」の凡例には，細区分として「建築物」「道路」「その他の市街地」の凡例を設けた．細区分には「基盤地. - 16 -.

(2) 深層学習による空中写真を対象とした土地被膜分類の試み. 図情報基本項目」[13] の「建築物」「道路縁」を使用し. 3. 結果・考察. た．道路縁は PostGIS (v2.4.3) と QGIS (v2.18.16) を用いて面データに加工して使用した．さらに「水域」の凡. 異なる反復回数でモデル構築を行った結果，回数に比. 例を基盤地図情報の「水域」を使用して作成した．正解. 例して地物の境界が明瞭になったものの，50 回では実際. 画像に用いた環境省植生図は 1/25,000 と空中写真に対し. の地物の境界からやや外れることがあった（図 1）．こ. て縮尺が小さく作成年代も幅があるため，学習用データ. れは，過学習が起こり，教師画像に用いた環境省植生図. には空中写真と土地被覆が一致していない箇所も含まれ. の縮尺が小さく境界が一致していない点が再現されてし. るが，データの絶対数を多くすることで補えるのではな. まったものと考えられる．そのため，本研究では反復回. いかと考えた．対象地域内で空中写真と植生調査の成果. 数 20 回の結果を採用することにした．反復回数 20 回の. が整備されている範囲の中からランダムで約 125m 四方. モデルを，モデル構築に使用していない画像に対して適. の区画を 22,729 メッシュ抽出し，QGIS の地図帳機能を. 用した結果の一部を図 2 に示した．分類結果と，教師画像との比較を表 1，表 3 に，土地利. 用いて 256×256px の画像として出力した．よって，1 画素は約 0.5m 四方の範囲に該当する．これらを 4:1:1 の割合で学習用，テスト用，評価用に分割した．深層学習モデルの構築には，「pix2pix」[14] を使用した．. pix2pix は敵対的生成ネットワーク（GAN: Generative Adversarial Network）の技術を利用した汎用画像変換プログラムである．GAN とは生成器（generator）と識別器（discriminator）から構成されるモデル生成のための枠組みのことで，本物のデータと生成器が生成したデータのどちらが与えられたかを識別器が解答し，その正誤の情報と，本物データと生成データの差をもとに識別器を改善する．さらにその識別器に見破られないよう生成器も改善するという流れを繰り返すことで，共進化のように生成器と識別器の精度を上げていく手法である．pix2pix では，生成器にはセグメンテーションに適した CNN である Unet，識別器には一定のパッチ単位で識別する patchGAN が採用されており，前者は本研究の目的に，後者はテクスチャを有する空中写真の特徴の把握に適している．空間情報への pix2pix の活用事例としては岩崎・和山 [15] がある．実行環境構築は，pix2pix-tensorflow[16] を使用し，batchsize は 4 に設定した．反復回数は 1, 10, 20, 50 と変更して施行し，最適な回数を検討した．構築したモデルの精度を検証するため，評価用の空中写真画像へのモデル適用結果を既存の土地被覆情報と比較した．先に述べたとおり，教師画像に使用した環境省植生図には縮尺や年代が空中写真と一致していない箇所があり，モデルの精度を正しく評価できない可能性があるため，教師画像に加えて高解像度土地利用土地被覆図の 2016 年版 [17]（以下，土地利用被覆図）とも比較を行った．比較に際し，モデル適用により得られる階調画像を，GRASS GIS (v7.4.0) によりカテゴリ値に再分類した．また，GDAL/OGR (v2.2.3) で微小なピクセルを除去した．ランダムな地点を発生させ，その地点での分類結果を教師画像と土地利用被覆図と比較した．. 図 1: 異なる反復回数で構築したモデルの適用結果の比較（上は農地，下は森林の箇所に適用した結果）用被覆図との比較を表 2，表 4 に示した．両者は概ね同様の傾向を示した．総合的な正確さである Overall accuracy. (OA) については，大区分での比較では約 5 割強，細区. - 17 -.

(3) 国際ICT利用研究学会研究会研究論文誌第１巻第１・2合併号. 分では約 3 割強だった．その区分と判断した結果がどの. 4. まとめと今後の課題. 程度正しいかを示す User’s accuracy (UA) と各区分をど総合的な分類精度は高くなかったものの，学習用デー. の程度抽出できたかを示す Producer’s accuracy (PA) の. タの数を十分に用意することができた針葉樹や市街地等. 指標をもとに，各区分の分類精度を検証した．森林と予測した地点の 7 - 9 割弱が正解であった．ま. では比較的正解率が高いモデルが構築できた．今後，学. た，森林である地点に対して約半数を森林と正しく判断. 習用データの数を増やしつつ，空中写真と教師画像の年. していた．残りの半数は誤って農地や市街地と判断して. 代が合致した誤りの少ない学習データを用いることで，. いた．細区分を見ると，森林の中では PA，UA ともに，分類精度の向上が見込まれる．また，今回は汎用的な画針葉樹，落葉広葉樹の順に高かった．この 2 つの凡例は像変換プログラムを使用したが，カテゴリ分類に特化し互いに誤った例が多かった．実際の分類結果の画像を見. た GAN[18] を導入する等，より適した深層学習のアルゴ. ると，図 2 - a では，滑らかな樹冠の森林が広葉樹，尖り. リズムを選択することが有効であると考えられる．一方. のあるテクスチャの森林が針葉樹として抽出されており，で，全ての過程を深層学習で完結しようとするのではなく，分類結果の不確実性を出力する等，目視による確認目視による写真判読と矛盾していない印象を受けた．また，図 2 - b では，教師画像が針葉樹のみで占められて. が必要な箇所を明確にする仕組みが実用的な土地被覆図. いるが，分類結果では複数の区分に分けられていること. を作成する上で重要であるとも考えられる．. から，教師画像以上に詳細なスケールの情報が得られることが示唆された．しかし，図 2 - b の例では，凡例の. 謝辞. 境界が緩やかな階調の変化で表現されたため，その中間に表れる色に該当する凡例として再分類されてしまっていた．大区分では，農地と予測した地点の中で 4 - 6 割が正解であった．森林と市街地に対して農地と判断してしまった結果が多かった．農地である地点に対しては 6 割弱 -. 7 割弱を農地と正しく判断していた．残りは誤って市街地と判断した例が多かった．細区分では，水田と畑の相互の誤抽出がそれぞれ最も多かった．対象地域では，二毛作が行われることがあるため，両区分の分類精度の向上や正しい評価のためには，学習用データや分類に用いる空中写真，検証用土地被覆情報の季節を明確にする必要がある．分類結果の画像を見ると，図 2 - c では，農地の中で土の色が目立つ箇所が畑と分類されていた．図 2 - d では，畝がある箇所で畑として抽出された．市街地の UA に関しては，教師画像との比較では 6 割弱，土地利用被覆図との比較では 3 割強の正解率と差があった．どちらも誤って農地や森林と判断した例が多かった．市街地の地点に対して正しく予測した例は約 6 割強だった．残りは主に農地に分類されてしまっていた．分類結果の画像では，道路は比較的教師画像通りに抽出されていた（図 2 - c, d）．建築物については，境界線が明瞭でないものの，概ね抽出できていた．常緑広葉樹，草地，水域については，PA，UA ともに著しく低かった．これは，学習用データにおけるそれらの凡例の数量が少なかったり，草地については芝地やササ草原等，被覆状態の幅が大きいためと考えられる．. 本論文を投稿するにあたり，立正大学地球環境科学部の米林仲教授に原稿のとりまとめに関してご協力いただきました．立正大学地球環境科学部の山下倫範教授には論文投稿に関してご助力いただきました．心より感謝申しあげます．. 参考文献 [1] 村上拓彦，望月翔太．リモートセンシングによる植生マッピング (＜特集＞植生のリモートセンシング)．日本生態学会誌．2014, 64(3), 233-242． [2] P. Ghamisi, J. Plaza, Y. Chen, J. Li, A. J. Plaza. Advanced spectral classifiers for hyperspectral images: A review. IEEE Geoscience and Remote Sensing Magazine. 2017, 5(1), 832. [3] M. Barthakur, T. Thakuria, K. K. Sarma. Artificial Neural network (ANN) based object recognition using multiple feature sets. Soft Computing Techniques in Vision Science, 2012, 127-135. [4] ドニークスハルドノ，福江潔也，下田陽久，坂田俊文. マルチバンド画像を対象とした同時生起行列に基づくニューラルネットワーク土地被覆分類モデルの検討. 日本リモートセンシング学会誌．1996, 16(1), 36-49. [5] 青木和昭．深層学習を用いた画像認識と物体検出．国際 ICT 利用研究学会研究会研究論文誌．2017, 1, 9-14. [6] Y. Chen, H. Jiang, C. Li, X. Jia. Deep feature extraction and classification of hyperspectral images based on convolutional neural networks. IEEE Transactions on Geoscience and Remote Sensing. 2016, 54(10), 6232-6251. [7] A. Romero, C. Gatta, G. Camps-Valls. Unsupervised deep feature extraction for remote sensing image classification. IEEE Transactions on Geoscience and Remote Sensing. 2016, 54(3), 1349-1362.. - 18 -.

(4) 深層学習による空中写真を対象とした土地被膜分類の試み. 図 2: 異なる土地被覆におけるモデルの適用結果の一部. 表 1: 分類結果と教師画像の大区分での比較. UA(%) 予測 \ 教師森林農地草地市街地水域その他計 75.6 森林 2658 187 192 243 118 118 3516 農地 939 3031 424 1988 110 164 6656 45.5 草地 15 3 2 4 0 1 25 8.0 市街地 817 1341 249 3865 83 103 6458 59.8 水域 304 125 49 115 25 35 653 3.8 その他 22 56 16 204 4 5 307 1.6 計 4755 4743 932 6419 340 426 17615 OA(%): PA (%) 55.9 63.9 0.2 60.2 7.4 1.2 54.4 UA: User’s accuracy, PA: producer’s accuracy, OA: Overall accuracy. - 19 -. 表 2: 分類結果と土地利用被覆図との大区分での比較. UA(%) 予測 \ 比較画像森林農地草地都市水域裸地計 86.5 森林 3040 263 54 61 92 6 3516 農地 913 3957 449 1019 56 262 6656 59.5 草地 17 5 2 1 0 0 25 8.0 市街地 924 2797 202 2312 34 189 6458 35.8 水域 375 178 35 41 18 6 653 2.8 その他 32 183 12 72 0 8 307 計 5301 7383 754 3506 200 471 17615 OA(%): PA (%) 57.3 53.6 0.3 65.9 9.0 53.0 UA: User’s accuracy, PA: producer’s accuracy, OA: Overall accuracy.

(5) 国際ICT利用研究学会研究会研究論文誌第１巻第１・2合併号. 表 3: 分類結果と教師画像の細区分での比較落葉常緑予測 \ 教師針葉樹水田畑広葉樹広葉樹落葉広葉樹 496 52 610 78 44 常緑広葉樹 51 5 75 11 6 針葉樹 449 34 886 24 24 水田 195 189 181 1346 824 畑 124 110 140 504 357 草地 10 0 5 2 1 建築物 114 42 103 156 94 道路 45 21 59 82 50 その他の市街地 140 156 137 460 499 水域 134 17 153 84 41 その他 5 4 13 37 19 計 1763 630 2362 2784 1959. その他の建築物道路水域その他計 UA (%) 市街地 109 78 10 41 63 67 1130 30.1 20 24 1 24 9 8 540 2.1 63 35 1 29 46 43 1537 54.2 298 813 206 154 77 100 4782 30.7 126 501 242 72 33 64 2335 15.7 2 2 0 2 0 1 168 8.0 60 266 601 54 18 33 1706 39.0 26 171 15 365 17 10 656 42.4 163 1827 324 242 48 60 4100 45.0 49 71 16 28 25 35 639 3.8 16 55 8 141 4 5 22 1.6 932 3843 1424 1152 340 426 17615 OA(%): PA (%) 28.1 0.8 37.5 48.3 18.2 0.2 47.5 42.2 31.7 7.4 1.2 33.6 UA: User’s accuracy, PA: producer’s accuracy, OA: Overall accuracy 草地. 表 4: 分類結果と土地利用被覆図との細区分での比較落葉常緑落葉常緑水田畑地草地都市水域裸地計 UA (%) 広葉樹市街地針葉樹針葉樹落葉広葉樹 628 94 20 639 77 83 33 24 47 3 1648 38.1 常緑広葉樹 49 9 5 92 20 22 8 22 5 2 234 3.8 針葉樹 495 86 6 917 27 34 13 15 40 1 1634 56.1 水田 327 59 11 148 1264 1474 313 572 42 173 4383 28.8 畑 207 32 8 121 512 707 136 447 14 89 2273 31.1 草地 12 1 0 4 2 3 2 1 0 0 25 8.0 市街地 539 77 4 304 1272 1525 202 2312 34 189 6458 35.8 −建築物 186 24 0 98 302 252 46 588 11 34 1541 38.2 −道路 81 10 2 64 213 202 29 224 7 29 861 26.0 −その他の市街地 272 43 2 142 757 1071 127 1500 16 126 4056 37.0 水域 187 35 5 148 95 83 35 41 18 6 653 2.8 その他 19 1 0 12 77 106 12 72 0 8 307 計 2463 394 59 2385 3346 4037 754 3506 200 471 17615 OA(%): PA (%) 25.5 2.3 - 38.4 37.8 17.5 0.3 65.9 9.0 33.3 UA: User’s accuracy, PA: producer’s accuracy, OA: Overall accuracy 予測 \ 比較画像. - 20 -.

(6) 深層学習による空中写真を対象とした土地被膜分類の試み. [8] M. Kampﬀmeyer, A. B. Salberg, R. Jenssen. Semantic segmentation of small objects and modeling of uncertainty in urban remote sensing images using deep convolutional neural networks. In Proceedings of the IEEE conference on computer vision and pattern recognition workshops. 2016, 1-9. [9] R. Hamaguchi, S. Hikosaka. Building Detection From Satellite Imagery Using Ensemble of Size-Specific Detectors. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops. 2018, 187-191. [10] 越智士郎．画像オブジェクトに基づく高分解能衛星画像での土地被覆分類手法の検討．東南アジア研究．2008，46(4)， 578-592． [11] 国土地理院．地理院タイル一覧電子国土基本図（オルソ画像）．https://maps.gsi.go.jp/development/ichiran. html#ort，(取得 2018-05-13). [12] 環境省．第 6 - 7 回自然環境保全基礎調査植生調査．http: //gis.biodic.go.jp/webgis/sc-025.html?kind=vg67， (取得 2017-07-09). [13] 国土地理院．基盤地図情報ダウンロードサービス．https: //fgd.gsi.go.jp/download/menu.php，(取得 2017-1127). [14] P. Isola, J.Y. Zhu, T. Zhou, A.A. Efros. Image-toImage Translation with Conditional Adversarial Networks. arXiv preprint. 2017, arXiv:1611.07004v2. [15] 岩崎亘典，和山亮介．Deep Learning での地図タイル活用の検討．The 31st Annual Conference of the Japanese Society for Artificial Intelligence, 2017, 2B1-5. [16] aﬃnelayer. pix2pix-tensorflow. GitHub. https: //github.com/affinelayer/pix2pix-tensorflow, (取得 2017-04-13). [17] ALOS 解析研究プロジェクト．日本域高解像度土地利用土地被覆図 2016 年 9 月リリース版（バージョン 16.09）．http: //www.eorc.jaxa.jp/ALOS/lulc/jlulc_jpn.htm，(取得 2017-11-27). [18] J. T. Springenberg. Unsupervised and Semi-supervised Learning with Categorical Generative Adversarial Networks. arXiv preprint. 2016, arXiv:1511.06390v2.. 著者紹介今井優朝日航洋 (株) G 空間研究所研究員．2013 年立正大学大学院地球環境科学研究科博士前期課程修了．同年 (株) プレック研究所研究員，2016 年 Pacific Spatial Solutions, LLC 社員，2017 年より現職にて，一般を対象とした GIS 教育等に従事．自然環境分野での空間情報技術の活用を得意とする．. - 21 -.

(7)