時系列画像に含まれるオブジェクト特徴の変遷要約とその可視化

DEIM Forum 2016 P1-2

時系列画像に含まれるオブジェクト特徴の変遷要約とその可視化

松永 知也

†

_{森 啓太}

†

_{本田 理恵}

‡

†高知大学大学院総合人間自然科学研究科 〒780-8520 高知県高知市曙町 2-5-1

‡高知大学理学部情報科学教室 〒780-8520 高知県高知市曙町 2-5-1

E-mail: †{matsunag, keitmori}@is.kochi-.ac.jp ‡[email protected]

あらまし 本研究では大量の時系列画像から未知の知識を発見するためのデータマイニング手法の一つとして 画像中に含まれるオブジェクトに着目して，抽出されたオブジェクト情報の要約・可視化を検討した。この際,時系 列画像から時間的連続性を考慮した多変量正規分布によるモデリングによってオブジェクト抽出をおこない，自己 組織化マップ（SOM）を利用して各オブジェクトに意味的ラベル付けをおこなったのち，データベースに格納した。 また，時間と共に変化するオブジェクトの特徴を，生命線，軌跡を用いて，分裂などの進化の過程も含めて示すこ とのできるデータモデルを作成し，その検索，可視化システムを構築した。このシステムを気象画像に適用しその 効果を確認した。 キーワード 時空間，時系列画像，オブジェクト，知識発見，混合分布，自己組織化マップ，軌跡，変遷

1 .

は じ め に

近 年 ， 様 々 な 分 野 で 大 規 模 デ ー タ の ア ー カ イ ブ が 形 成 さ れ て き て い る 。 地 球 観 測 ， セ キ ュ リ テ ィ 監 視 な ど の 分 野 で も 大 量 の 画 像 ， 映 像 が 蓄 積 さ れ ， 時 空 間 に つ い て の ビ ッ グ デ ー タ を 形 成 し て い る 。 こ れ ら の 時 空 間 デ ー タ は 基 本 的 に は 時 系 列 画 像 と し て 保 管 さ れ る こ と が 一 般 的 で あ る が ， そ の 中 に は 時 間 と と も に 形 を 変 え な が ら 移 動 す る 対 象 物 ‘ オ ブ ジ ェ ク ト ’ が 含 ま れ て い る こ と が 多 い 。 オ ブ ジ ェ ク ト は ， 時 間 の 経 過 と と も に 生 成 ・ 消 滅 し ， あ る 場 合 に は 分 裂 し た り ， 複 数 の オ ブ ジ ェ ク ト 間 で 相 互 作 用 を 行 っ た り す る 。 ま た ， 特 定 の 移 動 パ タ ー ン や 共 起 関 係 な ど が 存 在 す る こ と も 考 え ら れ る 。 よ っ て 時 間 と と も に オ ブ ジ ェ ク ト が ど の よ う な 変 遷 を と げ る か 要 約 し て と ら え る こ と が ， オ ブ ジ ェ ク ト に 着 目 し た 時 系 列 画 像 か ら の 時 空 間 知 識 発 見 の 基 本 と な る 。 画 像 か ら の オ ブ ジ ェ ク ト 抽 出 法 の 一 例 と し て は ， HOG 特 徴 量 を 利 用 し て 人 物 識 別 を 行 う 例[ 1 ]_{や ， 差 分 ス} テ レ オ に 基 づ い て 画 像 内 か ら 人 物 を 検 出 す る[ 2 ]_{と 言 っ} た 例 が あ る 。 抽 出 し た い オ ブ ジ ェ ク ト の パ タ ー ン が 特 定 さ れ な い 場 合 ， 一 部 の 手 法 は 適 用 が 難 し く な る 。 ま た 、 オ ブ ジ ェ ク ト が 分 裂 や 融 合 な ど の 動 的 な 変 動 を 遂 げ る 場 合 、 同 様 に 従 来 の 手 法 の 適 用 は 難 し く な る 。 こ の よ う な 場 合 で も 使 用 可 能 な 手 法 と し て ， 著 者 ら の 先 行 研 究 [ 3 ] [ 4 ]_{で は ，オ ブ ジ ェ ク ト が 存 在 す る 可 能 性 を 示} す ２ 値 画 像 か ら ， オ ブ ジ ェ ク ト の 分 布 を 多 変 量 正 規 分 布 の 混 合 分 布 で モ デ ル 化 し ，そ の パ ラ メ ー タ を EM ア ル ゴ リ ズ ム[ 5 ]_{に よ っ て 取 得 し ， そ の 時 間 発 展 の 履 歴 も 含} め て モ デ ル 化 す る 手 法 を 示 し た 。 ま た 抽 出 し た オ ブ ジ ェ ク ト 画 像 に 自 己 組 織 化 マ ッ プ[ 6 ]_{を 用 い て 意 味 的 ラ ベ} ル を 付 加 す る こ と に よ っ て ， 意 味 ， 位 置 ， 大 き さ な ど の オ ブ ジ ェ ク ト 情 報 を 要 約 す る こ と を 提 案 し た 。 さ ら に ，こ の 手 法 を 気 象 画 像 に 適 用 し た 予 備 的 実 験 に よ り ， 台 風 や 前 線 等 の 発 達 ， 消 滅 の 様 子 を 示 す こ と が で き る こ と を 示 し た 。 本 研 究 で は こ れ ら の オ ブ ジ ェ ク ト 情 報 の デ ー タ モ デ ル を 更 新 し ， 時 空 間 の オ ブ ジ ェ ク ト デ ー タ ベ ー ス に 格 納 し 、 web イ ン タ ー フ ェ ー ス を 通 じ た イ ン タ ラ ク テ ィ ブ な 検 索 ， 閲 覧 ， 可 視 化 が 可 能 な 試 行 錯 誤 的 な オ ブ ジ ェ ク ト に 着 目 し た 時 空 間 変 動 知 識 発 見 の 支 援 シ ス テ ム と し て 構 築 し た 。 第 ２ 章 で は ま ず 構 築 す る 知 識 発 見 支 援 シ ス テ ム の 概 要 に つ い て 説 明 し ， 第 ３ 章 で は オ ブ ジ ェ ク ト 情 報 の デ ー タ ベ ー ス 化 に つ い て 述 べ る 。 第 ４ 章 で は 実 際 に 実 装 し た 知 識 発 見 支 援 シ ス テ ム を 紹 介 し ， 活 用 事 例 に つ い て 述 べ る 。

2 .

シ ス テ ム 概 要

図 1 に 本 研 究 で 構 築 す る シ ス テ ム の 概 要 図 を 示 す 。 本 シ ス テ ム で は 大 量 の 画 像 ア ー カ イ ブ か ら ，(1)各 フ レ ー ム 画 像 を 2 値 化 ， サ ン プ リ ン グ し て 、 オ ブ ジ ェ ク ト の 存 在 す る 座 標 を 取 り 出 し た 後 、 多 変 量 正 規 分 布 の 混 合 分 布 で モ デ リ ン グ す る こ と に よ っ て オ ブ ジ ェ ク ト 抽 出[ 3 ]_{を お こ な う 。 そ の 後 ， オ ブ ジ ェ ク ト に 対 応 す る 画} 像 を 切 り 抜 き ， そ の 特 徴 量 （ FFT パ ワ ー ス ペ ク ト ル AC 成 分 ）を 抽 出 し た 後 ，(2)自 己 組 織 化 マ ッ プ に よ る ク ラ ス タ リ ン グ を 用 い て 意 味 的 ラ ベ ル 付 け を お こ な う 。(3) 得 ら れ た オ ブ ジ ェ ク ト の 情 報 を デ ー タ ベ ー ス に 格 納 し ，

図 1． シ ス テ ム の 概 要 ウ ェ ブ イ ン タ ー フ ェ ー ス を 通 し て イ ン タ ラ ク テ ィ ブ な 検 索 と 可 視 化 を 行 え る よ う に す る 。 ま ず オ ブ ジ ェ ク ト に 関 す る デ ー タ の 抽 出 方 法 に つ い 先 行 研 究[3][4]を も と に 示 す 。 オ ブ ジ ェ ク ト 抽 出 に は ， 以 下 の 多 変 量 正 規 分 布 の 混 合 モ デ ル を 用 い る 。 (1) こ こ で𝑋 = (𝑥, 𝑦)!_{は 任 意 の 座 標 点 ，𝜇} != (𝜇!", 𝜇!")! は 平 均 値(オ ブ ジ ェ ク ト𝑗の 中 心 )，𝑆!は 分 散 共 分 散 行 列(オ ブ ジ ェ ク ト の 広 が り)を 表 す 。 𝑆!= 𝜎!!"_𝜎!"# 𝜎!"#_𝜎!!". (2) 複 数 の オ ブ ジ ェ ク ト の 分 布 は 正 規 分 布 の 混 合 分 布 で 表 現 す る 。 𝑃 𝑋 𝜃 = !!!!𝜔!  𝑝(𝑋|𝜇!, 𝑆!), (3)   ! 𝜔! !!! = 1, (4) 𝜃 = 𝜔!, 𝜇!, 𝑆! |𝑗 = 1,2, ⋯ , 𝑂 . (5) こ こ で ，𝜔!は 重 み 係 数 ，𝑂は オ ブ ジ ェ ク ト の 数 ， 𝜃は モ デ ル パ ラ メ ー タ で あ る ．EM ア ル ゴ リ ズ ム[5]_{を 用 い て} 閾 値 処 理 に よ っ て 求 め ら れ た オ ブ ジ ェ ク ト 点 𝑋!|𝑖 = 1,2, ⋯ , 𝑁 に 対 す る 対 数 尤 度 を 最 大 化 す る 解 を 求 め て い く 。 こ の 際 ， 成 分 数𝑂に つ い て は 総 当 た り で 試 行 し ，ベ イ ズ の 情 報 量 基 準 (BIC)を 用 い て 最 適 な 解 を 求 め る 。 こ こ で 、 時 間 的 連 続 性 の 考 慮 の た め に ， 前 の 時 間 の 解 ， お よ び 前 の 時 間 の 解 か ら (1)𝜔!の 小 さ い 1〜 2 成 分 を 削 除 し た 値 ， (2)𝜔!の 大 き い 1〜 2 成 分 を 2 重 化 さ せ て 追 加 し た 計 5 種 類 (成 分 数𝑂-2〜 𝑂 +2)の 初 期 値 を 用 い た 。 こ れ に 対 し て 求 め ら れ た 解 か ら 再 び BIC を 用 い て 最 適 な (BIC 最 小 の )解 を 選 択 す る 。 こ こ で 解 に は 、 最 初 に 出 現 し た と き に そ の 時 刻 の n 番 目 の 解 で あ る 事 を 示 す ラ ベ ル ” yymmddhh_n” を つ け る 。 そ の 後 は 、 初 期 値 に 用 い た 値 の ラ ベ ル を 継 承 さ せ る 。yymmddhh_n か ら 分 裂 し て 新 た に 作 成 さ れ た 解 に つ い て は 、 yymmddhh_n_0, yymmddhh _n_1 の よ う な ラ ベ ル を 付 与 す る も の と す る 。 オ ブ ジ ェ ク ト が 分 裂 を 繰 り 返 す と ， yymmddhh_n_1_1_0 の よ う な ラ ベ ル が 生 成 さ れ る こ と に な る 。 こ の オ ブ ジ ェ ク ト の 継 続 性 を 示 す ラ ベ ル と は 別 に ， ” 意 味 的 “ ラ ベ ル も 付 与 す る 。 意 味 的 ラ ベ ル 付 け で は ， 事 前 の 学 習 で 自 己 組 織 化 マ ッ プ の 同 一 ユ ニ ッ ト に 配 置 さ れ た 画 像 の 特 徴 を も と に ， 専 門 家 の 知 識 を 用 い て あ ら か じ め 意 味 的 ラ ベ ル を 決 め て お き ， こ れ を 用 い て 各 オ ブ ジ ェ ク ト の ク ラ ス タ リ ン グ と そ の 意 味 付 け を 行 う 。 最 終 的 に 求 ま る 各 オ ブ ジ ェ ク ト の パ ラ メ ー タ は {(𝜃 , 𝑡, 𝑗  , 𝑙𝑎𝑏𝑒𝑙!,  𝑠𝑙𝑎𝑏𝑒𝑙!,)}| t=1,2,… ., j=1,2,… .Ｏ }と な る 。𝑙𝑎𝑏𝑒𝑙!は 解 の 継 承 を 示 す ラ ベ ル ，𝑠𝑙𝑎𝑏𝑒𝑙!は 意 味 的 ラ ベ ル で あ る 。 図 2 に 想 定 す る デ ー タ モ デ ル を UML の ク ラ ス 図 と し て 示 す 。 デ ー タ ベ ー ス 管 理 シ ス テ ム は 実 装 の 簡 易 さ を 重 視 し て PostgreSQL を 使 用 す る 。図 2 の フ ィ ー ル ド（ 属 性 ）の 型 は PostgreSQL の デ ー タ 型 で 示 す 。含 ま れ る ク ラ ス は 以 下 の ５ 種 で あ る（ 各 ク ラ ス が テ ー ブ ル に 相 当 ）。 ・ Image(画 像 ) ・ ImageSet(画 像 集 合 ) ・ ObjectInImage(画 像 内 オ ブ ジ ェ ク ト ) ・ ObjectTrajectory(真 の オ ブ ジ ェ ク ト ) ・ ObjectFamily（（ 真 の ）オ ブ ジ ェ ク ト の フ ァ ミ リ ） ・ SemanticLabel(意 味 的 ラ ベ ル に 関 す る 情 報 ) 図 2 オ ブ ジ ェ ク ト に 関 わ る デ ー タ モ デ ル 多 変 量 正 規 分 布 で 表 さ れ た ス ナ ッ プ シ ョ ッ ト 的 オ ブ ジ ェ ク ト は ObjectInImage で 表 現 し ，属 性 に は {(𝜃 , 𝑡, 𝑗  , 𝑙𝑎𝑏𝑒𝑙!,  𝑠𝑙𝑎𝑏𝑒𝑙!)}| t=1,2,… ., j=1,2,… .Ｏ } を も た せ る 。 一 方 ， 誕 生 か ら 消 滅 ま で 複 数 時 間 に わ た っ て 存 在 す る 本 来 の 意 味 の オ ブ ジ ェ ク ト を Object- Trajectory と し て 別 に 定 義 し た 。 ObjectTrajectory

p(X | µ

j

, S

j

) =

1

2π | S

j

|

1/2

exp −

1

2

(X − µ

j

)

T

_S

j −1

_{(X − µ}

j

)

"

#

$

%

&

'

の Key 属 性 は ，各ObjectInImage オ ブ ジ ェ ク ト の𝑙𝑎𝑏𝑒𝑙! で あ る 。ObjectTrajectory は ObjectInImage の 集 約 で と し 、共 通 の 祖 先 を も つ ObjectTrajectory オ ブ ジ ェ ク ト の 集 合 を ObjectFamily と し て さ ら に 記 載 す る 。

な お ，ObjectInImage, ObjectTrajectory, Object- Family の 関 係 の 概 念 的 な 説 明 を 図 3 に 示 す 。こ の よ う に オ ブ ジ ェ ク ト に 階 層 構 造 を 持 た せ て 記 載 す る こ と に よ り 、 ユ ー ザ が 必 要 な 階 層 構 造 の レ ベ ル で 検 索 や 可 視 化 を 行 う こ と が で き る よ う に な る 。

図 3. ObjectInImage, ObjectTrajectory, Object Family の 関 係 の 概 念 図

3 .

実 験

前 章 で あ げ た 手 法 を 気 象 画 像 か ら の 雲 塊 抽 出 に 適 用 す る と と も に ， こ れ ら の オ ブ ジ ェ ク ト デ ー タ を 用 い て ， イ ン タ ラ ク テ ィ ブ な 検 索 シ ス テ ム を 構 築 し た 。 そ の 実 装 結 果 に つ い て 本 章 で 説 明 す る 。

3.1 対 象 デ ー タ と 前 処 理

実 験 に は 高 知 大 学 気 象 情 報 頁[ 7 ]_{に 格 納 さ れ て い る ，} 気 象 衛 星 MTSAT7 IR1 バ ン ド の 画 像 か ら 日 本 付 近 の み を 抽 出 し た 画 像 を も ち い た 。 画 像 サ イ ズ は 640pixel × 480pixel, 期 間 は 2006 年 1 年 間 ，サ ン プ リ ン グ 間 隔 は ３ 時 間 と し て ，全 2920 枚 を 実 験 に 用 い た 。オ ブ ジ ェ ク ト 抽 出 と 自 己 組 織 化 マ ッ ピ ン グ に よ る ク ラ ス タ リ ン グ と 意 味 的 ラ ベ ル 付 け に つ い て は ， 先 行 研 究[ 4 ]_{と 同 様 の} 方 法 で 実 施 し た 。 意 味 的 ラ ベ ル 付 け に は 気 象 庁 が 公 開 し て い る 日 々 の 天 気 図[ 8 ]_{を 参 照 し て い る 。}

3.2 抽 出 実 験 の 結 果

オ ブ ジ ェ ク ト 抽 出 実 験 に つ い て は ， 先 行 研 究[ 4 ]_{同 様} 3〜 18 の 数 か ら 最 適 な モ デ ル を 選 ぶ 形 で 開 始 し ， そ の 後 前 の 解 の 成 分 数 を -2〜 +2 の 範 囲 で 変 化 さ せ て 解 を 接 続 す る 手 法 で 最 適 解 を 求 め た 。 表 1 に 抽 出 し た オ ブ ジ ェ ク ト の 数 を 種 類 別 に 示 す 。2920 枚 の 画 像 か ら 抽 出 さ れ た オ ブ ジ ェ ク ト は 合 計 21369 個 で あ っ た 。 1 枚 の 画 像 あ た り 平 均 7 個 程 度 の オ ブ ジ ェ ク ト が 検 出 さ れ た こ と に な る 。 ま た 今 回 の 実 験 で は 解 の 接 続 が 出 来 ず に 初 期 化 が 行 わ れ た ケ ー ス が 16 回 あ っ た 。こ れ に つ い て は 後 処 理 と し て 解 を 接 続 す る 処 理 に つ い て の 検 討 が 必 要 で あ る が ，頻 度 と し て は 1%以 下 と い う こ と で 影 響 は 限 定 的 で あ る こ と が わ か る 。 表 1. 抽 出 し た オ ブ ジ ェ ク ト 数 オ ブ ジ ェ ク ト 種 別 抽 出 数 ObjectInImage 21369(*14089) ObjectTrajectory 2419 ObjectFamily 118 *画 像 内 に 完 全 に 含 ま れ た オ ブ ジ ェ ク ト 数 ク ラ ス タ リ ン グ で は 画 像 内 に 完 全 に 含 ま れ た オ ブ ジ ェ ク ト の 小 領 域 画 像 14058 枚 に 対 し て 高 速 フ ー リ エ 変 換 (FFT)に よ る 特 徴 量 抽 出 を お こ な い ，得 ら れ た 特 徴 量 に 対 し て 自 己 組 織 化 マ ッ プ (SOM)[ 1 6 ]_{に よ る ク ラ ス タ} リ ン グ を お こ な っ た 。 自 己 組 織 化 マ ッ プ の 実 験 条 件 を 表 2 に 示 す 。 表 2． ク ラ ス タ リ ン グ 条 件 項 目 名 条 件 使 用 す る 画 像 枚 数 14058 枚 学 習 係 数 0.3 近 傍 距 離 2 ユ ニ ッ ト 数 6×6 学 習 回 数 3000 図 4 に ク ラ ス タ リ ン グ ・ 意 味 的 ラ ベ ル 付 け の 結 果 を 示 す 。 図 4 左 は 自 己 組 織 化 マ ッ プ の ユ ニ ッ ト の 代 表 画 像 ， 右 は 各 ユ ニ ッ ト に 対 し て つ け ら れ た 意 味 的 ラ ベ ル で あ る 。 さ ら に 共 通 し た ラ ベ ル を も つ ユ ニ ッ ト （ ク ラ ス タ ） を ス ー パ ー ク ラ ス タ と し て ま と め た 。 こ の 際 ， オ ブ ジ ェ ク ト 抽 出 に 適 し た 梅 雨 前 線 ， 台 風 ， 台 風 の 一 部 ， 寒 冷 前 線 ， 温 暖 前 線 ， 停 滞 前 線 の ６ 種 に 着 目 し ， そ れ 以 外 （ 広 く 薄 い 雲 な ど ） は そ の 他 の ク ラ ス タ と し て ま と め た 。 こ れ ら の 結 果 は 基 本 的 に は 先 行 研 究[ 3 ]_と 同 様 で あ る 。 図 4． ク ラ ス タ リ ン グ ・ 意 味 的 ラ ベ ル 付 け の 結 果 。 左 は 自 己 組 織 化 マ ッ プ の ユ ニ ッ ト の 代 表 画 像 ， 右 は そ れ に 対 し て つ け ら れ た 意 味 的 ラ ベ ル 。

3.3 大 規 模 デ ー タ へ の 展 開 : 計 算 時 間 の 観 点

か ら

こ こ で 大 規 模 デ ー タ へ の 展 開 を 視 野 に 入 れ て 時 間 と

デ ー タ 規 模 の ス ケ ー ル ア ッ プ に つ い て 議 論 し て お く 。 表 3 に 示 す 通 り ， 標 準 的 な CPU (Intel core i5, 3.2GHz, iMac)で 試 行 し た と こ ろ ，オ ブ ジ ェ ク ト 抽 出 全 体 の 処 理 時 間 は 7094 秒 (約 2 時 間 )と な っ た 。気 象 衛 星 画 像 1 枚 当 り の 処 理 時 間 は 2.429 秒 と な り ， 比 較 的 高 速 に 実 験 が 行 わ れ た こ と が わ か る 。 こ れ は 2 枚 目 以 降 の 画 像 で 前 の 画 像 を 種 と し て 解 を 求 め る こ と に よ っ て 計 算 を 簡 略 化 し た た め で あ る が ， 解 が 求 ま ら ず ， リ セ ッ ト が お こ っ た 場 合 ， よ り 広 い 初 期 条 件 か ら 再 度 解 を 求 め る プ ロ セ ス が 必 要 に な り ，こ の 場 合 3.1sec 程 度 を 必 要 と す る 。 今 回 の 実 験 で は リ セ ッ ト の 発 生 頻 度 は 3.1 で 述 べ た 通 り 1%程 度 で 低 か っ た 。今 回 の 結 果 か ら ， サ ン プ リ ン グ 間 隔 を 1 時 間 に 狭 め て 20 年 分 (計 60 倍 ) の 計 算 を 行 っ た と し て も 120 時 間 程 度 で 計 算 を 完 了 す る 事 が 出 来 る 事 が 予 想 さ れ る 。40 台 で 分 散 計 算 を 行 え ば 3 時 間 程 度 の 現 実 的 な 時 間 で 完 了 で き る と 考 え ら れ る 。一 方 ク ラ ス タ リ ン グ の 結 果 ，同 じ 環 境 で 4329sec (1 時 間 10 分 39 秒 )と オ ブ ジ ェ ク ト 抽 出 よ り も 長 い 学 習 時 間 を 要 し た が ， こ れ に つ い て は 一 度 学 習 を 行 っ て お け ば ， 参 照 し て ラ ベ ル 付 け す る だ け と な る の で ス ケ ー ル ア ッ プ の 際 に も 問 題 に は な ら な い と 考 え ら れ る 。

表 3. 計 算 時 間 (CPU: Intel core i5 3.2GHz, iMac) プ ロ セ ス 計 算 時 間 条 件 オ ブ ジ ェ ク ト 抽 出 7094sec 640x480pixel, 2920 枚 成 分 数 3-18 ク ラ ス タ リ ン グ (学 習 ) 4239sec オ ブ ジ ェ ク ト 数 14080 昨 年 打 ち 上 げ ら れ た 最 新 の 地 球 観 測 衛 星 ひ ま わ り 8 号 の IR1 に 相 当 す る バ ン ド の フ ル デ ィ ス ク 画 像 を 用 い て ， 日 本 に 限 ら ず 半 球 の 雲 塊 の リ ア ル タ イ ム モ ニ タ リ ン グ の 可 能 性 を 考 え て み る 。 ひ ま わ り ８ 号 の 赤 外 フ ル デ ィ ス ク 画 像 の サ イ ズ は 5000 pixel × 5000 pixel, サ ン プ リ ン グ 間 隔 30 分 で あ る 。画 像 サ イ ズ は 現 在 の 数 値 実 験 の 約 100 倍 の サ イ ズ に な る が ， 500 pixel×500 pixel の 100 ブ ロ ッ ク 毎 に 逐 次 実 行 し た と し て も 1 枚 あ た り 計 算 時 間 は 3.1 sec × 100 = 310 sec (約 5 分 ) で あ り ，画 像 の サ ン プ リ ン グ 間 隔 を 30 分 と 比 較 し て も 十 分 高 速 と な っ て ， 次 の 新 し い 画 像 取 得 前 に ， 計 算 を 完 了 す る こ と が で き る と 予 想 さ れ る 。 よ っ て 本 研 究 で 提 案 し て い る 手 法 は ひ ま わ り 8 号 の よ う な 次 世 代 の 地 球 観 測 衛 星 の フ ル 解 像 度 画 像 か ら の 雲 塊 の リ ア ル タ イ ム モ ニ タ リ ン グ に も 支 障 な く 使 用 出 来 る と 考 え ら れ る 。 解 の リ セ ッ ト が 頻 繁 に お こ る 場 合 や ， 複 数 の 解 像 度 で よ り 多 数 の 雲 塊 ま で と ら え よ う と し た と き に は さ ら に 計 算 時 間 は 増 加 す る が ， 画 像 ブ ロ ッ ク 毎 の 分 散 処 理 に よ っ て 対 処 可 能 と 考 え ら れ る ． な お 空 間 ブ ロ ッ ク 間 の オ ブ ジ ェ ク ト の 接 続 に 関 し て も 対 処 が 必 要 で あ る 事 は 留 意 が 必 要 で あ る 。

4.

イ ン タ ラ ク テ ィ ブ 検 索 シ ス テ ム

4.1 検 索 シ ス テ ム の 概 要

以 上 の 抽 出 結 果 を デ ー タ ベ ー ス に 格 納 し て ， web か ら 参 照 可 能 な イ ン タ ラ ク テ ィ ブ 検 索 シ ス テ ム を 構 築 し た 。 図 5 に そ の 概 要 を 示 す 。 ク ラ イ ア ン ト 側 よ り 入 力 さ れ た 情 報 は Web サ ー バ (Apache)内 の PHP ス ク リ プ ト に よ っ て 処 理 さ れ ， SQL 文 が 作 成 さ れ ， DB サ ー バ に 対 し て 問 い 合 わ せ を 行 う 。 な お ， SQL 文 を 作 成 す る 際 に は SQL イ ン ジ ェ ク シ ョ ン の 対 策 と し て ク ラ イ ア ン ト 側 か ら 入 力 さ れ た 検 索 期 間 を PHP ス ク リ プ ト 内 の 変 数 に 渡 す よ う に し て い る 。DB よ り 得 ら れ た 情 報 は PHP ス ク リ プ ト に よ っ て ユ ー ザ が 要 求 し て い る 情 報 の 形 式 に 処 理 さ れ ，検 索 結 果 と し て ク ラ イ ア ン ト 側 に 提 示 さ れ る 。 な お ， 本 シ ス テ ム の 検 索 画 面 や 結 果 表 示 と い っ た GUI は PHP で 実 装 し ， グ ラ フ ， 画 像 へ の オ ー バ ー プ ロ ッ ト 等 の 可 視 化 は PHP の GD ラ イ ブ ラ リ ，お よ び PHP の 標 準 入 出 力 機 能 経 由 の gnuplot で の 画 像 生 成 で 実 装 し て い る 。 実 装 に 用 い た の は そ れ ぞ れ ， PostgreSQL9.3.5, PHP5.4.37, Apache 2.0, GD 2.1.0 で あ る 。 図 5． シ ス テ ム の 実 装 図 6 に シ ス テ ム の 動 作 モ デ ル を ジ ャ ク ソ ン 図 で 示 す 。 最 初 の 期 間 選 択 か ら は じ ま っ て 様 々 な オ ブ ジ ェ ク ト の 側 面 を 異 な る 表 示 形 式 で 確 認 で き る よ う に な っ て い る 。 図 6. シ ス テ ム の 動 作 モ デ ル （ ジ ャ ク ソ ン 図 ）

4.2 検 索 シ ス テ ム の 実 装 結 果

図 7 に ト ッ プ の 期 間 入 力 画 面 を 示 す 。 こ こ で は 抽 出

さ れ た オ ブ ジ ェ ク ト の 意 味 的 ラ ベ ル ご と の 月 ， ま た は 週 毎 の 頻 度 分 布 を 表 示 し て い る 。 ユ ー ザ が 検 索 し た い 期 間 を 見 つ け る た め の 補 助 情 報 と し て こ の ヒ ス ト グ ラ ム を 用 い る こ と を 想 定 し て い る 。 図 7 の ト ッ プ 頁 か ら 期 間 を 入 力 し ， ま ず ， ” 画 像 ” を 選 択 す る と ， 期 間 内 の 画 像 一 覧 が 表 示 さ れ ， そ の 内 の 1 枚 を 選 択 す る こ と に よ っ て ， 図 8 の よ う な 画 像 単 位 に 全 オ ブ ジ ェ ク ト の 情 報 が 画 面 に 表 示 さ れ る 。 こ こ で は 画 像 内 に 存 在 す る オ ブ ジ ェ ク ト を 特 徴 毎 に 色 分 け （ ス ー パ ー ク ラ ス タ に 基 づ く ）し た 最 小 包 含 矩 形（ MBR） が も と の 気 象 画 像 上 に 示 さ れ る 。 他 に ， 処 理 に 用 い ら れ た 2 値 化 画 像 ，表 形 式 の オ ブ ジ ェ ク ト パ ラ メ ー タ (オ ブ ジ ェ ク ト ID， ラ ベ ル 名 ， 意 味 的 ラ ベ ル ， 発 生 時 刻 ， 消 滅 時 刻 )も 表 示 さ れ る 。こ の 画 面 で は 抽 出 さ れ た オ ブ ジ ェ ク ト の 大 き さ が 視 覚 的 に 捉 え ら れ ， ２ 値 化 画 像 と の 比 較 に よ り オ ブ ジ ェ ク ト が 正 確 に 抽 出 さ れ て い る か ， ま た 適 当 な 意 味 的 ラ ベ ル が つ け ら れ て い る か を 確 認 す る こ と が で き る 。 図 7．シ ス テ ム ト ッ プ の 抽 出 オ ブ ジ ェ ク ト の 要 約 表 示 ， 期 間 入 力 画 面 図 9 は オ ブ ジ ェ ク ト の 生 命 線 図 の 検 索 結 果 例 で あ る 。 生 命 線 図 に つ い て は 先 行 研 究 で も 紹 介 し た 通 り ， 横 軸 時 間 ，縦 軸 に オ ブ ジ ェ ク ト の ID を と っ て ，同 一 の オ ブ ジ ェ ク ト の 発 生 と 消 滅 ， な ら び に そ の 間 の 意 味 的 ラ ベ ル の 変 化 を 参 照 す る こ と が で き る 。 こ の 際 同 一 の 祖 先 を 持 つ フ ァ ミ リ ー の オ ブ ジ ェ ク ト が 縦 軸 上 の 近 い 位 置 に な る よ う に 、 ま た 早 く 発 生 し た も の ほ ど 下 側 に 配 置 し て い る 。 こ れ に よ っ て オ ブ ジ ェ ク ト が そ の 誕 生 か ら 消 滅 の 間 に ど の よ う な 変 遷 を た ど る の か ， ま た ， 同 時 期 に ど の よ う な 他 の オ ブ ジ ェ ク ト が 発 生 し て い る の か を 俯 瞰 す る 事 が で き る 。 例 え ば 図 9 の 青 丸 の 箇 所 は 分 裂 に よ っ て オ ブ ジ ェ ク ト ID が 移 り 変 わ っ た 事 を 示 し て い る 。 図 8．画 像 内 に 含 ま れ る オ ブ ジ ェ ク ト 詳 細 情 報 例 (2015 月 8 月 18 日 3 時 )。 矩 形 領 域 は 広 が り の MBR， 枠 の 色 は 意 味 的 ラ ベ ル を 表 す 。 図 9． 生 命 線 図 の 検 索 結 果 例 （ 各 点 は オ ブ ジ ェ ク ト の 時 間 毎 の 特 徴 を 色 別 に 表 現 ， 線 は オ ブ ジ ェ ク ト の 生 命 線 図 で オ ブ ジ ェ ク ト 毎 に 色 分 け ， 表 は 左 か ら 順 に オ ブ ジ ェ ク ト ID， オ ブ ジ ェ ク ト 名 ， 発 生 時 刻 ， 消 滅 時 刻 ） 図 10 は オ ブ ジ ェ ク ト の 軌 跡 を 可 視 化 し た 検 索 結 果 例 で あ る 。 こ こ で は 時 間 と と も に オ ブ ジ ェ ク ト が ど の よ う に 位 置 を 移 動 し て い っ た の か ， そ の 移 動 パ タ ー ン を 視 覚 的 に 捉 え る こ と が で き る 。 図 11 は 指 定 し た 期 間 内 に 発 生 し た オ ブ ジ ェ ク ト の 軌 跡 を オ ブ ジ ェ ク ト フ ァ ミ リ ー 毎 に ま と め て フ レ ー ム 単 位 で 可 視 化 し た 例 で あ る 。 枝 分 か れ し な が ら 進 化 す る オ ブ ジ ェ ク ト の 様 子 を 空 間 的 に と ら え る こ と が で き る 。さ ら に 3 次 元 可 視 化 の 機 能 を 加 え る こ と に よ っ て ， 分 裂

よ り 直 感 的 に 時 間 発 展 の 様 子 を と ら え る こ と に で き る よ う に な る と 考 え ら れ る 。 こ れ に つ い て は 今 後 の 機 能 拡 張 を 検 討 し て い る 。 図 10． 2006-8-12 00:00-2006-8-13 12:00 JST の オ ブ ジ ェ ク ト 軌 跡 の 表 示 例 。 図 11． 2006/1/5-10 に 発 生 し た フ ァ ミ リ ー 毎 の 軌 跡 の 表 示 例 。 １ つ の フ レ ー ム が １ つ の フ ァ ミ リ ー に 相 当 す る 。

4.3 活 用 事 例

こ こ で は 具 体 的 に 2006 年 9 月 の 特 定 の 台 風 の 例 に つ い て 本 シ ス テ ム の 有 効 性 を 議 論 す る 。 図 12 は 2006 年 9 月 15 日 か ら 9 月 18 日 ま で の オ ブ ジ ェ ク ト の 生 命 線 図 で あ る 。オ ブ ジ ェ ク ト ID 21(紫 枠 ) に 注 目 す る と ，2006 年 9 月 15 日 00 時 に 発 生 し ，最 初 梅 雨 前 線 と 同 様 な 特 徴 を 示 す が ，12 時 頃 か ら 台 風 と し て の 顕 著 な 特 徴 を 表 し 始 め た 事 が わ か る 。 そ の 後 ， 1 日 程 度 単 独 で 存 在 し た 後 ，9 月 16 日 6 時 頃 に 分 裂 し て ， ２ つ の オ ブ ジ ェ ク ト を 生 成 し ， 以 後 そ の 子 孫 も 9/18 頃 消 滅 す る 。デ ジ タ ル 台 風 デ ー タ ベ ー ス[ 9 ]_{の 参 照 結 果 ，} こ の オ ブ ジ ェ ク ト は 2006/9/10 12:00:00 UTC に 発 生 し 2006/9/18 12:00:00 UTC に 消 滅 し た ， 台 風 200613 号 (SHANSHAN)で あ る と 考 え ら れ る 。 台 風 デ ー タ ベ ー ス に は 中 心 位 置 の み の デ ー タ が 格 納 さ れ て い る が ， 本 手 法 で は そ の 分 裂 の タ イ ミ ン グ は 分 裂 後 の 変 化 等 の 細 か い 特 徴 ま で と ら え る こ と が で き る こ と が わ か る 。 こ の よ う な 発 展 過 程 は 他 の 台 風 の 特 徴 を 持 つ オ ブ ジ ェ ク ト に も 見 ら れ た 。 ま た ， 共 に 停 滞 前 線 (水 色 枠 )が 発 生 し て お り ， 停 滞 前 線 と 台 風 の 共 起 が 確 認 で き る 。 こ の よ う な 共 起 は 他 の 台 風 が 発 生 し た と き に 多 く 見 ら れ た 。 そ の 頻 度 に つ い て の 要 約 に つ い て は 引 き 続 き 検 討 中 で あ る 。 発 表 時 に は さ ら に こ の 成 果 も 加 え て 発 表 す る 予 定 で あ る 。 図 12．2006/9/15-18 の 生 命 線 図 。紫 枠 は 顕 著 な 台 風 の 特 徴 を 示 す オ ブ ジ ェ ク ト (台 風 200613 号 (SHANSHAN))) で あ り ， 水 色 枠 は 前 線 を 示 す 。 青 楕 円 は 各 オ ブ ジ ェ ク ト の 分 裂 地 点 を 表 す 。

5 ． お わ り に

本 研 究 で は 時 系 列 画 像 か ら オ ブ ジ ェ ク ト に 着 目 し た 時 空 間 知 識 発 見 を 支 援 す る シ ス テ ム を 構 築 す る た め の オ ブ ジ ェ ク ト 抽 出 手 法 ， 意 味 的 ラ ベ ル 付 け ， デ ー タ モ デ ル の 考 慮 ， イ ン タ ラ ク テ ィ ブ 検 索 可 視 化 シ ス テ ム と し て の 構 築 を 行 っ た 。 ま ず 多 変 量 正 規 分 布 の 混 合 モ デ ル で オ ブ ジ ェ ク ト 分 布 を 表 し ， 中 心 座 標 ， 広 が り (分 散 共 分 散 行 列 )を 取 り 出 し ， ま た 時 間 的 連 続 性 を 考 慮 し た ラ ベ ル 付 け と ， オ ブ ジ ェ ク ト の 画 像 特 徴 に 基 づ く ク ラ ス タ リ ン グ ・ 意 味 分 裂

的 ラ ベ リ ン グ を お こ な っ た の ち ， オ ブ ジ ェ ク ト 基 本 情 報 を 変 遷 ・ 要 約 し て ， デ ー タ ベ ー ス 化 す る こ と を お こ な っ た 。 ま た ， 期 間 ・ 表 示 形 式 の 指 定 を お こ な う こ と で オ ブ ジ ェ ク ト の 詳 細 ・ 可 視 化 情 報 を 検 索 で き る シ ス テ ム を 構 築 し た 。 シ ス テ ム 実 装 の 結 果 ， 誕 生 か ら 消 滅 ま で の オ ブ ジ ェ ク ト の 生 涯 に お け る 位 置 ， 特 徴 な ど の 変 遷 や ， 周 囲 の オ ブ ジ ェ ク ト の 相 互 作 用 （ 共 起 ） な ど を 直 感 的 ， 俯 瞰 的 に と ら え る こ と が で き る こ と が わ か っ た 。 今 後 は 時 空 間 近 傍 で の 共 起 ， 再 起 ， 軌 跡 の パ タ ー ン 発 見 等 ， イ ン タ ラ ク テ ィ ブ な ユ ー ザ の 検 索 の み で な く ， 蓄 積 さ れ た デ ー タ ベ ー ス か ら 自 発 的 に パ タ ー ン を 抽 出 し て 利 用 者 に 対 し て 提 示 し た り ， リ ア ル タ イ ム モ ニ タ リ ン グ シ ス テ ム と し て 拡 張 し 過 去 の 災 害 時 の パ タ ー ン な ど と の 関 連 か ら ア ラ ー ト を 提 示 す る 等 の 機 能 に つ い て も 検 討 し て い き た い と 考 え て い る 。 ま た ， 解 の リ セ ッ ト や 画 像 分 割 の 際 の 解 の 空 間 的 ， 時 間 的 連 続 性 等 に 対 す る 後 処 理 の 過 程 ， 頑 健 性 の 確 保 に つ い て の 検 討 も 行 っ て い き た い と 考 え て い る 。

参 考 文 献

[1] 藤 吉 弘 亘 ， Gradient ベ ー ス の 特 徴 抽 出 -SIFT と HOG-，情 報 処 理 学 会 研 究 報 告 CVIM 160, pp.211-224, September, 2007. [2] 柴 田 雅 俊 ，生 形 徹 ，有 江 誠 ，モ ロ ア レ サ ン ド ロ ， 寺 林 憲 賢 司 ， 梅 田 和 昇 ， 差 分 ス テ レ オ に 基 づ く 人 物 検 出 に お け る 二 次 元 画 像 の 利 用 ，電 気 学 会 電 子・情 報・ シ ス テ ム 部 門 大 会 講 演 予 稿 集 , pp.626-631, 2012.9. [3]松 永 知 也 , 本 田 理 恵 , 時 系 列 画 像 か ら の オ ブ ジ ェ ク ト ベ ー ス デ ー タ マ イ ニ ン グ -オ ブ ジ ェ ク ト の 抽 出 と デ ー タ ベ ー ス 化 -, DEIM フ ォ ー ラ ム 2015, P2-4, pp. 6, 2015

[4] R. Honda et. al., Mining of objects from time-series images and its application to satellite weather imagery , Journal of Intelligent

Information Science, 19:1, pp. 79-93, 2002. [5] A. P. Dempster et al., Maximum Likelihood from Imcomplete Data via EM Algorithm, Journal of the Royal Statistical Society, series B, vol. 39, no. 1,1-38, 1977.

[6] T. Kohonen, Self Organizing Maps, Springer, 3rd ed., 2000. [7] 高 知 大 学 気 象 情 報 頁 , http://weather.is.kochi-u.ac.jp, 2016.1.11 参 照 [8] 気 象 庁 ,日 々 の 天 気 図 http://www.data.jma.go.jp/fcd/yoho/hibiten/ [9] 北 本 朝 展 , デ ジ タ ル 台 風 , http://agora.ex.nii.ac.jp/digital-typhoon/, 2016.1.11 参 照