招待論文

(1)

招待論文

Society5.0 に求められるスマートセンシングと超知性ネットワーク技術

山口弘純

^†^a)

Smart Sensing and Super-Intelligent Networking Technologies for Enabling Society5.0 Systems and Applications

Hirozumi YAMAGUCHI

^†^a)

あらまし本論文では人間中心のセンシング・AI解析・フィードバックを行うことで社会課題の解決を目指す

Society5.0の概念に基づき，実世界アプリケーションを実現するためのスマートセンシングに関するプロジェク

トを幾つか紹介する．また，それらにより多地点から得られる大量の分散センシングデータを集約・解析してして活用する「超知性」ネットワーク技術の動向について述べる．前者については特に人とモノの存在や状態をサイバー空間に取り入れて活用するための技術にフォーカスし，スマート空間におけるモノやビル設備機器の位置や属性推定に関する筆者の取り組みを紹介する．後者については，Federated Learningをはじめとする分散AI技術の動向や，その概念に基づく実世界コンピューティングプラットホームの動向や要素技術を俯瞰し，それらの技術により実現される将来社会を議論する．

キーワード Society5.0，サイバーフィジカルシステム，スマートセンシング，超知性ネットワーク，実空間コンピューティング

1.

まえがき

1. 1

背景

第

5

期科学技術基本法において示された

Society5.0

では，

IoT

により人とモノ，環境がつながり，フィジカル空間（現実空間）からサイバー空間（仮想空間）

にセンシングデータが集約され，

AI

により新たな価値創造と知識共有がなされるとともに，適切なソリューションを現実空間にフィードバックすることで，個々の人々がそのメリットを享受できる社会の実現が謳われている．これにより，農業などの第一次産業，工場生産，交通とスマートシティ，エネルギー，ヘルスケア，地域活性化など，様々な社会システムにおける課題解決とその高度化が期待されている．筆者が所属する大阪大学は，平成

30

年度文部科学省「

Society 5.0

実現化研究拠点支援事業」における全国唯一の採択組織であり，「ライフデザイン・イノベーション研究拠点」

†大阪大学大学院情報科学研究科，吹田市

Graduate School of Information Science and Technology, Osaka University, Suita-shi, 565–0871 Japan

a) E-mail: [email protected] DOI:10.14923/transcomj.2020AII0002

として心と体の健康増進や

QoL

^（

Quality of Life

^）の向上，学びや楽しみの実現を目標としている．学校での授業集中度，家庭やオフィスでの生活行動データ，スポーツ活動時のバイタルデータといった個々人に関する様々なデータをセキュアに集約するパーソナル・ライフ・レコードデータベースの構築と活用により，心と体，社会の健康実現を目指した実践的研究が推進されている

[1]

．

米国

NSF

主導で

2006

年頃に提唱されたサイバーフィジカルシステムでは，組込システムと物理的な実世界とのインタラクション全体を系として捉える概念が基本となっている．一方

Society5.0

は，その概念を基礎としながらも，人間の思考や行動，それらの周辺環境を含む異種多様で動的な状況を高度なセンシング技術（スマートセンシング）で獲得・理解し，快適性や安全性・健康などを目的とした人間中心のフィードバック制御を行うことが重要視されている点でサイバーフィジカルシステムとは異なる．特に，人やモノ，

それらの状態や有する知識，行動パターン，生成されるデータなどを可能な限りサイバー空間に取り込むことができれば，現実空間の高次理解が可能となり，それに伴うフィードバック制御も高度化できるという点で，

(2)

人やモノを中心としたスマートセンシングは重要である．例えば各個人がウェアラブルデバイスやスマートフォンにより周辺の人々との位置関係や対話状況，周辺気流などを把握し，

AI

が状況判断を行うことで，コミュニケーションの定量化や，新型コロナウィルスの感染リスクのリアルタイム注意喚起といった応用システムが実現できる．また，これまではサイバー空間に取り込まれていなかったモノの位置や状態が

IoT

^により把握・制御されることで，例えば食事内容の理解による健康維持や服薬支援，室内空間サイズやパーティションに応じた自動最適空調なども可能となる．

一方，スマートセンシングにより生成された，現実空間の詳細で大量のリアルタイムデータはその理解とフィードバック生成のために

AI

解析される．そういったデータはプライバシー，データ伝送遅延，伝送にかかるエネルギーなどを考慮すれば，エッジコンピューティングのような機構によりなるべくローカルで処理されるべきであり

[2]

，更に，そのような「地産地消」

で得られた知識や知性は公共の利益に向けて統合的に活用されるべきである．例えば，様々なビル環境で得られた省エネルギー空調の学習結果を統合できれば，

多くのビルにおける空調の効率化が早期に達成できる可能性もある．また，高度交通システムにおいて各車両が撮影したヒヤリハットシーンを判定する学習モデルを統合すれば，ヒヤリハットシーン収集のクラウドソーシング化に大きく寄与する

[3], [4]

．これに対し，

近年では

Federated Learning

や差分プライバシーなど，

局所的な知性を集約してより広範囲で汎用的な知識を獲得するための分散

AI

技術の研究が進んでいる．そういったいわゆるメタ知性あるいは超知性を局所知性から獲得する技術は，

Society5.0

が描く，

AI

による理解とフィードバックループを大量のデータで実現するためのキーテクノロジとなる．超知性を実現するための分散システム技術（超知性ネットワーク技術）の重要性はますます高まっている．

1. 2

本論文の内容と構成

本論文では上記の視点に基づき，

Society5.0

の概念に基づく実世界アプリケーションを実現するためのスマートセンシングに関するプロジェクトを幾つか紹介する．また，それらにより多地点から得られる大量の分散センシングデータを集約・解析してして活用する

「超知性」ネットワーク技術の動向について述べる．前者については特に人とモノの存在や状態をサイバー空間に取り入れて活用するための技術にフォーカスし，

スマート空間におけるモノやビル設備機器の位置や属性推定に関する筆者の取り組みを紹介する．後者については，

Federated Learning

^{をはじめとする分散}

AI

^技術の動向や，その概念に基づく実世界コンピューティングプラットホームの動向や要素技術を俯瞰し，それらの技術により実現される将来社会を議論する．

2.

モノのスマートセンシング

2. 1

空間におけるモノの把握の重要性と課題筆者の研究グループでは，人がモノを使って活動するオフィスや家庭，あるいはモノを求めて移動する小売店舗などにおいて，

RFID

タグを添付したモノの絶対位置及びその種別を判別する手法を開発している

[5], [6]

．同手法では，対象空間の人々の移動により生じる

RFID

の位相並びに電波強度の時間変化からモノの使用状況を判断する．加えてそれらの人々の位置情報を深度センサー等で取得し，モノの使用開始及び終了時の人の位置情報を利用して，モノの絶対位置の推定を行う．また，モノ同士の位置や使われ方の類似性を導出し，モノの属性を推定する．

電源を必要としないパッシブ

RFID

システムは在庫管理での利用が多い．例えば最近ではウォルマートやユニクロといった大型店舗が商品管理に活用しており，

Amazon

の無人店舗（

Amazon Go

）でも用いられている．一方で，近年ではリーダーとアンテナの性能向上により，数

m

から

10m

程度離れた距離のパッシブ

RFID

タグから得られる反射波の位相や電波強度を正確に取得し，単なるタグ

ID

の読み取りだけではなくその位置推定を行う研究が増えてきている

[7], [8]

．これらは例えば空間全体をなるべく少ないアンテナでカバーし，複数のタグの位置推定を行うことで，モノの管理を容易にする技術である．これらには主にマルチパスによる位相の不確実性や電波強度の揺らぎがあるため，位置推定のアルゴリズムの中でそれらの不確実性への対処を実装した

[9]

のような方法や，別の情報源を用いることで精度を補完する

[10]

などの方法がある．

しかし，前者は例えば金属製の棚などが並ぶ環境など，

実空間の様々な電波環境は考慮されておらず，後者においてはコンピュータビジョンと

RFID

を組み合わせてモノのトラッキングを支援しているため，モノがカメラから遮蔽された場合には追跡性能が低下する．

本研究では，空間内を移動する人の位置情報をプライバシーリスクが低い距離センサーで取得するとともに，オフィスや倉庫といった空間において，人がモノ

(3)

図1 RFIDシステム Fig. 1 RFID system.

を動かすことで生じる

RFID

タグからの反射波の位相変化を検知し，それらを突合してモノの絶対位置を推定する．動かされないモノについても，人体遮蔽による位相及び

RSSI

の変化を検知し，位置的な類似性を推定する．また，モノの使われ方や位置の類似性からモノを分類し，種別をラベリングすることで，それがあるべき位置やその属性を推定する新しい手法を提案している．

2. 2 RFID

システム

本論文では

RFID

システムとして，

EPC Global

の

Class 1 Generation 2

規格

[11]

（

ISO18000-6C

）に準拠した

UHF RFID

を利用している．

RFID

は図

1

に示すように，リーダーはアンテナを経由して

RFID

タグにコマンドと搬送波を送り，

RFID

タグはリーダーからの電波で動作電力を得て，搬送波を変調し

ID

を送信する．市販の多くの商用

RFID

リーダーでは受信信号の強度（

RSSI (dBm)

）並びに送信波と受信波の位相差

（

[0, 2π] (rad)

）を取得できる．

RFID

システムの位相モデルは一般に以下で表される．

θ = (2π · 2R

λ + θ

t x

+ θ

r x

+ θ

t ag

) mod 2π (1) R

はアンテナとタグの距離であり，一度の通信で信号が通過する距離は

2R

である．また，

λ

^{は波長であり，}

θ

t x，

θ

r x，

θ

_{t ag}はそれぞれリーダーの送信回路，受信回路並びにタグの反射において生じる位相回転である．

一般にこれらの追加の位相回転は定数とみなすが，回路遅延などによる曖昧性を含むため，物体が動かない静的環境においても推定される複数値を交互に出力するリーダーも多い．本論文ではこれに対処するため，

静的環境で観測された位相値を

100

秒ごとの時間ウィンドウで分割した場合の最頻観測位相値を中心とし，

範囲を

[−π, π]

に補正した値を用いる．

2. 3

事前実験

図

2 (a) (b)

は，モノに貼付された

RFID

からの反射波の

RSSI

と位相が人の移動により変化する様子を，

異なる方向に設置された四つのアンテナで捉えた結果

図2 人の行動がRFIDに与える影響調査実験結果 Fig. 2 Aﬀect of human motion on RFID.

を示している．同図における

(A)

はモノを置いたテーブルから離れた位置に人が立った状態，

(B)

はテーブルに向かって歩いている状態，

(C)

はテーブル脇に立った状態，

(D)

はモノをテーブルからもち上げた状態，

(E)

はモノをテーブルに戻して

(A)

の位置に戻っている状態，

(F)

は

(A)

の位置に戻った状態を表す．

(A)

から

(F)

に対応する位置を図

2 (c)

に示す．

これらから，立った状態

(A)

，

(C)

，

(F)

は

RSSI

及び位相共に比較的変化が少なく，歩いている状態

(B)

，

(E)

にはそれと比べて大きな変化が，タグをもった状態

(D)

では更に大きな変化がみられることがわかる．提案手法では

(D)

，

(B) (E)

，及び

(A) (C) (F)

の

3

グループの区別が正しくつけられる方法を示し，状態変化のタイミングを推定しモノの推定に活用する．

2. 4

手法の概要

提案手法では，把握対象となるモノに貼付された

RFID

タグに対し，その

ID

に対応する

RSSI

と位相を連続的に取得可能なパッシブ

RFID

タグリーダ，並びに異なる方向に設置された複数のアンテナを想定する．

また，

3

次元距離センサー等を用い，非侵襲的かつプライバシーを侵害しない方法で同環境内の人の匿名位置が追跡できるとする．このもとで，同環境内のモノの位置を推定する．

提案手法では，人によるモノの移動により生じる，

アンテナからタグへの電波伝搬経路変化を，主に位相値の変化から検知する．なお，モノが移動されず，周辺を人が移動し主に直接波を遮蔽することでも電波伝搬経路は変化するが，これを区別するため，異なる方

(4)

図3 アンテナ(a)〜(d)の位相値分散の時間変化例 Fig. 3 Temporal change of phase variance at antennas (a)〜(d).

向に複数のアンテナを配置し，それぞれのアンテナで観測される位相値の幅

1

秒の時間ウィンドウ内の分散値を求め，全てのアンテナにおいて一定の変化が観測されればモノが移動されたものとし，幾つかのアンテナだけで変化が観測されれば人の移動による位相変化と判断する．これは，人体では全てのアンテナからの電波伝搬経路を同時に遮蔽することは困難であるため，

一部のアンテナで有意な変化が観測されなければ，モノの移動による位相変化ではないと判断できることによる．図

3

は

4

アンテナの位相変化例であり，モノの移動状態（非静止状態，すなわちモノが使われている状態）を赤いフレームで示している．アンテナ

(a)

だけでは非静止状態を静止状態と区別することは容易でないが，全てのアンテナでの変化が観測される時間帯は赤いフレーム内だけであることがわかる．

この位相変化により検知された，

i

回目のモノの利用の開始時刻を

ts

ⁱ，終了時刻を

te

ⁱで表す．また，時刻

t

における空間内の全ての人の位置の集合を

P ( t )

で表す．あるモノに対し，

ts

ⁱが検知されたときのモノの位置はわかっていないとする．その後

te

ⁱが検知されると，

P(te

ⁱ

)

の各位置（すなわち人がモノを置いたと想定される位置）がそのモノの位置候補となる．

| P ( te

ⁱ

)| = 1

（空間に一人しかいない場合）であれば，

位置は一意に決定される．そこで，

| P ( te

ⁱ

)| > 1

である場合を考える．

ts

ⁱ⁺¹ が検知されると

P(ts

ⁱ⁺¹

)

^が取得でき，

P(te

ⁱ

) ∩ P(ts

ⁱ⁺¹

)

に含まれる位置が得られる．

システムがモノの非移動状態を継続的に検知できているという前提で，

i

回目の利用終了と

i + 1

回目の利用開始は同じ位置であることから^（注¹^），この集合に含ま

（注1）：多少の位置誤差を許容するため，50cm程度以内の距離にある二つの人の位置は同一であるとみなす．

図4 モノの位置推定例 Fig. 4 Example localization of objects.

れる位置のいずれかがモノの位置となる．この位置集合に対応する人々の軌跡を追跡し，時刻

te

ⁱ におけるそれらの人々の位置集合が

i + 1

回目の利用後のモノの位置候補となる．これを繰り返せばいつかモノの位置が一意に決定される．

図

4

に例を示す．時刻

ts

ⁱ に対する

P(ts

ⁱ

)

^は黄円で示している．時刻

P(te

ⁱ

)

^が

i

回目の利用後の候補位置集合であり，

P ( ts

ⁱ⁺¹

)

^では

P ( te

ⁱ

)

^{との共通位置は赤円} で示す一つだけである．この人物をトラッキングし，

時刻

te

ⁱ⁺¹における位置をモノの位置と推定する．

モノの属性判定は，タグ

T

_i が使われた平均時間

use_time(T

i

)

^{，タグの利用回数}

use_count(T

i

)

^，長期間の相互位置関係

sim_loc ( T

_i

, T

_j

)

^{，並びに利用された位} 置の類似性

use_loc ( T

_i

, A

_j

)

，をもつ特徴ベクトルを用い，ユークリッド距離に基づく

k

平均法を適用する．

同一クラスターのモノは同じ属性（カップやペンなど）

であるとし，クラスター内のあるモノの属性が（例えば人によるラベリングで）わかれば他のモノの属性も自動で判断できる．

2. 5

実証実験

実験空間にタグを多数配置し，アンテナを設置した上で位相検知によるモノの検知実験を実施した．周波

数は

916.8MHz

に固定し，リーダーに接続された四つ

のアンテナが時分割で動作する．また，アンテナの通信範囲はおおよそ

10m

であり，偏波面は右旋円偏波である．これらの測定機器を，図

5 (a)

のように一人の居住者が実験的に活動する約

49m

²の模擬オフィス環境に設置した．設置レイアウトを図

5 (b)

に示す．アンテナは部屋の四隅に中央に向けて配置し，同図の赤印

10

箇所に固定タグを，青印

2

箇所に人物トラッキング用深度センサーを設置した．このもとで，

1

人の居住者がオフィスで活動する

4

日間のデータを取得した．実験期間中に全てのアンテナでタグから取得された

RFID

システムによる通信の総サンプル数は約

3

千

(5)

図6 実験空間におけるNLoS環境の例(a)ディスプレイとパーティションに囲まれた場所(b)棚の中(c)金属製キャビネットの中(d)机の下(e)ホワイトボードが部屋の中央に置かれた状態

Fig. 6 NLoS environment (a) between monitor and partition (b) inside shelf (c) metal cabinet (d) under desk (e) whiteboard in room.

図5 実証実験空間 Fig. 5 Room for experiment.

表1 モノの使用検知精度 Table 1 Accuracy of object use detection.

1 Person 2 Persons 3 Persons All Cases

Precision 0.984 0.993 1.000 0.986

Recall 0.980 0.987 1.000 0.982

F-Measure 0.982 0.990 1.000 0.984

Accuracy 0.982 0.988 1.000 0.984

表2 位置誤差の中央値 Table 2 Median of localization error.

Situation Total Clear LoS Run NLoS Disturbance Median (cm) 58.30 45.35 61.12 67.44 59.81

万（

30,965,800

）であった．モノの使用検知に関しては，実験期間中にカメラによって撮影された

4

日間の動画像データから，人がどのモノをいつ使っていたかの真値を毎秒生成し，それをもとに使用検知精度の評価を行った．

これに対し，表

1

にモノの使用検知の適合率（

pre- cision

），再現率（

recall

），

F

値（

F-measure

）及び精度

（

accuracy

）を示す．以下，モノの使用を陽性とし，

T P

，

T N

，

F P

，

F N

をそれぞれ真陽性，真陰性，偽陽性，及び偽陰性のサンプル数としたとき，適合率は_{T P+F P}^{T P} ，再現率は_{T P}^{T P}₊_{F N}，

F

値はそれらの調和平均，精度は

T P+T N

T P+T N+F P+F N で定義される．精度は

98.4%

であり，

高精度で検出できたことを示している．また，これを

用いた位置推定を行った結果の位置誤差の中央値を表

2

に示す．特に図

6

に示すような厳しい見通し外環境（

NLoS

環境）においても約

67cm

であり，全体では

58cm

とモノの管理にには十分な精度を達成できている．

最後に，

10

種類のモノ（ペットボトル，本，ゴミ箱，付近，ハンガー，カップ，ペン，スリッパ，貴重品，うちわ，椅子）に対する属性判別精度を測定した結果，全体では

84.2%

の精度であった．なお，椅子の判定精度が

41.6%

と低かったが，これは椅子同士は位置類似度が低いため，同じモノであると判定するのが難しかったことによる．椅子を除外した

9

種類で実験した結果，精度は

96.5%

に達している．

3.

スマートビルディングに向けた空調機器の位置同定

3. 1

背景

電力使用のピークシフトや居住者快適性の向上に向け，業務用空調機器の電力効率化とともにネットワーク化が進んでおり，スマートビルディングや

BEMS

（

Building Energy Management System

）の普及を背景に，今後の一層の導入増が予想される．人の温熱感推定や温湿度の空間網羅的センシング情報に基づき，そういった機器をネットワークで詳細に制御することで，電力と快適性の両立などの実現も期待できる．例えば，ある部屋の空調の設定温度を下げる，といった制御をネットワーク越しに行うことができる．

そういった制御を実現するためには，空調機器のネットワークアドレスとその物理的な設置位置の対応関係が把握できている必要がある．一般にネットワーク上のアドレスは起動時に自動的に設定されるため，

設置位置と紐付けるためには，機器を

1

台ずつ手動で起動し，自動的に設定される機器のネットワークアドレスと，起動させた機器を対応付けし，レイアウト

(6)

図にネットワークアドレスを反映させる作業が必要になる．しかし多数の空調機器に対しこの作業を一つずつ実施することは，人員及び時間の観点から大きなオーバヘッドとなる．特に，空調機器などは内装工事のフェーズで導入されることが多く，作業日程が過密となる段階での作業はなるべく省力化したいといったニーズは強い．現実空間における位置の特定機能をもたない設備機器のスマート化は重要課題であり，特に空調機器といった我々の生活空間に直接関連する機器をサイバー空間に取り込み，人やモノの情報（在室状況や人流，パーティションの位置など）を把握したうえで，現実空間の状況に基づいて空調制御を行うことは省エネルギー並びに快適性の両立を図るうえで極めて重要である．

本研究では，

BLE

（

Bluetooth Low Energy

）と制御用有線ネットワークが内蔵された

IoT

型の空調機器を前提とし，

BLE

間でアドバタイズパケットを交換し，

観測した電波強度をもとに空調機器間のおおよその近接関係を把握するとともに，フロアレイアウトを解析し，空調配置場所と上記で得られた近接関係のマッチングを試みることで，空調位置の自動同定を行う方法論を提案している

[12]

．

3. 2

^{手法の概要}

3

次元空間理解が進んでおり，空間の

CAD

データや空間スキャンデータをもとに

3

次元空間をモデル化し，

VR

や

AR

，行動推定や行動シミュレーション，家電制御，ビル設備管理などに活用する事例が増えている．提案手法では，こういった空間モデリングが既になされているという前提で，筆者の研究グループが

[13]

において提案した手法を活用する．

まず，位置同定を行う現場の空間解析に基づき，空調機器の設置位置並びに天井を構成する機器や部材

（

HVAC

^（

Heating, Ventilation, and Air Conditioning

^）^，

H

鋼，ダクト，パイプなど）の位置を

CAD

データ等から入手するとともに，それらをモデルパラメータとする天井電波伝搬モデルを用いて，対象空間における空調機器の設置位置間の電波伝搬推定を実施しておく．これにより，空調位置（これを位置

ID

^{とよぶ）間の推定}

RSSI

を辺の重み，位置

ID

を頂点とした「電波伝搬推定グラフ」

G

_Eを得る．また，空調機器に内蔵された

BLE

モジュールはシングルホップで到達可能な近隣モジュールのアドバタイズから

RSSI

を収集し，クラウドサーバーに送信する．クラウドサーバーはこれを集約し，

BLE

間のトポロジー情報を構築する．

BLE

トポ

図7 サイバー空間で推定されるGEと実空間観測で得られるGM

Fig. 7 GEin cyberspace andGMin physical space.

ロジー情報は最ゆう

RSSI

を辺の重み，頂点を

BLE

の

ID

（

BLE ID

とよぶ）としてもつ「観測グラフ」

G

_Mが得られる．これらに対し，

G

_M の

G

_Eへの最ゆうマッピングを得ることで，

BLE ID

をフロアレイアウト上の位置

ID

にマッピングし，空調機器のフロア位置への対応を得る．

このためにはまず電波伝搬推定グラフ

G

_Eを構築するための電波伝搬推定モデルが必要となる．図

8 (a)

及

び図

8 (b)

は実証実験を行ったビルの天井裏

H

鋼（梁）

及び

HVAC

の写真である．天井裏環境はこういった機器や部材が張り巡らされており，電波伝搬シミュレーションは容易でない．そこで本手法では，幾つかの現場において収集したデータから電波伝搬モデルを回帰分析により生成する方法を採用している．

自由空間伝搬損失に基づけば，電力は送信機と受信機の距離の

2

乗に比例して減衰する．しかし天井環境は多くの場合

0.5m

から

1.5m

程度の空間であり，前述のような部材や

HVAC

が配置されている．そのよう

(7)

図8 天井裏のH鋼とHVAC機器 Fig. 8 H-Steel and HVAC above ceiling.

な環境においては見通し距離だけでなく，それらの障害物の数や大きさが伝搬に大きな影響を与えるため，

既存の伝搬モデルを適用することは困難であると考える．これに対し，提案手法で特に電波伝搬に影響が大きいと想定される鉄鋼製梁（

H

鋼）あるいはサイズの大きい

HVAC

機器（空調機器ユニット並びに換気ユニットの両方）に着目し，

2

^{点間の距離（}

distance

^）^，見通し直線上の

H

鋼の数（

#beam

）並びに

HVAC

機器の

数（

#machine

）をパラメータとした回帰による天井電

波伝搬モデル作成を試みる．

まず，比較のため最小

2

乗誤差（

OLS

）に基づく多項式回帰により

distance

のみを説明変数とした回帰を行う．多項式回帰式は

y(w, ˆ x) = w

0

+ w

1

x

₁

+ . . . + w

p

x

_p

(2)

で表され，

x

は説明変数，

y ˆ

^{は目的変数，}

w

^は回帰係数である．損失関数は

min

w

|| X w − y ||

22

(3)

で表され，

y

^は

RSSI

，

X

は距離の多項式

d, d

²

, . . . , d

ⁿ を割り当てる．

これに対し，本手法で提案する天井電波伝搬モデルは，三つの特徴量

[distance, #beam, #machine]

を説明変数とし，それらの多項式の和（すなわち多変数多項式）を用いた以下のリッジ回帰にて求める．リッジ回帰は線形回帰に

L2

ノルムをペナルティ項として加えたものである．

min

w

|| X w − y ||

22

+ α||w ||

22

(4) α

の値が大きいほどペナルティは大きくなり，係数の影響が抑制される．その結果，モデルの複雑性が制御され，過学習を抑止する効果がある（本論文では

表3 回帰モデル評価 Table 3 Evaluation of regression models.

特徴量回帰モデル次元 ¹⁰分割交差検証 RMSE [dB]

全データセット RMSE [dB]

distance OLS

1 5.304 5.253

2 5.220 5.154

3 5.226 5.154

4 5.195 5.117

distance,

#beam,

#machine

Ridge:α=10

1 5.059 5.004

2 4.953 4.830

3 4.900 4.731

4 4.832 4.623

α = 10

としている）．なお，回帰式は各変数の多項式全体が含まれる．例えば最大次元を

2

としたときには，

1, d, #beam, #machine, d

²

, (#beam)

²

, (#machine)

²

, d · #beam, d · #machine

及び

#beam · #machine

が項となる．線形回帰並びにリッジ回帰のいずれも次元を

1

から

4

それぞれにおいて，各特徴量を正規化した上で回帰分析を行っている．これらのモデルを全データ

(100% data set)

を用いた回帰とテストをした場合の平均

2

乗平方根誤差（

RMSE

）

[dB]

並びに

10

分割交差検証で得られた

10

個の

RMSE

の平均値で評価した結果を表

3

に示す．

基本的には次元数が上がると

RMSE

は減少しており，交差検証が全データセット検証精度を上回っていることがわかる．結果より，三つの特徴量を用いる

4

次元モデルが最もモデル精度が高いため，これを天井電波伝搬モデルとし，以下のマッチングアルゴリズムを適用する．

マッチングアルゴリズムについて述べる．観測グラフを

G

_M

= ( N , m )

^（

N

は

BLE ID

の集合，

m

は通信した

BLE

組の集合），電波伝搬推定グラフを

G

_E

= ( L , e )

^（

L

は位置

ID

の集合，

e

は位置

ID

組の集合）とする．図

7

の例において，

L = {A, B,C, D, E }

^，

e = L × L

であり，

前述の電波伝搬モデルを用いてこれらの辺に対応する

RSSI

を推定する．また，観測グラフでは，一部の

BLE

間は通信が到達しない可能性もあるため，一般には完全グラフとはならない．この例では

N = {1, 2, 3, 4, 5}

^であり

m = {(1, 2), (1, 4), (1, 5), (2, 3), (3, 4), (3, 5), (4, 5)}

^である．これに対し，各

BLE ID j

のリンクのみを取り出したサブグラフ

G

_M

( j ) = ( N

_j

, m

_j

)

^{と，各位置}

ID v

^のリンクのみを取り出した

G

_E

(v) = ( L

_v

, e

_v

)

^{を考える．例え} ば，

BLE ID 1

と位置

ID A

に対し，

G

_M

(1) = (N

1

, m

₁

)

^，

N

₁

= {1, 2, 4, 5}, m

₁

= {(1, 2), (1, 4), (1, 5)}

^，

G

_E

(A) = (L

A

, e

_A

)

^，

L

_A

= L

，

e

_A

= {(A, B), (A, C), ( A, D), (A, E)}

である．これに対し，マッチング

F : N

_j

→ L

_vは，

マッチングによる

2

辺の

RSSI

差を誤差としたときの

(8)

図9 実証実験空間のレイアウト Fig. 9 Room layout.

平均

2

乗和誤差が最小となるものとし，そのゆう度はその誤差が小さいほど大きい値となるように設定する．これを全ての

BLE ID

と位置

ID

の組に対し計算することで，ゆう度行列

A

_N×Lを得ることができ，そこからゆう度最大となる一対一対応

M : N → L

を発見する．

3. 3

性能評価

大阪府にあるオフィスビルにおいて，図

9

に示す

13

台の空調機器に対応するよう，天井裏位置に

13

台の

BLE

ノードを設置し，それらをイーサーネットでゲートウェイに接続した．このもとで，

BLE

ノードが相互に観測した

BLE

アドバタイズをゲートウェイに収集する実験を実施した．収集は

1

週間実施し，

2.4GHz

帯トラヒックが少ない夜間並びに週末に収集したデータの平均値を

RSSI

とした．得られた提案手法を適用して得られたゆう度行列と，文献

[14]

の手法を補助的に適用した結果を突合してゆう度の曖昧性を可能な限り排除し，矛盾ない最大ゆう度の一対一対応を得た．

その結果，

2

箇所については，ゆう度が近似しすぎるために自動同定は困難であったものの，

11

箇所のマッチングは正しく行われ，全体として大幅な管理コスト削減が期待できる．

4.

スマートセンシングデータを処理する超知性ネットワーク技術

4. 1

超知性ネットワークに求められる役割サイバーフィジカルシステムや

Society5.0

のような

実世界指向のコンピューティングでは，スマートセンシングにより観測した現実空間のデータを

AI

によって解析し，人間社会へフィードバックすることを目標としている．

5G

の要求条件の一つである

Machine Type Communications

（

Massive IoT

）では，

1m

²あたり

1

台の

IoT

機器が想定されているが，動画像や

LiDAR

による人やモノの存在や位置情報，スマートホームや個人のバイタルセンシングから生成されるパーソナルヘルスや生活管理情報，スマートビルディングから計測される膨大なエネルギーデータや空調照明機器の状態データなどを考慮すれば，スマートセンシングにより理解されるヒト・モノ・環境やそれらに付随する情報量は

IoT

機器数以上に増大し，様々な地点からサイバー空間に取り込まれていくと想定される．理想的には，

スマートセンシングによりあらゆる実世界事象をサイバー空間にリアルタイムで取り込むことができれば，

実空間を対象としたリアルタイム事象予測や

What-if

解析などが可能になる．この延長上にデジタルツインやバーチャルシティといった概念が存在する．

そういったサイバー空間を実現するためには，多数の地点から様々なデバイスやセンサーにより取り込まれるデータを誰がどこでどのように処理して活用するかを設計する必要がある．これに対し，近年のエッジデバイスの普及と今後の増大，並びにクラウド処理や通信量の限界を鑑みれば，システムの分散化は自然なソリューションとみなせる．近い将来の

IoT

デバイスやエンドシステムは計算資源や

AI

機能を有したエッジコンピューティングデバイスとなる．したがって，

個々のデバイスやその周辺環境から生成されるセンシングデータの権利関係やプライバシー，及びデバイスの計算資源やネットワーク容量等を意識しながらそれらを緩やかに連携させ，より公共の利益に資する広範囲で高精度な

AI

を構築する技術が望まれる．

分散

AI

技術をベースとしたサイバー空間が実現できれば，現実社会の事象を理解・解析し，そのフィードバックが社会に与える影響を計算可能なプラットホームが実現され，それを活用する新時代の実世界アプリケーションが生まれると期待される．以下では分散

AI

技術をそういったアプリケーション実現のための重要技術とみなして技術動向を俯瞰する．

4. 2

超知性ネットワークを支える分散

AI

一般に

AI

の学習，推論，あるいはその両方を計算資源の劣るエッジデバイスで行うことをエッジ

AI

^あるいはエッジインテリジェンスとよぶ

[15]

．ガートナー

(9)

が

2019

年に発表したトレンド予測によれば，

2023

年までに

20

倍以上のスマートデバイスがエッジデバイスとして

IT

システムに組み込まれるとしており

[16]

^，同年のハイプサイクルではエッジ

AI

が過度の期待期に位置付けられている．産業界では，エッジ

AI

という用語は主に

AI

実行のためのハードウェアあるいは

AI

の一部をエッジデバイスで実行するための

Microsoft Azure

や

Amazon AWS

のようなプラットホームの観点で用

いられることが多い．近年は深層学習用

ASIC

が多く発表されており，

Huawei

の

Ascend 910

や

Intel

が買収した

Habana Lab.

の推論

/

学習用チップ

Goya/Gaudi

などが知られている．

深層学習の訓練（モデル更新）や推論を分散環境でどのように実行するかは従来より研究がなされてきており

[17]

，

2017

年には

Google

により

Federated Learn- ing

の概念が発表されて注目を集めた

[18]

．

Federated

Learning

では，モバイルデバイスなどのデータの保有

者，あるいはそこに近い場所で，自身が有するローカルデータのみから学習を実施し，その結果得られるモデルパラメータ更新をクラウドサーバーに送信する．

サーバー側では得られた複数のデバイスからの更新を統合してグローバルモデルを学習させる方法であり，

各デバイスがデータを開示することなく，グローバルモデル学習の実行を実現する分散学習手法である．例えば家庭における行動推定のためのセンシングデータはプライバシー保護の観点から家庭外で処理されることは望ましくない．一方で，学習により得られた知識を複数家庭で共有すれば，全体精度向上や公共の利益につながる．したがって，このような手法はプライバシーセンシティブなセンサーデータの活用法として期待される．

Federated Learning

で性能評価基準として言及している

Federated SDG

（

FedSDG

）では，各クライアントは割り当てられた全ローカルデータを用いて損失関数勾配を計算しモデル更新を行い，それを統合する．一方，提案されている

Federated Ave

（

FedAve

）ではモデルパラメータ更新に工夫をしており，ローカルデータのモデル更新において，ローカルミニバッチサイズ

B

^{，並びに学習回数}

E

^を

1

^{以上とし，繰り返し} 学習を実施する．これにより，

(i)

全体モデル精度が少ないインタラクションで向上させられること，及び

(ii)

全てのクライアントが学習に参加しなくてもインタラクション回数に大きく影響しないこと，を示している．

良く知られた

Federated Learning

^{の応用事例とし} てモバイルデバイスの入力予測の協調的学習がある

（

Google

は

Gboard

でこの技術を活用している）．一部の学習デバイスが間欠的に多様なデータで学習してもグローバルモデルの精度向上が可能である点から，例えば高度交通システムにおける

V2V

協調学習，スマートホームにおける行動解析，スマートビルディングにおける学習ベースのエネルギー削減など，類似の学習を広範囲にわたる組織や自治体，移動体や建造物等で個別に行うようなスマートシティアプリケーションの実現において特に期待される技術である．

また

Federated Learning

において，モデル圧縮を行

う手法

AutoML [19]

や，モデル更新頻度を調整する

手法，デバイス選択をネットワーク状態に合わせて最適化する手法なども提案されており，例えば

[20]

^ではデバイスのネットワーク状態に応じて，なるべく多くのデバイスに更新作業を依頼し，通信制約下でもモデル精度を早期に向上させることを目指している．また，

Google

のグループが文献

[21]

において，

[18]

の

Federated Learning

を多数のデバイスに展開する際に考慮すべき実課題について指摘している．例えば，時間帯など様々な要因で変化するデバイスの可用性や，

信頼性の低いデバイスによる通信切断や実行中断，デバイスの計算資源やストレージ制約などであり，それらの解決方法について述べている．そういった議論は最新の記事である

[17]

等でも行われている．

また，エッジデバイスの

AI

化が進めば，それらが自律的に連携してより多くの計算資源を提供しデータ活用を高度化するメッシュ

AI

に移行するともいわれている．例えばエッジインテリジェンスを搭載する自動運転車両が連携すれば各車両にとって最適な走行計画をリアルタイムに決定でき，マルチレーンの走行をスムーズにできる可能性もある．

[22]

では

Edge Mesh

とよばれるパラダイムを

2017

年に提案しており，意思決定のためのタスク管理とタスク割り当てをエッジデバイス間で実現するフレームワークを設計している．また，筆者の研究グループでは環境発電動作を前提とした小型デバイスを連携させてセンサーメッシュネットワークを構成し，そのネットワーク内で畳み込みニューラルネットワークをニューロンレベルで分割実行し省電力学習と推定を実現する

MicroDeep [23]

や，複数のデバイスからのストリームプロセシングを分散実行するプラットホーム

EdgeCEP [24]

を提案している．

(10)

5.

むすび

本論文では，人間中心のセンシング・

AI

^{解析・フィー} ドバックを行うことで社会課題の解決を目指す

Soci-

ety5.0

の概念に基づき，実世界アプリケーションを実

現するためのスマートセンシングに関するプロジェクトについて述べた．特に，人とモノの存在や状態をサイバー空間に取り入れて活用するための方法論の重要性を述べ，それらに関する技術紹介を行っている．また，多地点から得られる大量の分散センシングデータを集約・解析してして活用する超知性ネットワーク技術に求められる役割を議論し，それを支える分散

AI

技術の動向について述べた．

近年ではドローン，ロボット，自動運転車両など移動体エッジデバイスの高性能化や高度化が著しく，デバイスが有する計算能力やストレージ，通信容量も格段に向上しつつある．プライバシーやデータホルダーの関係を意識しながら，それらの資源を活用したエッジ

AI

を協調させ，スマートセンシングと相互連携しながら

Society5.0

に資する実世界アプリケーションを分散環境で実現していくことが望まれる．筆者もその実現に向けた技術開発に引き続き従事していきたい．

謝辞本研究成果は，国立研究開発法人情報通信研究機構（

NICT

）の委託研究（課題番号

191

）により得られたものです．また，本論文で紹介した事例研究は，

大阪大学大学院情報科学研究科モバイルコンピューティング講座並びに企業との協同により実施されたものです．本論文の執筆にあたり関係する全ての共同研究者の皆様に感謝します．

文献

[1] 大阪大学，ライフデザイン・イノベーション研究拠点．

http://www.ids.osaka-u.ac.jp/ildi/

[2] 山口弘純，安本慶一，“エッジコンピューティング環境における知的分散データ処理の実現，”信学論（B），vol.J101-B, no.5, pp.298–309, May 2018.

[3] D. Ye, R. Yu, M. Pan, and Z. Han, “Federated learning in vehicular edge computing: A selective model aggregation approach,” IEEE Access, vol.8, pp.23920–23935, 2020.

[4] T. Wei and X. Zhang, “Gyro in the air: tracking 3D orientation of batteryless internet of things,” GetMobile: Mobile Computing and Communications, vol.21, pp.35–38, May 2017.

[5] M. Ougida, H. Yamaguchi, and T. Higashino, “Trajectory-assisted robust rfid-tagged object tracking and recognition in room environment,” Proc. 23rd ACM International Conference on Model- ing, Analysis and Simulation of Wireless and Mobile Systems (MSWiM2020), pp.1–5, 2020.

[6] 扇田幹己，山口弘純，東野輝夫，“人間行動を活用したrfidに

よるモノの位置と種別推定，”情報処理学会第27回マルチメディア通信と分散処理ワークショップ論文集，pp.28–38, Nov. 2019.

[7] F. Manzoor, Y. Huang, and K. Menzel, “Passive rfid-based indoor positioning system, an algorithmic approach,” 2010 IEEE International Conference on RFID-Technology and Applications, pp.112–117, 2010.

[8] J. Wang and D. Katabi, “Dude, where’s my card?: Rfid positioning that works with multipath and non-line of sight,” SIGCOMM Comput. Commun. Rev., vol.43, no.4, pp.51–62, Aug. 2013.

http://doi.acm.org/10.1145/2534169.2486029

[9] Y. Zhang, Y. Ma, X. Miao, S. Zhang, and B. Wang, “Multipath mitigation algorithm for multifrequency-based ranging via convex relaxation in passive uhf rfid,” IEEE Internet of Things Journal, vol.6, no.1, pp.744–752, 2019.

[10] C. Duan, X. Rao, L. Yang, and Y. Liu, “Fusing rfid and computer vision for fine-grained object tracking,” IEEE INFOCOM 2017 - IEEE Conference on Computer Communications, pp.1–9, 2017.

[11] E. Global, “EPC Radio-Frequency Identity Protocols Generation- 2: UHF RFID Specification for RFID Air Interface – Protocol for Communications at 860 MHz – 960 MHz, Version 2.0.1 Ratified”.

https://www.gs1.org/sites/default/files/docs/epc/Gen2_Protocol_

Standard.pdf (参照2020-09-22).

[12] C. Chen, N. Kitbutrawat, S. Kajita, H. Yamaguchi, and T.

Higashino, “Modeling ble propagation above the ceiling for smart hvac systems,” 2019 15th International Conference on Intelligent Environments (IE), pp.68–71, 2019.

[13] Y. Noh, H. Yamaguchi, and U. Lee, “Infrastructure-free collabora- tive indoor positioning scheme for time-critical team operations,”

IEEE Trans. Syst., Man, Cybern.: Systems, vol.48, no.3, pp.418–

432, 2018.

[14] N. Kitbutrawat, C. Chen, S. Kajita, H. Yamaguchi, and T.

Higashino, “Localization of heating, ventilation, and air conditioning by walking in smart building,” Sensors and Materials, vol.32, pp.59–78, Jan. 2020.

[15] Z. Zhou, X. Chen, E. Li, L. Zeng, K. Luo, and J. Zhang, “Edge intelligence: Paving the last mile of artificial intelligence with edge computing,” Proc. of the IEEE, vol.107, no.8, pp.1738–1762, 2019.

[16] Gartner Inc., Top 10 Strategic Technology Trends for 2020.

https://www.gartner.com/en/publications/top-tech-trends-2020 [17] T. Li, A.K. Sahu, A. Talwalkar, and V. Smith, “Federated learn-

ing: Challenges, methods, and future directions,” IEEE Signal Processing Magazine, vol.37, no.3, pp.50–60, 2020.

[18] B. McMahan, E. Moore, D. Ramage, S. Hampson, and B.A.

y Arcas, “Communication-eﬃcient learning of deep networks from decentralized data,” Proc. of the 20th International Conference on Artificial Intelligence and Statistics (AISTATS2017), pp.1273–

1282, 2017.

[19] Y. He, J. Lin, Z. Liu, H. Wang, L.-J. Li, and S. Han, “AMC:

AutoML for model compression and acceleration on mobile de- vices,” The European Conference on Computer Vision (ECCV), pp.784–800, Sept. 2018.

[20] T. Nishio and R. Yonetani, “Client selection for federated learning with heterogeneous resources in mobile edge,” ICC 2019 - 2019

(11)

IEEE Int. Conf. Communications (ICC), pp.1–7, 2019.

[21] K. Bonawitz, H. Eichner, W. Grieskamp, D. Huba, A. Ingerman, V. Ivanov, C.M. Kiddon, J. Konečný, S. Mazzocchi, B. McMahan, T.V. Overveldt, D. Petrou, D. Ramage, and J. Roselander, “To- wards federated learning at scale: System design,” Proc. SysML Conference 2019, pp.1–15, 2019.

[22] Y. Sahni, J. Cao, S. Zhang, and L. Yang, “Edge mesh: A new paradigm to enable distributed intelligence in internet of things,”

IEEE Access, vol.5, pp.16441–16458, 2017.

[23] Y. Fukushima, D. Miura, T. Hamatani, H. Yamaguchi, and T.

Higashino, “Microdeep: In-network deep learning by micro- sensor coordination for pervasive computing,” 2018 IEEE Int.

Conf. Smart Computing (SMARTCOMP), pp.163–170, 2018.

[24] S. Choochotkaew, H. Yamaguchi, and T. Higashino, “A self- organized task distribution framework for module-based event stream processing,” IEEE Access, vol.7, pp.6493–6509, 2019.

（2020年7月21日受付，9月23日再受付，

11月10日早期公開）

山口弘純（正員）

平6大阪大学基礎工学部情報工学科卒．

平10同大学大学院基礎工学研究科博士後期課程修了．平11同大学大学院基礎工学研究科助手．平19より同大学大学院情報科学研究科准教授．博士（工学）．モバイルコンピューティングに関する研究に従事．

平30年度科学技術分野の文部科学大臣表彰（研究部門）．情報処理学会，ACM，IEEE各会員．

招待論文

招待論文

Society5.0 に求められるスマートセンシングと超知性ネットワーク技術

山口 弘純

Smart Sensing and Super-Intelligent Networking Technologies for Enabling Society5.0 Systems and Applications

Hirozumi YAMAGUCHI

1.

1. 1

5

Society5.0

IoT

AI

30

Society 5.0

QoL

Quality of Life

[1]

NSF

2006

Society5.0

AI

IoT

AI

[2]

[3], [4]

Federated Learning

AI

Society5.0

AI

1. 2

Society5.0

Federated Learning

AI

2.

2. 1

RFID

[5], [6]

RFID

RFID

Amazon

Amazon Go

m

10m

RFID

ID

[7], [8]

[9]

[10]

RFID

RFID

RSSI

2. 2 RFID

RFID

EPC Global

Class 1 Generation 2

[11]

ISO18000-6C

UHF RFID

RFID

1

RFID

RFID

ID

RFID

RSSI (dBm)

[0, 2π] (rad)

RFID

θ = (2π · 2R

λ + θ

+ θ

+ θ

) mod 2π (1) R

2R

λ

θ

θ

θ

100

[−π, π]

2. 3

山口弘純