高効率で省電力な IoT・ビッグデータ処理基盤
研究代表者
甲藤
二郎
（基幹理工学部 情報通信学科
教授）
1. 研究課題
各種センサ、スマートフォン、自動車、列車、移動ロボット等、IoT (Internet of Things) デバイ スは多岐に渡り、またそのセンシングデータも、加速度、温度等の小容量データから高精細映像等 の大容量データまで、あるいは、SNS (Social Networking Service)等の遅延要求の緩いものから自 動運転、Industry 4.0 等の遅延要求の厳しいものまで、これまた多岐に渡っている。また、災害時 や大きなイベント時にはバースト的に大量のデータが発生するが、どのような環境下でも安全かつ 高信頼なセンシングを確保すると共に、適切な情報を抽出できるデータ処理技術の確立が求められ ている。さらには、東日本大震災時の反省に基づき、電力供給が限られた中でも長時間動作可能な 省電力化技術の確立が求められている。 そこで本申請では、高効率（高スループット）、低消費電力、低遅延、かつ安全な IoT センシング データの収集技術、センシングデータが爆発的に発生した場合にも柔軟に対応可能な階層化モバイ ルクラウドの構築技術、ならびにそれらの研究成果の有効性実証のための高機能テストベッドの開 発、に関する研究開発を進める。最終的には、プロトタイプ実装を通じて提案方式の有効性を実証 し、具体的な出口としての東京オリンピック、運輸・自動車、医療・健康、農業・林業等の社会的 課題の解決と産業貢献、ならびに、安心・安全なIoT・ビッグデータ処理基盤の構築に資すること を目標とする。
2. 主な研究成果
2.1. エッジコンピューティングを活用したマルチメディア分散処理のための遅延評価 2.1.1. はじめに 近年ユーザが求めるアプリケーションは高度・複雑化し続けている．しかしながら，このような高 度アプリケーションを全てユーザ端末内で処理を行うことは，消費電力増加や処理能力に対する懸 念から現実的ではなく，近年普及しているクラウドサービスを利用した処理環境が広く利用されて いる．その結果，スマートフォンやInternet of Things (IoT) デバイスといった端末の普及による ネットワークトラフィックの爆発的な増加が顕著となっている．ただし，リアルタイムな処理が必 要となるアプリケーションを対象とすると，端末－クラウド間の通信遅延やクラウドの計算資源選 択の難しさがボトルネックとなり，必ずしもクラウドサービスがその要求に満足しているとは限ら ない． そこで，近年，ネットワークのエッジ部(エッジルータ，無線通信基地局，アクセスポイント等)に 配置されたエッジサーバで分散処理を図るエッジコンピューティングが提案されている．従来のク ラウドコンピューティングでバックボーンのデータセンタに配置されるコアサーバよりも，ユーザ 端末からの物理的な距離を短縮し，負荷分散を図ることで，クラウドコンピューティングのボトル ネックの一つである通信遅延を改善することが期待されている．その結果，端末，コアサーバおよびエッジサーバで高負荷なアプリケーションの分散処理を実行することで，端末の性能によらずに 処理の高速化が期待されている． エッジコンピューティングでは，ある程度複数のエッジサーバがクラスタを構築し，さらに，局所 的に分散配置されることを想定している．その結果，非常に多くのサーバやネットワークが存在し， それぞれが小規模なデータセンタのような役割を果たしている．そのため，エッジコンピューティ ング環境でアプリケーション処理を行う際は，その多くのサーバ，ネットワークの中から，動的に 変動する各サーバの割り当てリソース量や各ネットワークの帯域を考慮した上で，ユーザが要求す るQoS(Quality of Service)を満たす分散処理可能な経路を適切に選択する必要がある． 2.1.2. 実験環境 従来のクラウドコンピューティングおよびエッジコンピューティングを想定した実験環境を研究室内に 構築し，アプリケーション処理の遅延特性評価を行う．本環境は，ユーザ端末1 台とコアサーバ 1 台(Core)， エッジサーバ3 台(Edge1, 2,3)，OpenFlow コントローラ 1 台で構成されており，今回使用している各 サーバのOS はいずれも Ubuntu14.04 である．また，各サーバのスペック（CPU，メモリ）はそれぞ れ表1 の通りである． 表1. 各サーバスペック
Server CPU Memory Core Intel® Xeon®
E5-1650v2 @3.50GHz 8GB Edge1 (①) Intel® Core™ i5-2400
@3.10GHz 4GB Edge2 (②) Intel® Core™2 Q8400
@2.66GHz 4GB Edge3 (③) Intel® Core™ i7-3770
@3.40GHz 8GB
ユーザ端末とコアまたはエッジネットワーク間は，クラウドコンピューティングの往復遅延が数百ms， エッジコンピューティングの往復遅延が数十ms 程度であることを踏まえ，それぞれ 100ms，10ms の 遅延を発生させている．また，クラウドコンピューティングではエッジコンピューティングに比べて可 用帯域が限られることを踏まえ，各区間の帯域幅をそれぞれ10Mbps，100Mbps に制限している．遅延， 帯域については，共にLinux のコマンドである tc(traffic control)コマンドで制御している．OpenFlow コントローラは最適な経路を決定し，指定したサイクルごとに最適な経路情報を各サーバに対して送信 している．各サーバはその経路に従ってデータ処理と転送を実行することとする． 本実験では，監視カメラ映像からの人物検出を処理対象のアプリケーションを想定している．アプリケ ーションの実行手順を次に示す．まず，監視カメラで撮影された映像を2K の動画として 1 秒毎のセグ メント（30 フレーム）ごとに分割し，コアもしくはエッジ①サーバへ送信する．次に，1 つ目の処理と して，検出処理量緩和のために，動画のフレームサイズを1920x1080 から 640x360 に縮小を行う．そ の後，2 つ目の処理として，各フレームに対して HOG 特徴量を用いて人物検出を行う． 2.1.3. 実験結果 人物検出アプリケーションについて，1 秒および 10 秒間の動画を処理したときの実機計測した実行遅延 時間，および3 章のエッジコンピューティングにおける遅延分析モデルに基づいて計算した実行遅延の
理論値を図 1 に示す．ここでは，コア，エッジ①サーバそれぞれで 2 つの処理を実行した結果と， OpenFlow コントローラで決定した最適な経路での処理実行結果(Edge①->③)を比較している． (a) 動画 1 秒 (b) 動画 10 秒 図1. 遅延時間理論値および実測値 この図からわかるように，処理時間(Processing1 と 2)に関しては理論値と実測値は概ね一致しているが， 通信時間に関しては，特にコアサーバで処理した際に約3 秒程度の差が生まれている．この原因として， 今回計測した通信データサイズが，(a)の場合Drx=2.65[Mbit]，Dtx=5.52[Mbit]と小さく，TCP 輻輳制
御が効果的に機能しなかったために理論値通りのスループットが出なかったことや，理論値に反映して いないメッセージのやり取り時間が発生していることが原因として挙げられる． 次に，エッジサーバとコアサーバを用いた際の通信にかかる時間を比較すると，エッジサーバを用いた 場合の遅延時間は，いずれもコアサーバを用いた場合の遅延時間より短いことがわかる．これは主にユ ーザ－コア/エッジサーバ間の帯域や RTT といったネットワーク環境の差に起因しており，クラウドコ ンピューティングに比べてエッジコンピューティングは通信面において低遅延化を実現できることがわ かる．
2.1.4. まとめ 本稿では，エッジコンピューティングを用いたマルチメディア処理の低遅延化に着目し，モデル式 や処理経路選択法の提案を行った．評価結果より，遅延モデル式の妥当性と，クラウドコンピュー ティングおよびエッジコンピューティングの遅延特性を示した．さらに，モデル式を用いて低遅延 処理のためにネットワーク経路を最適化することにより，エッジコンピューティング環境でより低 遅延な分散処理を行うことができることを示した． 2.2. MPEG-DASH を用いた 4K 映像配信時の QoS/QoE 評価 2.2.1. はじめに 近年、ネットワークの高速化と映像の高精細化に伴い、複数ユーザ競合時でも高品質性を維持でき る映像配信の需要が増加している。また、スマートフォンやタブレットといったモバイル端末の普 及により、映像コンテンツの視聴形態の多様化が進んでいる。本稿ではMPEG-Dynamic Adaptive Streaming over HTTP (DASH)を用いて多様な環境下における 4K 映像配信時の Quality of Service (QoS) および Quality of Experience (QoE)を定量的に評価する。
2.2.2. 配信方式変化時の DASH 配信 QoS/QoE 評価 図2 に複数ユーザ時の配信方式を変化させた際の実験結果の平均値を示す。 図2. 固定レート配信と適応レート配信 (有線 LAN). 図より再生中断が生じると MOS が大きく低下することから、MOS への影響は再生中断が大きいと いうことが言える。適応レート配信ではユーザ端末数の増加に対して、適応レート制御によりレプリゼ ンテーションを低下することで再生中断を回避しているため、ユーザ端末数に関わらず、MOS が大き い。さらに、平均レプリゼンテーションの低下に伴うMOS の低下が緩やかであることより、レプリゼ ンテーションが与えるMOS への影響は再生中断が与える影響よりも小さいということが言える。した がって、高品質性を維持するためにはレプリゼンテーションが低下したとしても、再生中断の抑制が重 要と言える。 一方、スタートアップ時間について見てみると、ユーザ端末数が少ない場合では固定レート配信のほう
がスタートアップ時間は短いということがわかる。なぜなら、十分なネットワーク帯域がある場合、固 定レート配信では適応レート配信よりも低品質なレプリゼンテーションを選択するため、セグメントの 取得に要する時間が短いと考えられる。ただし、複数ユーザによる帯域の競合が多くなると、適応レー ト制御によりレプリゼンテーションを動的に切り替えられる適応レート配信のほうがスタートアップ時 間は短くなる。その結果、スタートアップ時間によるMOS の変動が少ないことから、スタートアップ 時間がMOS へ与える影響は小さいと言える。 2.2.3. ネットワーク遅延変化時の DASH 配信 QoS/QoE 評価 図3 に有線上の 5 ユーザに対してネットワーク遅延を変化させた際の実験結果の平均値を示す。ネット ワーク遅延はLinux コマンドである tc(traffic control)コマンドで制御している。
図3. ネットワーク遅延の影響. 図よりネットワーク遅延が50ms の場合では QoE 評価項目への影響はほとんどないということがわか る。1 ユーザあたりの平均スループットはネットワーク遅延が 0ms、50ms のとき、固定レート配信で はそれぞれ 6.96、6.77[Mbps]、適応レート配信ではそれぞれ 8.33、7.84[Mbps]であった。ネットワー ク遅延によるスループットの低下がほぼ見受けられないことから、最短経路で映像配信を行うよりも広 帯域な迂回経路を使用したほうが高スループットであり、複数ユーザによる競合時でも平均レプリゼン テーションの向上や再生中断の抑制が予測できる。したがって、ネットワーク遅延が 50ms 以内であ れば、最短経路よりも広帯域経路を使用したほうが十分なネットワーク帯域を必要とする映像配信には 適すると考えられる。 2.2.4. まとめと今後の課題 本稿ではMPEG-DASH を用いて多様な環境下における 4K 映像配信時の QOS/QoE を定量的に評価し た。高品質な映像配信のためには再生中断の抑制、適切なバッファサイズの設定、広帯域経路の選択が 重要と言える。
2.3. エッジコンピューティングを活用した IoT ネットワークのトラフィック最適化 2.3.1. はじめに 近年，IoT アプリケーションとして交差点や踏切などのさまざまな場所でカメラを用いて異常を検知す る映像監視システムの普及が進んでいる．このような監視システムは，高精度なイベント検知を低遅延 で行い，さらにシステムによって生成される映像や制御メッセージがネットワーク帯域を圧迫しないこ とが要求されている． そこで本稿では，ネットワーク負荷の緩和に着目した複数センサを活用したイベントドリブン型レート 制御を提案する．これは，イベント検知にカメラのみならず複数センサも活用し，高精度なイベント検 知を実現し，さらに，検知したイベントを基にビデオの圧縮率を制御することでビデオトラフィック量 を削減するものである． 2.3.2. イベントドリブンレート制御 本稿では監視対象エリアを踏切と想定しており，踏切内における人の有無，および動作（動いているか， 留まっているか）を検知することとする．利用するセンサとして， カメラ，レーザースキャナ（LS）， 赤外線測距センサ(IDS)を用いることとする．また，人物検知は LS とカメラを使用し，それぞれ背景差 分手法と HOG 特徴量を用いた手法によりセンサーベースと画像ベースの両手法で行う．さらに，LS， カメラによる検知に加えてシステムに冗長性を持たせるため，IDS を用いた監視エリアへの人物の侵入， 退出検知を行う． カメラを除き，センサーは取得したデータをエッジサーバーに送信する．そして，エッジサーバーにて 受信したデータを利用して人物の検知，追跡を行う．カメラは検知をローカルで行い，検知結果のみを エッジサーバーに送信する．これは，カメラによって取得した動画像がネットワーク帯域を圧迫するこ とを避けるためである．エッジサーバーにてイベントの検知を行った後，監視カメラの動画品質をイベ ントに応じて適応させる．本稿では，表2 に示すようにシステムの検知するイベントと動画品質の対応 を定義する 表2 イベントおよび品質定義 イベント定義 監視対象 対象の状態 動画品質 危険度:高 歩行者 停止 高 危険度:中 歩行者 移動 中 危険度:低 歩行者 不在 低 2.3.3. 評価実験 提案システムを評価するために，図4 に示すように，レーザースキャナ (HOKUYO UST-20LX), 2 つの 赤外線測距センサ (SHARP GP2Y0A21YK)， ウェブカメラ (Logitech HD Pro webcam c920)を研究室 内にそれぞれ設置し，データをノート PC を用いて収集した．ウェブカメラはレーザスキャナから 1600mm 左に設置し，2K/30fps/3Mbps で監視エリア全体の撮影を行った． また，レーザスキャナ，赤 外線測距センサはサンプリングレートをそれぞれ40, 10fps とした．システムは 1 秒毎に人物の行動検 知を行い，検知結果を元に1 秒の動画を 500/1000/3000kbps で変換する．本実験では，2 人の歩行者が 監視エリア内に侵入後，10 秒間範囲の中央で停止した後，退出するというシナリオで評価を行った． 図5 に提案手法を使用した場合としなかった場合の送信データ量について示す．図より，エッジサーバ
ーの検知ミスが時折生じているものの，提案手法により動画トラフィックが減少（約60％）しているこ とがわかる． 図4 実験環境 図5 送信データサイズの比較実験結果 2.3.4. まとめと今後の課題 本稿では，ネットワークにとって低負荷な監視映像システムを実現するために，複数センサを活用した イベントドリブン型レート制御手法を提案した．提案手法では，まず，カメラ，レーザースキャナ，赤 外線測距センサを活用し，監視対象エリアのイベント検知を行った．さらに，検知されたイベントを危 険度3 つの危険度に分けて定義し，その危険度に応じて配信する動画像の品質を高，中，低の 3 つに変 化させた．その結果，常に高品質で配信する場合と比較して約60％にデータ量を抑えることが達成でき た．
3. 共同研究者
佐藤 拓朗（早稲田大学・教授） 亀山 渉（早稲田大学・教授） 津田 俊隆（早稲田大学・客員教授） 金井 謙治（早稲田大学・助教） 山崎 恭（北九州市立大学・准教授） 市野 将嗣（電気通信大学・助教）4. 研究業績
[1] Kenji Kanai, Takeshi Muto, Jiro Katto, Shinya Yamamura, Tomoyuki Furutono, Takafumi Saito, Hirohide Mikami, Kaoru Kusachi, Toshitaka Tsuda, Wataru Kameyama, Yong-Jin Park and Takuro Sato: “Proactive Content Caching for Mobile Video utilizing Transportation Systems and Evaluation through Field Experiments,” IEEE Journal of Selected Area in Communications, Vol.34, No.8, Aug.2016.
[2] Sakiko Takenaka, Kenji Kanai, Jiro Katto and Tutomu Murase: "Green Video Delivery System using Moving Route Navigation and Playout Buffer Control," IEEE CCNC 2017, Jan.2017.
[3] Kentaro Imagane, Kenji Kanai, Jiro Katto and Toshitaka Tsuda: "Evaluation and Analysis of System Latency of Edge Computing for Multimedia Data Processing," IEEE GCCE 2016, Oct.2016.
[4] Shintaro Saika, Saki Takahashi, Masaru Takeuchi and Jiro Katto: "Accuracy Improvement in Human Detection Using HOG Features on Train-Mounted Camera," IEEE GCCE 2016, Oct.2016.
[5] Kentaro Imagane, Kenji Kanai, and Jiro Katto: "Performance Evaluations of Edge Computing for Multimedia Data Processing. IEICE SISA 2016, Sep.2016.
[6] 今金健太郎、金井謙治、甲藤二郎、津田俊隆、遅延分析モデルを用いたエッジコンピューティ ングとクラウドコンピューティングの実行遅延評価、信学総大、Mar.2017 [7] 川上航、金井謙治、甲藤二郎、モバイル端末によるセンサー情報の省電力アップロード手法の 消費電力特性評価、信学総大、Mar.2017 [8] 長島達哉、金井謙治、甲藤二郎、多様な環境下での MPEG-DASH を用いた 4K 映像配信時の QoE 評価、信学総大、Mar.2017 [9] 竹中幸子・金井謙治・甲藤二郎・村瀬 勉、通信速度変動を考慮した省電力配信のための消費 電力推定モデルの特性評価、信学会ICM 研究会、Mar.2017 [10] 川上航、金井謙治、甲藤二郎、モバイル端末によるセンサー情報の省電力アップロード手法の 消費電力特性評価、信学会NS 研究会、Mar.2017 [11] 長島達哉・金井謙治・甲藤二郎、多様な環境下での MPEG-DASH を用いた 4K 映像配信時の QoE 評価、信学会 NS 研究会, Mar.2017. [12] 小川啓吾・金井謙治・竹内 健・甲藤二郎・津田俊隆、監視映像システムにおけるセンサ情報 をもとにしたイベント検知および動画像レート制御の性能評価、信学会NS 研究会, Mar.2017. [13] 今金健太郎・長島達哉・金井謙治・甲藤二郎・津田俊隆、エッジコンピューティングを活用し たマルチメディア分散処理のための遅延評価、信学技報CS 研究会、Dec.2016
[14] 小川啓吾, 金井謙治, 竹内健, 甲藤二郎, 津田俊隆: "監視映像システムのための複数センサを 活用したイベントドリブン型適応レート制御の性能評価," 信学技報 MoNA 研究会, Nov.2016. [15] 雑賀 新太郎, 高橋 沙希, 竹内 健, 甲藤 二郎: "HOG 特徴量を用いた列車車載カメラ映像に おける人物検出," PCSJ/IMPS 2016, Nov.2016. [16] 高橋 沙季，竹内 健，甲藤 二郎::"可視光画像と熱画像を併用した人物検出精度改善の一検討," PCSJ/IMPS 2016, Nov.2016. [17] 金井謙治: "大規模フィールド実験におけるコンテンツ先回り配信の性能評価," 情処研報 AVM 研究会, Aug.2016.
![図 3. ネットワーク遅延の影響. 図よりネットワーク遅延が 50ms の場合では QoE 評価項目への影響はほとんどないということがわか る。1 ユーザあたりの平均スループットはネットワーク遅延が 0ms、50ms のとき、固定レート配信で はそれぞれ 6.96、6.77[Mbps]、適応レート配信ではそれぞれ 8.33、7.84[Mbps]であった。ネットワー ク遅延によるスループットの低下がほぼ見受けられないことから、最短経路で映像配信を行うよりも広 帯域な迂回経路を使用したほうが高スループットであり](https://thumb-ap.123doks.com/thumbv2/123deta/9831494.971381/5.892.195.702.393.683/ネットワークネットワークスループットネットワークスループット.webp)
