深層学習に基づく適応的圧縮パターン推定による高効率圧縮法

全文

(1)情報処理学会第 82 回全国大会. 7D-01. 深層学習に基づく適応的圧縮パターン推定による高効率圧縮法関根理敏†. 伊加田恵志†. 沖電気工業株式会社経営基盤本部研究開発センター† １．はじめに近年，IoT や AI を活用したモニタリングシステムが重要となっている．我々はその利用環境における広範囲・長期間にわたって収集されるセンサデータの伝送効率化に向けて，LACSLE (Lightweight and Adaptive Compressed Sensing based on deep Learning for Edge devices)と呼ばれる，エッジ端末において深層学習に基づいて最適な圧縮比を動的に推定する機械学習型の適応的圧縮センシング手法を提案している[1]．この手法では，ある一定期間ごとに最適な圧縮比を推定し，その圧縮比に基づいてランダムに送信サンプルを選択している．そのため，その一定期間内でスパース度が変化する場合の最適な送信サンプルの選択に対応する必要があるという課題があった．本稿では 1 サンプルごとに送信の有無や，圧縮単位の分割をデータに応じて動的に制御する手法の提案と，適応的圧縮パターンの学習時における表現方法に関する検討を行う．. り返し行うため，膨大な計算量が必要となるが，学習後の推論段階では順伝搬の計算を一度行えば良いため，計算量は少なく，高速な推定が可能である．最適な圧縮比を推定するための学習方法として，教師あり学習または強化学習を利用する．教師あり学習では，あるセンサデータに対して予め最適な圧縮比を予め探索して求め，それを教師データとして，センサデータを説明変数，最適な圧縮率を目的変数として回帰モデルを構築するように学習する．一方，強化学習では，状態をセンサデータ，行動を圧縮比，報酬をデータ伝送効率として，試行錯誤を繰り返して最適な方策を獲得できるように学習を行う．. ２．LACSLE の概要一般にセンサデータの特性はリアルタイムに変動すると想定すると，元のデータの数𝑁𝑁，圧縮後のデータの数𝑀𝑀として，もし圧縮比𝑐𝑐 = 𝑀𝑀/𝑁𝑁 が固定な場合，冗長な送信サンプルを送信したり，逆に送信サンプルが不足し，受信端末でのデータ復元誤差が増大したりするという問題が生じる．そこでセンサデータに応じて圧縮比𝑐𝑐 を動的に変更することにより，データ伝送効率を最大化する．データ伝送効率においては，エッジ端末のデータ送信量と，受信端末でのデータ復元誤差を考慮する．両者の値が小さいほどデータ伝送効率は高くなる．上記の最適な圧縮比を求めるために，エッジ端末上でデータが得られる度に，センサデータに対する圧縮比とデータ復元誤差の関係を繰り返し探索的に求めるのは計算量が膨大となり，遅延も大きくなる．そこで，このようなエッジ端末での最適化制御の処理を軽減するために，深層学習を利用して最適な圧縮比を推定する．図 1 のように，学習段階で予め学習用の端末においてセンサデータからエンドツーエンドで最適な圧縮比を推定する学習モデルを構築し，エッジ端末でその学習済みモデルを利用して最適な圧縮比を推定する．一般に深層学習において，学習段階では順伝搬と逆伝搬の計算や試行錯誤を繰. 図 1. LACSLE の概要. ３．LACSLE の適応的圧縮比推定に関する課題 LACSLE では図 1 のようにデータを深層学習モデルに入力し，最適な圧縮比を推定する学習モデルを教師あり学習・教師なし学習・強化学習のいずれかで推定していた．ある一定期間においては，圧縮比や，圧縮を行う単位となる期間は一定であり，推定された圧縮比𝑐𝑐 に基づいて，図 3 上のように𝑐𝑐 = 𝑀𝑀/𝑁𝑁 となるようにその期間内でランダムに送信サンプルデータを取得していた．そのため，図 2 で示すように，ある一定期間内でスパース度が非定常に変化するようなデータに対しては，データのスパース度の変化に対応して必ずしも適切にデータがサンプリングできているとは言えない．また１回の圧縮を行う単位となる期間も最適とは限らなくなる．そのため，このようなスパース度が非定常に変化するようなデータにも対応する必要がある．. ４．適応的圧縮パターン推定 Efficient Data Compression with Adaptive Compression Pattern Estimation based on Deep Learning † Masatoshi Sekine, Satoshi Ikada, Oki Electric Industry Co., Ltd.. 3-1. ３章で述べた問題に対し，本稿では，図 3 下のように，ある期間において，データ伝送効率が最適と. Copyright 2020 Information Processing Society of Japan. All Rights Reserved..

(2) 情報処理学会第 82 回全国大会. に伴うデータ圧縮効率も連続的な変化となり，学習なるように，送信する個々の送信サンプル及び一度の性能が向上すると期待される．に圧縮センシングを行う単位となる期間を推定する送信するデータサンプル長，つまり符号長が𝑁𝑁 のことでデータ期間内のスパース度の変化に対応する．場合，𝑁𝑁 の中に𝑘𝑘 個の“1”が含まれる組み合わせは 𝑁𝑁 𝐶𝐶𝑘𝑘 であり，𝑘𝑘 が 0 から𝑁𝑁までに対応する符号を𝑘𝑘 の値が小さい順に 10 進数に割り当てる，𝑘𝑘の値が同じ場合，2 進数の値が小さい順から 10 進数を割り当てる．10 進数はさらに学習モデルから出力される連続値に対応付けられる．図 4 に，10 進数をそのまま 2 進数に変換した場合において，符号に含まれる“1” の個数の関係と，10 進数に対して“1”の個数が連続的に増加するように符号化した場合の “1”の個数図 2. センサデータのスパース度の時間変化の関係を示す．これにより，後者の方が 10 進数するの増加と伴って“1”の個数が振動的に増減する前者の方よりも滑らかに変化する．その結果，強化学習における行動空間の変化に伴う報酬の変化が安定し，学習がより効率的に行うことができる可能性がある．. 図 3. 元のセンサデータとデータのサンプリングこの圧縮パターンに基づいて圧縮センシングを実行する．これにより，ある期間内でのスパース度の変化に対応する．. ５．適応的圧縮パターンの表現方法４章で行った適応的圧縮パターンの，学習時における表現方法について検討を行う．もし適応的圧縮パターンにおける送信サンプルの選択や期間の分割位置をそれぞれの送信サンプルや位置に対応した学習モデルの出力ノードで表現する場合，観測期間の長さの増加に伴い，出力される次元も増加する．そこで，学習モデルから出力される最適な送信サンプル及び分割タイミングをそれぞれの送信サンプルに対応した出力ノードで表現するのではなく，送信サンプルの位置や期間の分割位置をまずそれぞれ 10 進数 1 次元の計 2 次元で表現し，その 10 進数をさらに学習モデルから出力される 2 次元の連続値に対応させる．その場合， 2 進数を単にその大きさに対応した 10 進数に変換するだけでは，例えば “0001111111”から“0010000000”のように，2 進数がわずかに変化しただけでも，2 進数に含まれる“1” の数が大幅に変化し，非連続な変化となってしまう．図 4 の青線のように 10 進数の変化と“1”の数が非連続となり，その結果，10 進数に対応した学習モデルから出力される連続値に対して，データ伝送効率も不意続な変化となり，学習時の収束が遅くなったり，不安定になったりしてしまう可能性がある．そこで，数え上げ符号の原理を用いて，2 進数に含まれる“1”の数に比例して対応する 10 進数が大きくなるように符号化することにより，10 進数の変化. 3-2. 図 4．10 進数と符号化された 2 進数に含まれる “1”の関係. ６．おわりに本稿では深層学習に基づいて適応的に圧縮パターンを推定する手法の提案と，その圧縮パターンの表現方法におけるに関する検討を行った．ある一定期間のある圧縮比に対するランダムなサンプリングではなく，個々の送信サンプルの選択・圧縮期間の適応化により，より少量のサンプルの送信で精度の高い復元が行える可能性がある．また，圧縮パターンの符号化を行い，“1”の数に比例した 10 進数で表現することにより，学習効率を改善できる可能性があることを示した．今後は性能評価を行う予定である．. 謝辞本研究の一部は，総務省「戦略的情報通信研究開発推進事業（SCOPE）国際標準獲得型研究開発」によるものである．. 参考文献 [1] Masatoshi Sekine and Satoshi Ikada, “LACSLE: Lightweight and Adaptive Compressed Sensing Based on Deep Learning for Edge Devices,” IEEE GLOBECOM, Dec. 2019.. Copyright 2020 Information Processing Society of Japan. All Rights Reserved..

(3)