ECHONET Lite 対応家電と人感センサの時系列データ分析による宅内行動認識

ECHONET Lite

対応家電と人感センサの時系列データ分析に

よる宅内行動認識

Daily Living Activity Recognition through Time Series Analysis of

Data Obtained with ECHONET Lite Appliances and Motion

Sensors

佐々木 渉

1 ∗

_{藤原 聖司}

1

_{諏訪 博彦}

1

_{藤本 まなと}

1

_{荒川 豊}

1,2

木村 亜紀

3

_{三木 智子}

3

_{安本 慶一}

1

Wataru Sasaki,

1

_{Masashi Fujiwara,}

1

_{Hirohiko Suwa,}

1

_{Manato Fujimoto,}

1

_{Yutaka Arakawa,}

1,2

Aki Kimura,

3

_{Tomoko Miki,}

3

_{Keiichi Yasumoto}

1

1

_{奈良先端科学技術大学院大学 / Nara Institute of Science and Technology}

2

_{JST さきがけ / JST PRESTO}

3

_{三菱電機株式会社 / Mitsubishi Electric Corporation}

Abstract: Recognition of daily living activities is important to realize advanced services that increase QoL (Quality of Life) of residents by providing context-aware appliance control, health monitoring and so on. Our previous work already achieved recognition of nine types of daily living activities with an accuracy of 68% by applying Random Forest machine learning algorithm to the data collected with ECHONET Lite appliances and motion sensors in a home. ECHONET Lite is a communication protocol for the control and the sensor network of networked appliances used in a home and has been standardized as ISO/IEC-4-3. Many appliance manufacturers are developing ECHONET Lite appliances and introducing them into the market. In addition, motion sensors are already widespread and attached to some appliances such as lighting devices and IH cooking heaters so that they are automatically turned off when no one exists nearby. In this paper, we propose a new method of daily living activity recognition by introducing time series data analysis with LSTM of Deep Learning. We collected data with ECHONET Lite appliances and motion sensors attached to the appliances over 12 days in our smart home facility where four participants spent usual daily life for three days each. As a result of time series analysis of the collected data with LSTM, we achieved the recognition accuracy of 85% for 9 different activities.

1

はじめに

近年，省エネを目的とした家電制御 [1, 2] や宅内で生 活する人の行動認識 [3] の研究など，宅内での生活を対 象とした研究が盛んに行われている．上田らの研究で は，宅内における人の位置情報と家電の消費電力情報 のみを用いて「料理」や「食事」などの 10 種類の居住 者の行動を認識するシステムを提案している [3]．これ により，プライバシーを考慮した宅内にいる高齢者や 子供の見守りサービスや，効率的な省エネ家電制御等 のコンテキストアウェアサービスの実現が期待される． しかしながら，上田らが提案したシステムでは，行動 ∗_{連絡先：奈良先端科学技術大学院大学情報工学研究科} 〒 630-0192 奈良県生駒市高山町 8916 番地 5 E-mail: [email protected] 認識に利用する情報（位置情報，家電の消費電力情報） を取得するため，宅内に高額な高精度位置測位センサ や多数の電力センサを追加しなければならない．その ため，システムコストがかかるという課題が存在する． この問題を解決するため，守谷らは，各家電の消費電 力情報の代わりに ECHONET Lite 対応家電と人感セ ンサを用いた行動認識を提案している [4]．ECHONET Lite は，各メーカによる機器の市場投入が始まってお り，現状で 400 種類近くの製品に既に導入されている1_． ECHONET Lite 対応家電を用いることにより，行動認 識システムのために新たに電力センサを設置する必要 がないため，行動認識システム構築の負担を減らすこ とができる．また，この研究では，5 種類の家電（天井 1_{ECHONET:https://echonet.jp/}

照明，冷蔵庫，IH，テレビ，洗濯機）に取り付けた人 感センサ情報も行動認識のための特徴量として使用し ている．人感センサを使うことで，位置測位センサを 導入することなく屋内の人の位置情報を取得可能とな るため，さらなる導入コストの削減が見込まれる．し かしながら，ECHONET Lite 対応家電と人感センサを 用いた機械学習に基づく行動認識精度は 68%に留まっ ており，実用化には認識精度の改善が必要である． また，従来研究では，居住者の宅内行動を認識する ことを目的としているが，よりユビキタスな宅内サー ビスを提供するには，居住者の行動を予測して先回り する家電制御が求められる．本研究では，ECHONET Lite 対応家電情報と人感センサ情報を Long Short Term Memory（LSTM）による時系列分析をすることで，将 来的に行動予測にも拡張可能な行動認識手法を提案する． 提案システムでは，ECHONET Lite 対応家電で取 得可能な情報として，エアコン，天井照明，IH，テレ ビ，空気清浄機に関しては電源の ON/OFF 情報，冷蔵 庫に関してはドアの開閉情報を利用する．さらに，現 在 ECHONET Lite 非対応家電（洗面所の照明，PC， 掃除機）が将来的に ECHONET Lite 対応になること を想定して，それらの電源 ON/OFF 情報も特徴量と して加えている．人感センサは，既に照明に取り付け ることで照明の自動点灯が行われたり，IH に取り付け ることで不在確認が行われたりしており，今後も活用 は増えると考える．そのため，今回は対象とするすべ ての家電に人感センサが内蔵されることを想定し，ス マートホーム内に人感センサを設置し，得られた人感 センサデータも特徴量として利用することとする．ま た，行動認識アルゴリズムとしては，通常の機械学習 に加え Deep Learning を用いる．具体的な機械学習ア ルゴリズムとしては，Random Forest とロジスティッ ク回帰を用いる．Deep Learning としては，LSTM を 用いる． 提案システムの有効性を評価するため，被験者実験 を行った．実験は，奈良先端科学技術大学院大学内に設 置されているスマートホーム設備 (1LDK) で行い，計 5 名（男性 4 名，女性 1 名）の被験者に 3 泊 4 日で生 活してもらった．収集データは，被験者が行った行動 ログ（9 種類），ECHONET Lite 対応家電の家電情報， 家電に取り付けた人感センサの情報である．データ収 集期間は合計 15 日間であるが，分析対象データはその 中から正常に取得できた 8 日間のデータとした． 3 種類の行動認識アルゴリズムの精度を F 値を用い て比較した結果，Random Forest が 85.8%で最も高く， ロジスティック回帰が 84.9%，LSTM が 81.5%となるこ とを確認した．Random Forest が最も高い精度を示し たが，Random Forest は行動の一つ（Cleaning) を全く 認識できない（0.0%）のに対して，LSTM は 27.4%で 認識できることが明らかとなった．

2

先行研究

本章では，先行研究における人の宅内行動認識の概 要と課題について述べる．宅内行動認識では，以下の 5 つの課題の解決が望まれている． (1) プライバシーの侵害 (2) 認識できる行動種類の少なさ (3) 認識精度の低さ (4) 導入及び維持コストの高さ (5) 認識までの時間の長さ Hoey ら [5] や Fiore ら [6] は，カメラを用いた行動 認識手法を提案しており，高い精度で認識できている が，課題 (1) の解決ができていない．Lee[7] らや Lara ら [8] の手法は，ウェアラブルセンサを用いることで高 精度に「歩く」「座る」などの簡単な行動を認識するこ とが可能である．しかしながら，これらの研究では詳 細な行動（食事など）の認識が不可能であるため，課 題 (2) の解決ができていない． これらの課題を解決する手法として，上田ら [3] は， 屋内位置測位センサと家電に取り付けた電力センサの みを利用した宅内行動認識手法を提案した．これらの センサのみを利用することで，プライバシーの侵害を 抑えるだけでなく今後の低価格化・普及が見込めるた め，課題 (1) と (4) の解決が可能である．また，認識可 能な行動の種類は 10 種類（料理，食事，読書，TV 視 聴，食器洗い，風呂，掃除，仕事・勉強，睡眠，外出） であり，認識精度が平均 91.3%であることから，課題 (2) と (3) についてもある程度解決している．また，屋 内位置測位センサは NEC エンジニアリングの「超音 波 3D 位置管理ソリューション SmartCoordinator⃝」R を利用することで，1 秒に 2 回の周期で人の宅内位置 情報を取得できる．しかしながら，このシステムを実 現するには，これらのセンサを宅内環境に導入する必 要があり，システム構築における負担が大きいという 課題が存在する．また，利用した電力センサのサンプ リング周期が 30 秒に 1 回であることから，行動を認識 するまでにかかる時間は最低で 30 秒になってしまうた め，課題 (5) に関しては解決できていない． 守谷ら [4] は，ECHONET Lite 対応家電と人感セン サを用いた宅内行動認識手法を提案した．ECHONET Lite 対応家電を用いることで，電力センサを新たに 導入せず，家電の情報を取得できる．また，将来的に ECHONET Lite 対応家電に取り付けられることが予 想される人感センサを用いることで，位置測位センサ の導入することなく屋内の人の位置情報を取得できる． さらに，提案システムでは 1 秒間隔で家電情報を取得 しているため，課題 (5) の解決も可能である．しかし， 行動認識精度は 68%であり，(4) の課題に関しては解決 できていない．

図 1: スマートホーム内観 本研究では，ECHONET Lite 対応家電の情報や家電 に取り付けた人感センサの情報に対して LSTM による 時系列分析を行うことで，行動認識精度の向上を目的 とした．また，時系列でデータを分析することで，行 動予測も見据えた行動認識ができると考える．

3

実験環境

本章では，提案システムの評価実験の施設として利 用したスマートホームの外観や間取りなどの概要と，ス マートホームに設置されている ECHONET Lite 対応 家電について述べる． スマートホーム 本研究では，実験施設として奈良先端科学技術大学 院大学内に設置されているスマートホーム (1LDK) を 使用している．図 1 にスマートホーム内のリビング部 屋を写真撮影した画像を示し，図 2 にスマートホーム の間取りおよび家具・家電配置を示す．このスマート ホームで，計 15 泊分の宅内行動データの取得を行った． ECHONET Lite 対応家電 家電情報を取得するため，スマートホーム環境内に ECHONET Lite 対応家電を設置している．ECHONET Lite 対応家電は図 2 に青色で示している家電である．ま た，ECHONET Lite 非対応家電を赤色で示している． ECHONET Lite 非対応家電は将来的に ECHONET Lite 対応になり，家電情報が取得できるようになるこ とを想定して，消費電力値がある一定値を超えていた 場合はオン，一定値以下の場合はオフとして，家電情報 に変換して使用した．表 1 に設置した ECHONET Lite 対応家電の一覧を示す． 図 2: スマートホーム間取り図 表 1: ECHONET Lite 対応家電 家電 部屋 型番 エアコン リビング MSZ-ZXV255-W エアコン 寝室 MSZ-ZXV225-W 天井照明 リビング LEDH82718XLC-LT3 天井照明 寝室 LEDH81510NLC-LT4 冷蔵庫 キッチン MR-JX48LY IH キッチン CS-T34VS TV リビング LCD-40ML7 空気清浄機 リビング KI-EX-100

4

実験システム

本章では，行動データ収集の実験のためのシステム 構成について示す．実験システムは [4] で使われてい たものを使用する．本研究では，家電情報収集システ ムや人感センサ情報収集システム，行動ラベル収集シ ステムを構築した．家電情報収集システムはスマート ホーム内に設置した ECHONET Lite 対応家電の情報 を取得するものである．図 3 に本研究で使用した行動 認識システムの全体構成を示す．家電情報収集システ ム，人感センサ情報収集システム，行動ラベル収集シ ステムはそれぞれ独立して動作しており，各システム で取得した情報は別のサーバ上に保存される． ECHONET Lite 対応家電情報 図 3 の青色箇所は，ECHONET Lite 対応家電情報 の収集方法を示している．ECHONET Lite 用サーバ から各家電に対して情報の取得命令（ECHONET Lite 規格に準拠）を HEMS-GW を経由して送信することで 家電情報を取得する．実験中は，絶え間なく順番に各 家電に対して取得命令を送信し，各家電から情報を受 信することによって，サーバ上にその情報を保存する． 表 2 に各家電の種類ごとの実験時に取得した情報を示 す．基本的には家電の ON/OFF 情報を取得しており，

図 3: 行動認識システムの全体構成 表 2: 収集する家電情報 家電 家電情報 エアコン 電源の ON/OFF 天井照明 電源の ON/OFF IH 電源の ON/OFF TV 電源の ON/OFF 空気清浄機 電源の ON/OFF 冷蔵庫 ドアの開/閉 冷蔵庫だけは常に電源が ON であるため，「いずれかの ドアが開いているか否か」の情報を取得している． 人感センサ 人感センサは，図 4 に示す位置に設置し，データを収 集した．設置した人感センサは天井に取り付けた 3 つ と壁や家電に取り付けた 4 つの計 7 つである．これら 人感センサは，センサの前で動いた人に反応して「反 応したこと」を EnOcean 規格でサーバに送信する．ま た，テレビの前の人感センサは，ソファにいることを 検知するために位置測位センサを利用して，仮想的に 人感センサの値を算出している． 行動ラベル 被験者の行動ラベルは，ローム株式会社の「押しボ タン送信モジュール PTM 210J」と独自開発した行動 ラベリング支援アプリを使用して取得した．表 3 に取 得した行動ラベルの種類を示し，図 5 に支援アプリの 実行画面を示す．ラベリングの際に，指定外の行動を 行っている時にはラベル付けをしなかった（ラベルな し）．押しボタン送信モジュールは行動ラベル用ボタ ンとして使用し，実験時に被験者はこれを常に携帯し ておき，各行動の切り替え時にボタンを押す．これに より，行動を切り替えるタイミングでサーバ上にタイ ムスタンプが保存される．行動ラベリング支援アプリ 図 4: 人感センサの設置位置 表 3: 行動一覧 指定外 掃除 外出 料理 スマートフォン 読書 PC 洗濯 風呂掃除   TV 視聴  食事 洗顔 食器洗い 入浴 ゲーム 睡眠 は，実験中に撮影したデジタルカメラの映像をタイム スタンプと同期した状態で再生させ，その映像を基に 行動ラベルを一覧から選択することで，行動のラベリ ングを簡単に行うことを支援する．被験者には，実験 終了後に支援アプリを利用してもらうことで，行動ラ ベルを記録する．以上の方法により，実験時に被験者 の生活行動をほとんど妨げずに行動ラベル情報を収集 できる．

5

データ収集

本章では，日常生活行動の収集実験の方法について 述べる．

5.1

実験概要

実験は被験者 5 名（20 代男性 4 名，20 代女性 1 名） に一人当たり 3 泊 4 日の期間で生活してもらい，計 15 泊分の家電情報，人感センサ情報，行動ラベルを収集 した．また，実験中には行動ラベルを収集するため，任 意の位置にビデオカメラを設置し，実験中における被 験者の生活行動の様子を被験者自身に撮影してもらっ た．そして，実験終了後には，被験者に行動ラベリン グ支援ツールを使用してもらい，ビデオカメラ映像と 行動ラベル用ボタンによるタイムスタンプを基に実験 時の行動ラベル（何時何分何秒にどの行動を行ったの か）を作成してもらった．

図 5: 行動ラベリング支援アプリ

5.2

被験者への指示

有用な学習データを取得するため，実験時には被験 者へ以下のような指示を行った．指示していない事柄 に関しては，基本的に自由に生活してもらった． • 行動ラベル用ボタンを所持すること • 表 3 に示すあらかじめ定義した 16 種類の行動を出 来るだけ 1 日 1 回以上行うこと • 睡眠以外の行動を 1 日 3 時間以上行うこと • 睡眠時間を含む行動を 1 日 10 時間以上行うこと • 各行動の切れ目のタイミングで行動ラベル用ボタン を押すこと

5.3

データ処理

提案手法では，行動認識を行うための機械学習にお いて使用する特徴量は，実験で得られたデータを加工 して作成している．また，実験時に得られたデータは 全て 1 秒毎のデータであるが，データ加工処理の際に は実験開始の時刻から 10 秒間毎の時間幅に区切った データを処理して 1 つのサンプルとした．「行動ラベル」 「ECHONET Lite 対応家電の情報」「ECHONET Lite

対応ではない家電の情報」「人感センサ情報」それぞれ の特徴量を作成する際のデータ処理方法について以下 に述べる． 行動ラベル 表 3 に示す 16 種類の行動ラベル（「ラベルなし」を 含む）のうち，入浴と風呂掃除に関しては「風呂に関 する行動（RelatedBath）」，TV 視聴とゲームに関して は「TV に関する行動（RelatedTV）」としてまとめた． 外出に関しては，1 時間以内の外出は「短期外出」とし 表 4: 分類する行動ラベル 行動ラベル  説明 Other ラベルなし，食事，スマートフォ ン使用，読書，洗濯，洗面，食器 洗い，短期外出 RelatedBath 入浴，風呂掃除 Cleaning 掃除 Cooking 料理  RelatedTV TV 視聴とゲーム PC PC での作業  Sleeping 睡眠  GoOut 1 時間以上の外出  WithTV TV 視聴とゲーム以外で TV をつ けた状態で行っている行動 て，1 時間以上の外出は「長期外出（GoOut）」とした． TV 視聴とゲーム以外の行動の際に TV を付けながら行 動している場合は「TV を付けながら行動 (WithTV)」 とした．ラベルなし，食事，スマートフォン，読書，洗 濯，洗面，食器洗い，短期外出は「その他」としてま とめた．また，10 秒間毎に区切ったデータのうち，複 数の行動ラベルを含むデータは学習データとして利用 せず，1 種類の行動のみとなるデータを使用した．表 4 に最終的に分類に使用する行動ラベルを示す． ECHONET Lite 対応家電の情報 得られた ECHONET Lite 対応家電情報のうち，エ アコン，天井照明，IH，テレビは，電源が ON ならば 「1」，電源が OFF ならば「0」に変換した．冷蔵庫は， ドアの開閉が行われてから 30 秒間を「1」，それ以外 を「0」に変換した．全ての家電において，区切った 10 秒間のうち 5 秒以上「1」ならば「1」，4 秒以下ならば 「0」に加工したデータを特徴量とした． ECHONET Lite 非対応家電の情報 現在，スマートホームにおいて ECHONET Lite 対 応でない PC，掃除機は，ラトックシステム株式会社の 「Bluetooth ワットチェッカー REX-BTWATTCH1」を 用いて消費電力値を収集した．また同様に，洗面所の 照明は，クランプ式交流電流センサを用いて，消費電 力値を収集した．将来的にそれらの家電が ECHONET Lite 対応になることを想定しており，行動認識の際に は消費電力値を電源の ON/OFF 情報に変換した値を 特徴量として使用している．得られた 3 種類の家電（洗 面所の天井照明，PC，掃除機）の消費電力値をもとに， 消費電力値が一定値以上ならば ON として，以下なら ば OFF として変換した（ON ならば「1」，OFF なら ば「0」）．区切った 10 秒間のうち 5 秒以上「1」であ

表 5: Random Forest のパラメータ パラメータ  選定値 決定技の数 100 最大特徴量数 13 分岐の最大深さ 5 最小サンプル数 40 表 6: ロジスティック回帰のパラメータ パラメータ  選定値 正則化関数 0.01 れば「1」，そうでない場合「0」に加工したデータを特 徴量とした． 人感センサ情報 人感センサ情報は，人を検知しているなら「1」，検 知していないなら「0」に変換した．人感センサは人が 動いていないと反応しないため，TV 視聴や睡眠など の常に動いていない行動を行っている間は，ある特定 のセンサの情報は「1」と「0」が交互に繰り返される． このままではうまく行動認識できないため，1 分以内 に「1」→「0」→「1」となっている値は真ん中の「0」 を「1」に変換している．区切った 10 秒間のうち 5 秒 以上「1」であれば「1」に，そうでない場合「0」に加 工したデータを特徴量とした．

6

データ分析

6.1

分析手法

データ処理によって得られた 10 秒間毎の特徴量デー タを用いて，分析を行った．実験により得られた 8 日 間のデータのうち，1 日をテストデータ，残りの 7 日間 をトレーニングデータとして交差検証を行い，行動認 識の分析結果とした．行動認識は機械学習アルゴリズ ムとして Random Forest，ロジスティック回帰を使用 し，Deep Learning アルゴリズムとして LSTM を用い た．それぞれのアルゴリズムについて詳しい内容を以 下に示す． Random Forest とロジスティック回帰 機械学習アルゴリズムである Random Forest とロジ スティック回帰はパラメータ選定をすることで認識精度 が向上することが知られている．そのため，パラメー タは Grid Search によるパラメータ選定をした．表 5 に Random Forest で使用したパラメータを，表 6 にロ ジスティック回帰で使用したパラメータを示す． 図 6: LSTM のモデル 表 7: LSTM のパラメータ パラメータ  選定値 入力バッチサイズ 512 エポック数 3 DropOut 率 0.2 LSTM 層出力次元数 512 LSTM 図 6 に使用した LSTM のモデルを示す．入力データ は 3 次元（データ数，特徴量数，追憶データ数）で，10 秒おきのデータの特徴量を追憶データ数分重ねたデー タに整形した．出力データは 2 次元（データ数，分類ク ラス数）で，分類クラスの確率の中で最も確率が高かっ たものを推定ラベルにしている．また，過学習を防止す るために，DropOut 層を入力層と LSTM 層の間に挟ん でいる．そして，Dense 層における Activation 関数は Softmax を使用している．入力データのバッチサイズ， エポック数，DropOut 層の DropOut 率，LSTM 層出 力次元数のパラメータは GridSearch によるパラメータ 選定をした．表 7 に LSTM にパラメータ選定値を示す． また，入力データ整形における追憶データ数は手動で 複数のパターンを試し，最も認識精度が高かったもの を使用している．

6.2

行動認識結果

表 8，表 9，表 10 に分析した行動認識精度を示す．ま た，図 7 に混同行列を示す．まず，行動ごとのサンプ ル数は一番多いものが GoOut で，次に Sleeping が多 い．一方で，一番少ないものは Cleaning であり，次点 で RelatedBath が少なくなっている．行動認識精度は

表 8: Random Forest による行動認識結果

precision recall f1 score support

Other 0.780 0.943 0.854 9747 RelatedBath 0.980 0.967 0.973 1396 Cleaning 0.000 0.000 0.000 151 Cooking 0.920 0.553 0.691 3373 RelatedTV 0.753 0.947 0.839 3293 PC 0.901 0.636 0.745 2332 Sleeping 0.984 0.766 0.861 19662 GoOut 0.829 0.986 0.900 23590 WithTV 0.721 0.378 0.496 1705 avg / total 0.870 0.858 0.851 65249 表 9: ロジスティック回帰による行動認識結果

precision recall f1 score support

Other 0.780 0.890 0.831 9747 RelatedBath 0.980 0.963 0.971 1396 Cleaning 0.000 0.000 0.000 151 Cooking 0.918 0.611 0.734 3373 RelatedTV 0.725 0.931 0.816 3293 PC 0.966 0.605 0.744 2332 Sleeping 0.964 0.767 0.854 19662 GoOut 0.814 0.986 0.892 23590 WithTV 0.783 0.280 0.412 1705 avg / total 0.861 0.849 0.841 65249 Random Forest が 85.8%で最も高く，それに続いて， ロジスティック回帰が 84.9%，LSTM が 81.5%となっ ている．

6.3

考察

1 日の全データを推定の対象にしているため，表 8， 表 9，表 10 の recall に注目する．表 11 に示すアルゴリ ズムは各行動について認識精度が最も高いものである． この表より，行動によって，Random Forest もしくは LSTM での認識精度が高いことがわかる．各行動の認 識精度については，どのアルゴリズムでも Cleaning と WithTV の認識精度が低い. Cleaning は日常生活にお いても所要時間が短く，毎日必ず行う行動ではないの で，データ数が少なく，認識が難しいということがわ かる．また，図 7 をみると，WithTV は RelatedTV と 誤認識していることがわかる．これより，WithTV と RelatedTV はどちらも TV が動作しているという状況 のため，人感センサだけでは判別がつきにくいという ことがわかる． 一方で，Other，RelatedBath，RelatedTV，Sleep-ing，GoOut の行動については，どのアルゴリズムに おいても認識精度が高い．これは，行動を行う場所が 決まっており，人感センサによって位置の特定がうま く行われていることを示している．さらに，行動のサ 表 10: LSTM による行動認識結果

precision recall f1 score support

Other 0.801 0.865 0.832 9679 RelatedBath 0.838 0.852 0.845 1396 Cleaning 0.475 0.192 0.274 151 Cooking 0.756 0.640 0.693 3373 RelatedTV 0.710 0.873 0.783 3264 PC 0.948 0.654 0.774 2332 Sleeping 0.871 0.781 0.823 19662 GoOut 0.821 0.896 0.857 23589 WithTV 0.364 0.292 0.324 1702 avg / total 0.816 0.815 0.812 65148 表 11: 各行動における認識精度の高いアルゴリズム Activity Algorithm

Other Random Forest RelatedBath Random Forest

Cleaning LSTM Cooking LSTM RelatedTV Random Forest

PC LSTM Sleeping LSTM

GoOut Random Forest WithTV Random Forest

ンプル数が多い行動は認識精度が高い傾向がある．こ れは，サンプル数が多い行動は動きが少なく，家電情 報と人感センサの値が一定であるためであると考えら れる．

7

おわりに

本研究では，行動認識に利用する情報を取得するた めのシステムの構築における負担を軽減することを目 的として，先行研究における ECHONET Lite 対応家 電の情報や家電に取り付けた人感センサ情報を用いた 分析を時系列で行うことによって行動予測を見据えた 行動認識ができた．実際に，今回の分析では以下のこ とがわかった． • 行動全体での認識精度は Random Forest が最も高い． • 行動によっては LSTM の方が高い精度で認識できる． • TV を見ながら行う行動は認識が難しい． • 掃除は生活中に占める割合が低く，8 日間のデータ では認識が難しい． • 行動場所が決まっている行動は人感センサによって 認識精度をあげられる． 結論としては，ECHONET Lite 対応家電を用いるこ とにより，行動認識システム構築における負担を減ら

0 1 2 3 4 5 6 7 8 0 1 2 3 4 5 6 7 8 (a)Random Forest 0 1 2 3 4 5 6 7 8 0 1 2 3 4 5 6 7 8 (b) ロジスティック回帰 0 1 2 3 4 5 6 7 8 0 1 2 3 4 5 6 7 8 (c)LSTM 図 7: 行動認識結果の混同行列 すことができる．また，将来的に ECHONET Lite 対 応家電に取り付けられることが予想される人感センサ を用いることで，位置測位センサの導入することなく 屋内の人の位置情報を取得し行動認識の特徴量の一つ として利用できる． 今後の展開として，時系列データ分析における行動 予測を行うことを計画している. 行動予測では，行動 の認識のみではできなかった，次に起こる行動を見通 したサービス提供が可能になると考えている．行動予 測には「現在の行動の継続時間」，「次の行動の種類」 が必要だと考える．例えば，夏の暑い日の夜寝る前に エアコンで寝室を涼しくしておこうと思い，スイッチ を入れたとする．しかし，行動認識の結果，人はリビ ングにいるので，無駄遣いと判断してエアコンの電源 を消してしまうかもしれない．つまり，寝る前に自動 で寝室を涼しくしてくれるようなサービスを実現する には，行動予測は必要不可欠である．これらを踏まえ， 行動予測は，次の行動を正解ラベルにした学習を時系 列でデータ分析をすることで実現しようと考えている．

謝辞

本研究の一部は JSPS 科研費 16H01721，17KT0080 による助成を受けたものです．

参考文献

[1] James Scott, AJ Bernheim Brush, John Krumm, Brian Meyers, Michael Hazas, Stephen Hodges, and Nicolas Villar. Preheat: controlling home heating using occupancy prediction. In

Proceed-ings of the 13th international conference on Ubiq-uitous computing, pp. 281–290. ACM, 2011.

[2] Sean Barker, Aditya Mishra, David Irwin, Prashant Shenoy, and Jeannie Albrecht.

Smart-cap: Flattening peak electricity demand in smart homes. In Pervasive Computing and

Communica-tions (PerCom), 2012 IEEE International Con-ference on, pp. 67–75. IEEE, 2012.

[3] 上田健揮, 玉井森彦, 荒川豊, 諏訪博彦, 安本慶一 ほか. ユーザ位置情報と家電消費電力に基づいた 宅内生活行動認識システム. 情報処理学会論文誌, Vol. 57, No. 2, pp. 416–425, 2016.

[4] Kazuki Moriya, Eri Nakagawa, Manato Fujimoto, Hirohiko Suwa, Yutaka Arakawa, Aki Kimura, Satoko Miki, and Keiichi Yasumoto. Daily liv-ing activity recognition with echonet lite appli-ances and motion sensors. In Pervasive Computing

and Communications Workshops (PerCom Work-shops), 2017 IEEE International Conference on,

pp. 437–442. IEEE, 2017.

[5] Jesse Hoey and James J Little. Value-directed hu-man behavior analysis from video using partially observable markov decision processes. IEEE

trans-actions on pattern analysis and machine intelli-gence, Vol. 29, No. 7, pp. 1118–1132, 2007.

[6] Loren Fiore, Duc Fehr, Robot Bodor, Andrew Drenner, Guruprasad Somasundaram, and Niko-laos Papanikolopoulos. Multi-camera human ac-tivity monitoring. Journal of Intelligent and Robotic Systems, Vol. 52, No. 1, pp. 5–43, 2008.

[7] Seon-Woo Lee and Kenji Mase. Activity and loca-tion recogniloca-tion using wearable sensors. IEEE

per-vasive computing, Vol. 1, No. 3, pp. 24–32, 2002.

[8] Oscar D Lara and Miguel A Labrador. A sur-vey on human activity recognition using wearable sensors. IEEE Communications Surveys and