時系列データ管理へのデータベースアクセスサービス技術の適用検討

全文

(1)情報処理学会第 76 回全国大会. 5B-4. 時系列データ管理へのデータベースアクセスサービス技術の適用検討竹内. 丈志†. 規充†. 永嶋. 三菱電機株式会社. 近年、スマートフォンやカーナビをはじめとした移動体通信端末の高機能化に伴い、従来の位置情報に加えて、車などの乗り物の状態情報なども取得可能となり、これらの活用方法を検討する動きが盛んに行われている。また、クラウドサービス化の流れも加速しており、今後は移動体通信端末から定期的に発生する様々な報時系列データを、クラウドサービスで提供する要求が高まると考えられる。本稿では、位置情報や速度、温度や距離などの時系列データを対象に、当社保有のデータベースアクセスサービス技術の適用検討と性能評価について報告する。. 当社では、各種システムのクラウドサービス化に対応するため、データベースアクセスサービス技術(DBAS)を開発している [1][2][3]。DBAS は、データベース内のデータに Web インタフェースでアクセス可能とする技術で、以下を特徴とする。  データベース内のテーブル構造を隠蔽可能  データの開示範囲の変更に柔軟に対応可能 DBAS では、任意のサービス名と実行する SQL 文の組合せとの対応付けを、『サービス定義ファイル』に記述することで、外部のアプリケーションに公開するデータを制限すると同時に、データベース内のテーブル構造も隠蔽する。また、サービス定義ファイルを変更することで、サービス内容の変更に容易に対応できる。. サービス定義ファイル. データベースA 検索インタフェース. 3. 時系列データ管理への対応 3.1. 課題位置情報や状態情報などの時系列データは、以下のデータ特性をもつ。  定周期で一定量のデータが発生  長期保存には大規模なストレージ領域が必要上記特性をもつデータを一般的なリレーショナルデータベース(RDB)で管理する場合、時間の経過に伴ってテーブル当たりのデータ蓄積量が増大し、登録／検索性能が低下する、という課題がある。また、データベースのストレージ容量も単調に増加し続けるため、保存対象期間を経過した古いデータを定期的に削除する仕組みが必要である。. 3.2. 実現アプローチ. 2. データベースアクセスサービス技術. データベースB 登録インタフェース. 前述の課題に対応するには、テーブルパーティションの適用が有効である[4]。テーブルパーティションは、テーブル内に複数の継承テーブルを定義することで、データの分散配置を実現する。これにより、データ登録／検索処理の対象範囲を局所化し、データ蓄積量の増大に伴う性能劣化を抑制する。また、一定期間経過後にパーティション単位によるデータ削除を実現でき、任意の保存期間を設定してデータベースのストレージ容量を一定に保つことができる。本稿では、図 2のように 1 ヶ月分のデータを 1 個のパーティションに格納し、保存期間を 1 年とする構成について検討し、1 個のテーブルが 13 個の継承テーブルを維持するパーティション運用の自動化を実現した。. テーブルA テーブルA－ 201211 テーブルA－ 201212 テーブルA－ 201311. JDBC JAVA. ① データベースA登録インタフェース  INSERT INTO A-1 VALUES (param1, param11, ….);  INSERT INTO A-2 VALUES (param1, param21, …);. 削除するパーティション. データベースB 検索インタフェース. DBAS. Tomcat. データベースA. データベースB. テーブル A-1, 2, 3, ….. テーブル B-1, 2, 3, ….. 光義†. 情報技術総合研究所†. 1. はじめに. データベースA 登録インタフェース. 山足. 2013/11/01. 図 1：データベースアクセスサービス技術. 追加するパーティション. テーブルA テーブルA－ 201212 テーブルA－ 201301 テーブルA－ 201312. 2013/12/01. 2014/01/01. 図 2：テーブルパーティションの運用イメージ. A study for applying the database access service technology to time series data management † Takeshi Takeuchi, Norimitsu Nagashima, Mitsuyoshi Yamatari, Information Technology R&D Center Mitsubishi Electric Corporation. 1-471. Copyright 2014 Information Processing Society of Japan. All Rights Reserved..

(2) 情報処理学会第 76 回全国大会. 4. 実現方式. ていることを確認できる。また、登録性能は、本テーブルには 2 個のトリガを定義する。1 個は、評価環境において、テーブル当たり 1.8[msec/件] であった。パーティションの追加／削除を定期実行する『パ 4に示すトリガの実装により、任意の保存期間ーティション管理トリガ』、もう 1 個は、テーブにおいてデータベースのストレージ容量を一定にル内の適切なパーティションへデータ振り分けを保つ、テーブルパーティション運用の自動化実現実行する『データ振り分けトリガ』である。を確認できた。これにより、テーブルパーティシいずれのトリガも、実行のタイミングは新規デョン運用のユーザ負荷を軽減できる。ータ登録(INSERT の SQL 文実行)時とし、パー 1,000件単位で登録した場合の累計処理時間の推移ティション管理トリガ→データ振り分けトリガの 2,000 順序でテーブルに定義する。 1,800 パーティション管理トリガによる処理. 新しい月に対するデータか？ YES. データ振り分けトリガによる処理 NO. 1,000 800 600 200. データ振り分けルールに従い、 INSERT文を更新. 0. 新規データに対する INSERT文の実行. 図 3：各トリガによるデータ処理の流れ各トリガによるデータ処理の流れと処理の内訳は、図 3に示すとおりである。なお、図 3における条件分岐は、既存のテーブル名に含まれる年および月と、新規データ内の年および月をそれぞれ比較することで実現した。. 5. 評価 5.1. 評価環境. 1,200. 1,000 43,000 85,000 127,000 169,000 211,000 253,000 295,000 337,000 379,000 421,000 463,000 505,000 547,000 589,000 631,000 673,000 715,000 757,000 799,000 841,000 883,000 925,000 967,000. パーティションの削除. 1,400. 400. パーティションの追加データ振り分けルールの更新. テーブルA テーブルB. 1,600. 処理時間[秒]. 新規データに対する INSERT文の発行. 評価は、24[Byte/レコード]の 2 カラムで構成されるテーブル A と、276[Byte/レコード]の 26 カラムで構成されるテーブル B を定義し、100 万件のデータを 1,000 件単位で POST し、リクエスト～レスポンスの応答時間を測定した。評価環境は表 1に示すとおりである。また、データを POST するプログラムは Ruby で実装した。表 1：評価環境 CPU Intel® Core™ i5-3570 3.40[GHz] Memory 16.0[GB] SSD MTFDDAK128MAM-1J1 OS Windows 7 64bit DB PostgreSQL 9.3 64bit • Java 7 その他 • Tomcat 7.0 • Ruby 2.0. 登録レコード数[件]. 図 4：データ登録における累計処理時間の推移. 6. まとめ. 本稿では、PostgreSQL と DBAS によるシステム構成において、時系列データを対象とした場合に必要なテーブルパーティション運用の自動化について検討と評価を実施した。検討の結果、各対象テーブルに 2 個のトリガをそれぞれ設定することで、パーティション運用の自動化を実現した。また、本実現方式にもとづく評価環境を構築して評価した結果、テーブル当たり 1.8[msec/件]の登録性能を示し、線形に推移することを確認した。今後は、テーブルごとに設定されたトリガにおける、同一判定処理を効率化することで、テーブル数が増加した場合の性能劣化に対応していく。. 参考文献 [1] 小杉,他,「マルチテナント対応データ切替制御に関する研究」, 2011, 第 74 回情報処理学会全国大会論文集,4H-5 [2] 小杉,他,「マルチテナント型テナントアクセス制御方式に関する研究」, 2012, 第 75 回情報処理学会全国大会論文集,3H-1 [3] 木幡,他, 「大規模情報系システムにおける統 5.2. 登録性能合ＩＤ管理ソリューションの適用」, 2012,三図 4は、1,000 件単位のデータ登録した場合に菱電機技報, 86，No.7，399～403 おいて、各テーブルの累計処理時間の推移を示し [4] http://lets.postgresql.jp/documents/technica l/partitioning/2 たものである。テーブル A とテーブル B ともに、登録レコード数の増加に関わらず、線形に推移し. 1-472. Copyright 2014 Information Processing Society of Japan. All Rights Reserved..

(3)