CFIAを拡張した障害対策方式の実システムへの適用評価

全文

(1)Vol.2009-EVA-30 No.1 2009/11/16. 情報処理学会研究報告 IPSJ SIG Technical Report. 1. はじめに. CFIA を拡張した障害対策方式の実システムへの適用評価. 万が一障害が発生した場合，社会に多大な影響を与える恐れがあるミッションクリティカルシステムにおいては，システム導入やシステムリプレースの段階における，障害対策が重要である．このため，ミッションクリティカルシステムでは，故障モードに対して，原因調査や影響評価を行う手法である FMEA(Failure Mode and Effect Analysis)などを用いて，障害対策が行われている． FMEA を用いた障害対策は，故障に注目し，故障発生時のユーザへの影響の度合い，影響の度合いに基づき，対策の立案を行うことで，システムの故障を網羅した障害対策を行うことについて有効である．しかし，FMEA を用いた手法では，故障には至っていないが，早期に対応を必要とする状態である機能劣化および，人間の作業ミスなどであるヒューマンエラーの対策が漏れてしまい，抑制すべき障害を網羅的に対策することが困難である．このような課題に対し，「システムの構成要素の障害を事前に想定し，該システムに関連する障害履歴(システムのリプレース時であれば，旧システムの障害履歴など) を用いて，想定範囲および分解能を適切にし，また，想定が正しく機能することをシミュレートしたうえで，障害の影響を最小化するための解決策の作成，改善を行い，システムの可用性の向上を図る手法」［1］である Advanced-CFIA を用いた障害対策を導入することで，解決を図る．本論文は，1,000 台規模のサーバを使用した大規模ミッションクリティカルシステムに次の手法を用いた障害対策を適用し，障害対策の網羅性に関して比較評価を行い，有効性を論じる．  CFIA (Component Failure Impact Analysis)  Advanced-CFIA 結果，CFIA を用いた障害対策が，機能劣化を検討することに有効であったこと， Advanced-CFIA を用いた障害対策が，機能劣化およびヒューマンエラーを検討することに有効であったことを示す．. 佐藤雅之† ミッションクリティカルシステムでは，FMEA (Failure Mode and Effect Analysis) などを用いて障害対策が行われている．しかし，FMEA を用いた手法では，障害対策の網羅性に対する懸念がある．Advanced-CFIA(Advanced Component Failure Impact Analysis)は，障害履歴を用いて網羅的に障害対策を行う．Advanced-CFIA を CFIA と共に，大規模ミッションクリティカルシステムへの適用を行い，障害対策検討への有効性について，評価を行った．. The evaluation of a method of analyzing system failure with Advanced-CFIA applying to the real system Masayuki Sato† The mission-critical system has to prevent system failures using FMEA (Failure Mode and Effect Analysis). However, FMEA cannnot examine any system failures. Advanced-CFIA (Advanced Component Failure Impact Analysis) can examine system failures using a system fault history. I evaluated the effectiveness to examine system failures with a large-scale mission-critical system by using Advanced-CFIA and CFIA.. †. 1. 三菱電機株式会社情報技術総合研究所 Information Technology R&D Center, Mitsubishi Electric Corporation.. ⓒ2009 Information Processing Society of Japan.

(2) Vol.2009-EVA-30 No.1 2009/11/16. 情報処理学会研究報告 IPSJ SIG Technical Report. 表 1 構成要素の機能. 2. 大規模ミッションクリティカルシステムにおける障害対策方式構成要素分類サーバ. 実例として取り上げる大規模ミッションクリティカルシステムは，次の業務を行う．なお，以降では，本システムを実システムと記載する．  計測機器の出力に基づき，制御対象の制御を行う．  システムを常時正常稼働させる．これらの業務を行うために，次の機能を実現している．  稼動状況を運用者が把握し，システムを運転する機能  システムを常時監視する機能実システムは，図 1 のように構成している（一部）．なお，サーバ，機器類を合わせ，計 1,000 台で構成する．. 他社I/Fサーバ他社I/Fサーバ. 操作卓操作卓 (サーバ) (サーバ). クライアント. 監視サーバ. 計測サーバ計測サーバ. 制御サーバ制御サーバ. 記録サーバ記録サーバ. 計測機器計測機器計測機器. 計測機器計測機器制御機器. 外部ディスク装置.       . 操作卓(クライアント)に対して，計測サーバ，監視サーバ，他社 I/F サーバから取得した計測情報，監視情報，他社サーバ情報を送る．操作卓(クライアント)から送られた制御情報を制御サーバに送る．計測情報および監視情報から作成する制御対象情報を他社 I/F サーバに送る．計測機器から取得した情報を，操作卓(サーバ)に送る．計測機器の異常情報を取得する．操作卓(サーバ)から送られた制御情報を制御機器に送る．制御装置の異常情報を取得する．計測情報，制御情報を外部ディスク装置に記録する．外部ディスクの異常情報を監視サーバに送る．サーバを監視し，監視情報を操作卓(サーバ)に送信する．異常を検出した場合に，警報装置に信号を送る．操作卓(サーバ)から送られた，計測情報，監視情報，他社サーバ情報を表示する．操作卓(サーバ)に対して，制御情報を送信する．他社 I/F サーバに対して，制御対象情報を送信する．監視サーバから送られた信号を受け取り鳴動する．制御対象を計測し，計測情報を計測サーバに送信する．制御情報に基づき，制御対象を制御する．サーバ，クライアントなどの通信を媒介する．計測情報，制御情報，装置情報の保存媒体である．. . 制御対象と連携して動作する他社管理のサーバである．. . 運用者による制御対象である．.  . 操作卓操作卓操作卓 (クライアント) (クライアント) (クライアント) 警報装置. 機能 . 操作卓 (サーバ). 他社サーバ他社サーバ他社サーバ. サービス提供者の管理責任範囲. 構成要素名. 機器，装置. 装置装置制御対象. 図 1 システム構成図. 制御対象. 計測サーバ制御サーバ記録サーバ監視サーバ操作卓 (クライアント) 警報装置計測機器制御機器通信機器外部ディスク装置他社サーバ制御対象.         . 表 1 にシステムの構成要素（S/W，H/W，N/W）の機能を示す．. 2. ⓒ2009 Information Processing Society of Japan.

(3) Vol.2009-EVA-30 No.1 2009/11/16. 情報処理学会研究報告 IPSJ SIG Technical Report. 実システムは，次のように動作する．  運用者は，操作卓(クライアント)上の表示，計測情報，監視情報，他社サーバ情報を確認し，必要に応じて，操作を行う．  運用者の操作は，制御情報として，操作卓(サーバ)，制御サーバ，制御機器を通じて，制御対象に与えられ，必要な制御が行われる．  制御対象に対する制御の結果は，計測機器により収集され，計測サーバを通じて，操作卓(サーバ)に与えられる．  監視サーバは，サーバを監視し，異常を検出した場合，警報装置を鳴動させる．  計測情報，制御情報は，記録サーバにより，外部ディスク装置に記録する．  他社サーバは，他社 I/F サーバを通じて，他社サーバ情報を操作卓(サーバ)に通知する．  操作卓(サーバ)は，計測情報および監視情報から制御対象情報を作成し，他社 I/F サーバを通じて，他社サーバに送信する．実システムでは，故障を漏れなく洗い出し，対策を検討する FMEA を適用し，結果を FMEA ワークシートにまとめることが行われている．しかし，次のように障害対策の網羅性を欠いていた．  故障には至らないが早期に対策を施すべき機能劣化障害が，障害対策資料上漏れていた．  故障ではない誤操作などのヒューマンエラーが，障害対策上漏れていた．なお，機能劣化障害は本論文において，次のように定義する．  完全に機能停止を行わずに，機能を停止した状態と，機能している状態を遷移する現象となる障害．HDD などで，リードエラーが発生し始める状態など．  同じ機能を有する n 個の構成要素のうち，１つ以上，n 個未満の構成要素が機能停止している状態となり，結果的に，機能の一部を失う障害．マルチプロセッサであるところの 2 つの CPU を備えるサーバで，1 つの CPU がダウンしている状態など．この例は，マルチプロセッサであるところの CPU が，アプリケーションが作成するプロセスを同時並列に処理する機能を喪失している例である．. 表 2 FMEA ワークシートアイテム. 故障. 原因. 影響. 障害対策. サーバ. 起動しない. 電源異常. …. …. 外部ディスク装置. 起動しない. … 電源異常. …. 対応手段代替機に交換. 代替機に交換 … … 故障情報取得エ HDD 異常代替機ラーに交換 … … 書き込み，読み込 HDD 異常代替機みエラーに交換実システムの稼働後には，障害が発生した．表 3 は，発生した障害のうち，機能劣化障害が 10 件(SY1～SY10)および，ヒューマンエラーが 55 件(HE-1～HE-55)あったことを示している．これらの障害は，FMEA を用いた事前の検討から漏れていた．表 3 障害履歴障害番号 SY-1. 検出者. 現象. 運用者. SY-10. 運用者. HE-1. 運用者. HE-55. 運用者. 通信リトライ多発によるスイッチの機能劣化応答時間性能劣化．応答があるため，LAN 故障検出による切り替えが行われない． …. ディスクが無応答になり，ディスク装置の機能劣化書き込みプロセスがシステムコールから返らない. なお，電源は正常である．システム停止警告が表示されているにも関わらず，運用者が制御対象停止操作を行った． … システム応答性能低下運用者が LAN を誤接続し，応答が遅くなった．. 3. 大規模 MC システムにおける障害対策の課題大規模 MC システムである実システムにおいては，万が一障害が発生した場合，社会に多大な影響を与える恐れがある．このため，網羅的な障害対策を要する．これに対し，実システム導入の段階で FMEA による障害対策を検討し，それぞれの障害要因に対して，対策を施した．表 2 に FMEA ワークシートを示す．. 3. …. 原因. 原因個所分類通信機器. 外部ディスク装置人間. 人間. ⓒ2009 Information Processing Society of Japan.

(4) Vol.2009-EVA-30 No.1 2009/11/16. 情報処理学会研究報告 IPSJ SIG Technical Report. 実システムにおいて，このような機能劣化障害やヒューマンエラーを考慮に入れた障害対策を行うため，障害対策の範囲や，構成要素の分解能を適切に設定することが課題である．. 検討. 4. CFIA および Advanced-CFIA による障害対策一般的なクライアント-サーバシステムにおいて，障害対策の範囲や，構成要素の分解能を適当に設定し，障害対策を検討する方法として CFIA や Advanced-CFIA がある．「システムの構成要素（S/W，H/W，N/W）の障害を想定し，障害が業務に与える影響の程度，大きさを評価し，障害の影響を最小化するための解決策の作成，改善を行い，システムの可用性の向上を図る手法である」[1]CFIA は，システムを構築する上で，検討範囲が適正であるか，およびシステムの構成要素の分解能が十分であるかどうかが分からない，という課題を持つ． Advanced-CFIA は，次のプロセスを適用することにより，障害対策の検討範囲や分解能を適当に決定する手法である．以下に Advanced-CFIA のプロセスを引用する[1]．. 検証. 修正. Advanced-CFIAマトリクスでは解決しない障害の対策・運用方法の改善・システム構築時の試験の強化・他システム管理者への対策の要求・ユーザミスへの対策. ① 検討…CFIA により，障害対策および障害検出手段を検討する． ② 検証…障害履歴に記載される障害が，検討対象のシステムでも発生することを仮定し，その場合にも，検討ステップで決定した障害対応手段により障害が検出できるか，障害対策が有効かを検証する． ③ 修正…検証ステップにおいて，障害検出ができなかった，あるいは障害対策が適当ではなかった場合に，障害検出手段やコンポーネント，パーツ分割を見直す．①～③の繰り返し適用により，検討範囲と分解能について，検証，修正が行われた Advanced-CFIA マトリクスを作成する． ④ Advanced-CFIA マトリクスでは解決しない障害の対策…運用方法の改善などによる障害の対策を行う．修正の結果から，検討に戻ることを繰り返し，障害履歴により検証された障害対応手段を得る．. 図 2 Advanced-CFIA のプロセス構成[1]. 5. 評価 CFIA および Advanced-CFIA の有効性について，実システムを用いて評価を行う．図 1 のシステムで発生した障害履歴，特に課題である機能劣化障害とヒューマンエラーを取り出すと，表 3 のようになる．以下では，本障害履歴を用いて評価する．なお，比較のため，従来用いていた FMEA を用いた障害対策方式についても，評価を行う．. 図 2 に，Advanced-CFIA のプロセス構成を示す．機能劣化障害およびヒューマンエラーに対しても，CFIA および Advanced-CFIA が有効に対策を検討できることを仮定し，以下に CFIA とともに適用する．適用結果について，過去に発生した障害が再発した場合に，障害を検出できるかどうかの観点から網羅性を比較し，より多数の障害を検出できる手法がより有効であると評価する．. 4. ⓒ2009 Information Processing Society of Japan.

(5) Vol.2009-EVA-30 No.1 2009/11/16. 情報処理学会研究報告 IPSJ SIG Technical Report 5.1 FMEA により解決する障害. CFIA は，障害対策の検討範囲や，分解能(より広い範囲であるサーバや機器類や，より狭い範囲である CPU やメモリといったデバイス，さらにはそれらを構成する素子など)を適切に設定する点において，定まった方式はない．表 4 では，機能劣化障害へ対応することを意図して障害対策を行った例である．なお，表 4 では，障害番号 SY-1 と SY-10 の解決のみを示している．他の障害番号 SY-2～SY-9 の障害についても同様に，障害ケースを分類し，検知手段，対応手段を含む障害対策を設定できる．この結果，次のことが言える．  [機能劣化障害]10 件中，10 件(100%)の障害について解決しうる．  [HE]55 件中，0 件(0%)の障害について解決しうる．. FMEA により解決する障害の割合を求める． FMEA を用いて解決する障害対策は，障害履歴に記載される障害について，表 2 において検討されているかどうかを照らし合わせると，次のようになる．  [機能劣化障害]10 件中，0 件(0%)の障害について解決しうる．  [HE]55 件中，0 件(0%)の障害について解決しうる． 5.2 CFIA により解決する障害. CFIA により解決する障害の割合を求める．CFIA では，システムの構成要素毎に，障害対策を検討する．CFIA を用いて検討した障害対策は，表 4 のようになる．. なお，人間は，システムの構成要素ではないため，通常，CFIA を用いた障害対策に含まれない．. 表 4 CFIA により解決する障害分類. 細分類. 構成要素. 障害ケース. 影響. 障害対策. H/W. サーバクライアント. 内部ディスク装置. 無応答 (電源異常). X. …. 無応答 (電源正常). X. …. X. ….. X. …. … X. …. X. …. 解決する障害. 5.3 Advanced-CFIA により解決する障害. Advanced-CFIA により解決する障害の割合を求める． Advanced-CFIA において， CFIA 適用時の仮定と同様に，機能劣化障害へ対応することを意図して障害対策を行う場合，Advacned-CFIA のプロセス①である検討の結果，CFIA の適用した結果と同様に表 4 を得る．CFIA による障害対策と同様に，障害番号 SY-1～SY-10 を解決することができた．Advanced-CFIA のプロセス②，プロセス③を実施した後，障害番号 HE-1 ～HE-55 については，運用により解決するものとし，表 5 の対策を作成することができる．なお，プロセス④に対する次のような障害については，該当する障害履歴はない．  システム構築時の試験の強化により解決すべき障害  他システム管理者への対策の要求により解決すべき障害  ユーザミスへの対策により解決すべき障害．なお，ここでいうユーザは，システムによる受益者，システムの利用者を指す．運用者は，ユーザに含まない. SY-10. … 外部ディスク装置. 通信機器. 外部ディスク装置. スイッチ HUB. 無応答 (電源異常) 無応答 (電源正常) 無応答 (電源異常) 故障によるシステム応答性能劣化. SY-10.  . SY-1. …. 結果，Advanced-CFIA を用いて検討した障害対策は，次の通りである． [機能劣化障害]10 件中，10 件(100%)の障害について解決しうる． [HE]55 件中，55 件(100%)の障害について解決しうる．. … 凡例：X=重障害，空白=軽障害解決する障害欄の番号は，表 3 の障害番号である．. 5. ⓒ2009 Information Processing Society of Japan.

(6) Vol.2009-EVA-30 No.1 2009/11/16. 情報処理学会研究報告 IPSJ SIG Technical Report. 表 6 障害対策の検討手法の適用 FMEA CFIA Advacned-CFIA 障害分類機能劣化障害 ○ ○ ヒューマンエラー ○ 凡例：○=通常，障害対策の検討範囲に含まれる，-=通常，障害対策の検討範囲に含まれない. 表 5 運用方法の改善により対応する障害運用による対応項目ワークフローの変更運用マニュアルの改訂. 内容. 解決する障害. 権限のあるものの承認がないとすすめないようにガードをかける． … 誤接続を防止する LAN ケーブル接続時の手順，誤接続をしてしまった場合の早期検出のための確認手順に変更する．. HE-1. HE-55. 6. おわりに障害発生時の社会への影響の大きいミッションクリティカルシステムでは，しかるべき障害対策を施すことが必要である．ミッションクリティカルシステムでは，FMEA などを用いて障害対策が行われている．しかし，FMEA は，機能劣化障害やヒューマンエラーなど，故障とは言えないが早急に検出すべきシステムの障害や，人間の操作などにより引き起こされた障害を含めた検討が困難である．これに対し，障害履歴を用いて，これらの障害を検討するため，Advanced-CFIA の適用を考案し，実システムへの適用を行い，FMEA，CFIA との比較評価を行った．結果は次の通りであった．. 5.4 FMEA および CFIA および Advanced-CFIA による障害対策の比較. FMEA を用いた障害対策について，実システムを用いた評価の結果，次のことが言える．  故障とは言えない，機能劣化障害に対する障害対策検討が漏れる．  故障ではない，ヒューマンエラーに対する障害対策検討が漏れる． CFIA を用いた障害対策について，実システムを用いた評価の結果，次のことが言える．  機能劣化障害に対して，障害対策検討を実施できる．  システムの構成要素ではない，ヒューマンエラーに対する障害対策検討が漏れる． Advanced-CFIA を用いた障害対策について，実システムを用いた評価の結果，表 6 に示すように，次のことが言える．  機能劣化障害に対して，障害対策検討を実施できる．  ヒューマンエラーに対する障害対策検討を実施できる．すなわち，本事例において，次のことが言える．  Advanced-CFIA による障害対策検討は，FMEA による障害対策検討と比較し，検討範囲が広い．  Advanced-CFIA による障害対策検討は，FMEA による障害対策検討と比較し，分解能は等しい．  Advanced-CFIA による障害対策検討は，CFIA による障害対策検討に比べ，検討範囲が広い．  Advanced-CFIA による障害対策検討は，CFIA による障害対策検討と比較し，分解能は等しい．. . Advanced-CFIA による障害対策検討は，FMEA による障害対策検討に比べ，次の障害に対する検討範囲が広い．  機能劣化障害  ヒューマンエラー  Advanced-CFIA による障害対策検討は，CFIA による障害対策検討に比べ，次の障害に対する検討範囲が広い．  ヒューマンエラー以上により，Advanced-CFIA は，ミッションクリティカルシステムにおいて，障害履歴に記載される障害について，対策を講じることができるといえる． Advanced-CFIA の課題は，個々の障害に対する具体的な対策をどのように決定するかである．今後は，様々な障害ケースについて，対策を検討する．また，業務の異なるシステムへの適用を行い，障害ケースの収集を行う．. 参考文献 1) 2). 6. 情報処理学会研究報告,2008-EVA-27,Vol.2008,No.2,pp.7-12(2008) ソフトウェア品質知識体系ガイド-SQuBOK Guide-, SQuBOK 策定部会,2007.. ⓒ2009 Information Processing Society of Japan.

(7)