障害事例の分析により得られた教訓
の共有(ITサービス編）
～教訓を活用して情報システムの類似障害を削減～
独立行政法人情報処理推進機構（IPA）
技術本部 ソフトウェア高信頼化センター（SEC）
研究員 村岡 恭昭
背景：原因が類似した障害が増加
社会に大きな影響を与えた
システム障害の発生件数
2009年以降で増加傾向
新聞やテレビなどのメディアでは，
幾度となく以下のようなニュースが
世間を賑わせている：
多大な影響を与えたITサービス障害の 発生件数（報道ベース）の推移類似障害の発生
(出典) SEC Journal 情報システムの障害状況 件・△△でリコール、国内で数十万台
…理由は、制御プログラムに不具合が発見された ためという。・○○システムで障害か、終日つなが
りにくく
…原因は、法律改正直前の駆け込み需要と期末の 締め処理とが重なり、想定外の大量入力にシステ ムの性能が耐えられなかった模様。・□□システムで障害、午前中のサー
ビス停止
…原因は、システムは本番装置の故障により予備 装置に自動的に切り替わるようになっていたが、 その切替えが失敗したためという。教訓共有による障害再発の防止
<今、何が起きているのか>
<では、何をすればよいのか>
" 失 敗 か ら 学 ぶ “
異なるITサービス/製品と装置の各々の失敗ケースが、
会社全体で共有されていない
類似した内容のＩＴシステム障害が、
多種多様な業界の重要インフラでたびたび発生する
↓
根本原因を抽出して教訓にする（個別教訓、パターン分類）
障害事例（実際に起きたこと）を収集して分析する
↓
業界の垣根を超えて広く社会で共有し、
同じ原因での障害の再発を防止して被害を最小化する
教訓共有の目指す姿
障害に基づく教訓の共有による信頼性向上のしくみ 現状（教訓の共有なし） 製品機器/ ITサービス (Ａ社) 社会 社会 より安全・安心な 製品機器/ITサービスの提供 製品機器/ ITサービス (Ｂ社) 製品機器/ ITサービス (Ｃ社) 信 頼 性 信 頼 性 信 頼 性 原因分析 対策検討 対 策 実 施 教 訓 Ａ 原因分析 対策検討 対 策 実 施 教 訓 Ｂ 原因分析 対策検討 対 策 実 施 教 訓 Ｃ 製品機器/ ITサービス (Ａ社) 製品機器/ ITサービス (Ｂ社) 製品機器/ ITサービス (Ｃ社) 信 頼 性 信 頼 性 信 頼 性 原因分析・対策検討 一般化・抽象化・普遍化 体系的整理 教 訓 Ａ教訓 Ｂ教訓 Ｃ 対策実施 対策実施 対策実施 障害 障害 障害 障害 障害 障害 重要インフラ等 重要インフラ等専門家，有識者のご協力を得て
IPA/SECや業界団体等が共有活動
教訓 教訓 教訓 機密保持等 のルール類似障害の発生
IT障害を引き起こす脅威の例 脅威の類型 脅威の例 意図的な要因 (サイバー攻撃、犯罪 等) 不正侵入、データ改竄・破壊、不正コマンド 実行、ウイルス攻撃、サービス不能攻撃 (DoS:Denial of Service)、情報漏洩、重要 情報の詐取、内部不正 等 非 意 図 的 な 要 因 偶発的な要因 (人為的ミス、機 器故障) 操作・設定ミス、プログラム上の欠陥(バグ)、 メンテナンス不備、内部・外部監査機能の不 備、外部委託管理の不備、マネジメントの欠 陥、機器故障 等 環境的な要因 (災害、疫病) 地震、水害、落雷、火災等の災害による電力 設備の損壊、通信設備の損壊、水道設備の損 壊、コンピュータ施設の損壊 等 他分野の障害 からの波及 電力供給の途絶、通信の途絶、水道供給の途 絶（相互依存性解析の成果で判明しているも の） 等 IT障害を引き起こす脅威の例 脅威の類型 脅威の例 意図的な要因 (サイバー攻撃、犯罪 等) 不正侵入、データ改竄・破壊、不正コマンド 実行、ウイルス攻撃、サービス不能攻撃 (DoS:Denial of Service)、情報漏洩、重要 情報の詐取、内部不正 等 非 意 図 的 な 要 因 偶発的な要因 (人為的ミス、機 器故障) 操作・設定ミス、プログラム上の欠陥(バグ)、 メンテナンス不備、内部・外部監査機能の不 備、外部委託管理の不備、マネジメントの欠 陥、機器故障 等 環境的な要因 (災害、疫病) 地震、水害、落雷、火災等の災害による電力 設備の損壊、通信設備の損壊、水道設備の損 壊、コンピュータ施設の損壊 等 他分野の障害 からの波及 電力供給の途絶、通信の途絶、水道供給の途 絶（相互依存性解析の成果で判明しているも の） 等
偶発的な要因（ミス・故障）によるIT障害を中心に教訓を共有
教訓作成・共有のスコープ
<参考> NISC: 重要インフラの 情報セキュリティ対策 に係る第２次行動計画 IT障害発生の 中心は 偶発的な要因 IT障害を引き起こす脅威の例 脅威の類型 脅威の例 意図的な要因 (サイバー攻撃、犯罪 等) 不正侵入、データ改竄・破壊、不正コマンド 実行、ウイルス攻撃、サービス不能攻撃 (DoS:Denial of Service)、情報漏洩、重要 情報の詐取、内部不正 等 非 意 図 的 な 要 因 偶発的な要因 (人為的ミス、機 器故障) 操作・設定ミス、プログラム上の欠陥(バグ)、 メンテナンス不備、内部・外部監査機能の不 備、外部委託管理の不備、マネジメントの欠 陥、機器故障 等 環境的な要因 (災害、疫病) 地震、水害、落雷、火災等の災害による電力 設備の損壊、通信設備の損壊、水道設備の損 壊、コンピュータ施設の損壊 等 他分野の障害 からの波及 電力供給の途絶、通信の途絶、水道供給の途 絶（相互依存性解析の成果で判明しているも の） 等IT経営における関心事
<出典> ITPro 2016年アクセスランキング発表！ ［IT経営］ ANA、JTBなどの大規模トラブルで再認識する「守りのIT経営」ITPro, 2016/12/26ご参考
順位
タイトル
1位
ANAシステム障害の原因判明、シスコ製スイッチの「世界初のバグ」
でDBサーバーがダウン
2位
休日出勤が当たり前のノルウェー、それでも生産性は高まる
3位
判明、ANAシステム障害の真相
4位
技術者不足への対策ですか。諦めてください。それが日本のためです
5位
［詳報］JTBを襲った標的型攻撃
IT経営関連 ネット記事アクセスランキング 2016年度
システム障害へ
の関心度は高い
共有活動の成果物
2017年3月27日公開 組込みシステム分野 国民生活や社会・経済基盤に 関わる「障害情報」を収集35件
42件
普遍化 取りまとめ 収集した情報を分析し 対策を検討 製品・制御システム高信頼化部会 情報処理システム高信頼化教訓集 （ITサービス編）2016年度版 【参加団体】 トヨタ自動車（株）、日産自動車（株） 日本電気（株）、 （株）日立製作所 三菱電機（株）、横河電機（株） 富士電機（株）、矢崎総業（株） アイシン精機（株） 日本電気通信システム（株） （株）日立産業制御ソリューションズ 三菱電機メカトロニクスソフトウェア（株） （株）富士通コンピュータテクノロジーズ オムロンソーシアルソリューションズ（株） アイシン・コムクルーズ（株） 北陸先端科学技術大学院大学 九州大学、会津大学 （一社）組込みシステム技術協会 （一社）電子情報技術産業協会 【参加団体】 （株）三菱東京UFJ銀行 日本生命保険（相） 東京海上日動火災保険（株） （株）東京証券取引所 東京電力ホールディングス（株） 東日本旅客鉄道（株） KDDI（株） （株）フジテレビジョン （株）オリジネィション 日本大学 内閣官房情報通信技術総合戦略室 （一社）日本情報システム・ユーザー協会 組込みシステム編 2017年３月時点 新着教訓を随時Webで公開 ＜特徴＞ ① 業界・分野を超えて活用可能な普遍化された教訓。 ② 機密保持ルールの下で詳細情報の提供を受けた深い議論。 ③ ソフトウェア・エンジニアリングに関する蓄積された知見活用。 ※ 2016年度版：教訓を横断した傾向分析を追加 「ヒューマンエラー」「システムの高負荷／過負荷」 http://www.ipa.go.jp/sec/system/lesson.htm l 重要インフラITサービス高信頼化部会教訓集2016年度版
PART Ⅰ：教訓 実際のシステム障害事例をもとに作成された教訓を掲載 ・ガバナンス・マネジメントに関する教訓 16件 ・技術に関する教訓 26件 個々の教訓に加えて、教訓や報道事例から見えてくる傾向につ いて「ヒューマンエラー」や「システムの高負荷／過負荷」な どの観点からの原因や対策についての考察を掲載 「情報処理システム高信頼化教訓集」2016年度版は、 以下の三部で構成 PART Ⅱ：障害対策手法 教訓に記載された事項を自組織内で実践するために必要な対策 手法を、ガバナンス／マネジメント領域と技術領域のそれぞれ について一覧で掲示 PART Ⅲ：障害分析手法 分析手法を選択する際の参考として、障害原因分析の際によく 用いられる分析手法を掲載 「情報処理システム高信頼化教訓集（ITサービス編）」2016年度版 http://www.ipa.go.jp/sec/reports/20170327.html 無料でダウンロードできます ITサービス運用トラブルプロセス トップ5 「構成管理」 「サービス継続可用性管理」 「変更管理」 「容量・能力管理」 「サービスの設計・移行」 上記のプロセスを組織として管理 する体制・ルールの整備がトラブ ル防止のポイント
教訓作成から見えてくる傾向
教訓集に掲載した事例におけるトラブル原因プロセスの分布
18件, 構成管理 16件, サービス 継続・可用性管理 12件, 容量・ 能力管理 13件, 変 更管理 14件, 設計及 び移行 7件, 事業関係管理 7件, 供給者管理 4件, サービス レベル管理 4件, リリース管理 5件, インシデント管理 ITサービスマネジメントシステムの分類での分布教訓集ダイジェスト2016年度版
表紙 目次ITサービス、組込みシス
テムの教訓を一覧で紹介
教訓サンプルシステム障害事例共有の実施状況
教訓集ダウンロード時の関心時アンケート調査結果より
システム障害対応を経験
IT障害等の事例 事例からの学び （失敗のカラクリ等の 気付きを与えるメッセージ） （裏返し）
教訓作成ガイドブック
（教訓を作成する）
抽象化教訓活用ガイドブック
（教訓を活用する）
活用 具体化 自社 教訓集各社／組織で作成
ＩＰＡ 教訓集IPA/SEC
具体化 ITシステムの 開発・運用の現場 IT障害リスク低減の 具体的な施策に展開教訓作成～活用の流れをガイド
高信頼化への知恵 （成功のカラクリ等の気付き を与えるメッセージ）情報処理システム
高信頼化教訓集
教訓作成活動の事例
障害教訓集を作成 トラブル防止活動の一環で、それまでの障害事例・経験をベース
に
普遍的な教訓を取りまとめ
、システム部内へ展開
主にＡランク（お客様影響有り）障害の
真因分析
から、部内全体
に
教訓
として展開すべきもの
を定期的（半期ごと）に追加
4パート構成
・
開発編
：
設計～テストの広い意味での開発フェーズでの心得
・
移行/運用編
：
移行フェーズからその後の本番運用での心得
・
トラブル発生（検知）編
：
障害の発生及び予兆
の
検知に関しての心得
・
トラブル発生（リカバリー）編
障害発生時・発生後の対応の心得
システム開発・提供 にあっての心得 システム部内の 若手人材の教育活動 お客様にサービスを継続的に提供することが使命である。
衆人環境（外部の目は「結果が全て」）であることを認識する。
基本に忠実に ～幾らルール、手順を作っても、
それが正しく守られなければ意味が無い～
課題：教訓の内容をメンバー全員に浸透させる
共有活動を複数組織間で展開
（有志企業・ 組織が参加） （航空運航シ ステム研究会 と協業） （東京都特別区 有志参加） （生命保険 有志） （日本ケーブル テレビ連盟 約160社） （北海道 インフラ事業者 26組織） （クレジット 協会 システム研究会 約50社） （独立系 情報企業 連盟11社） （KIIS関西 情報センター セキュリティ 研究会会員） ＩＰＡが情報共有体制の推進支援、 事例情報の提供、必要に応じ共有ツールの提供9分野、400超の組織との共有グループを構築
情報掲示用サイト構築
メーリングリスト利用
電力
交通
電子
政府
金融 通信 金融
情報
地域
インフラ地域
インフラおわりに IPAからのご提案
みなさまの業界分野でグループを作り、そこで教訓を作成・
共有して、グループ内での障害再発の撲滅を目指しません
か。
IPA/SECがグループ作りを支援します。
IPA/SECでは
定期的に演習セミナーを実施しています。
ご相談に応じて業界向けセミナーも行いま
す。
IPAが公開する新着教訓や、新聞や雑誌等で報道
されたシステム障害情報から読み取れる教訓等につ
いてお知らせするメールマガジン（教訓集活用メル
マガ）を発信しています。
配信をご希望の方は是非ご登録を！
ご静聴
システム障害の分析を学ぶワークショップを開催（年４回）
（次第）
⒈ 討議対象事例の説明
⒉
問題点の整理と認識
の演習
⒊ なぜなぜ分析による
根本原因の分析
⒋
再
発防止策・改善策
の検討
⒌ リスク分析による
未然防止策
の検討
⒍ 全員で発表
効果
ご参加をお待ちしています
事例から学ぶITサービスの高信頼化へのアプローチ
～システム障害事例分析から導出した教訓共有のすすめ（演習付）～グループ討議によるIT障害の分析・対策の
「気づき」を体験できます
自分では気付かない改善事項の発見
さまざまな観点の振り返り
情報共有の意識が一層向上
IPA/SEC 演習セミナー
Copyright © 2017 独立行政法人情報処理推進機構
