システム障害事例から学ぶ
高信頼化へのアプローチ Ⅰ
～システムの信頼性を高めるための教訓集のポイント～
2015年11月19日
独立行政法人情報処理推進機構（ＩＰＡ）
技術本部 ソフトウェア高信頼化センター（ＳＥＣ）
目黒 達生
●Therac-25による放射線過剰被爆事故（1985〜1987年）海外
●エアバスA330の異常機⾸下げ事故（2008年） 海外
●携帯情報端末の発熱－実はソフトの不具合（2009年）
●医療情報システム不具合－カルテ誤表⽰による事故（2010年）
△
年⾦システム不具合による過払い（2007〜2010年）
△
銀⾏オンラインシステムの障害（2011年）
△
株式売買システムの障害（2012年）
△
レンタルサーバーのデータ消失（2012年）
●人身事故
△経済事故
１．過去の情報処理システムの障害事例
ひとたびシステム障害が発生した場合，
社会に及ぼす影響範囲が拡大し，その深刻度も増大
過去の事故事例（ソフトウェア起因）
●Therac-25による放射線過剰被爆事故（1985〜1987年）海外
●エアバスA330の異常機⾸下げ事故（2008年） 海外
●携帯情報端末の発熱－実はソフトの不具合（2009年）
●医療情報システム不具合－カルテ誤表⽰による事故（2010年）
●人身事故
△経済事故
１．過去の情報処理システムの障害事例
ひとたびシステム障害が発生した場合，
社会に及ぼす影響範囲が拡大し，その深刻度も増大
過去の事故事例（ソフトウェア起因）
ＩｏＴ時代は、 「組み込みソフトウェア」と結びつく システム障害が増える？●富⼠ゼロックスPC内のドキュメントがPDF化時に消失
（2014年3⽉）
●消費増税対応時の改札機、発券機での運賃誤徴収（2014年4⽉）
●列⾞のエマージェンシーブレーキがプログラムバグで作動せず
（2014年10⽉）
●⾸都⾼速道路ETCシステム停電による不適切料⾦（2015年2⽉）
●三菱電機テレビ視聴中に連続電源OFF/ON ソフトウェア不具合
（2015年3⽉）
●プログラムミスによる救急⾞・消防⾞のサイレン⾳量変更時
⾚⾊灯不具合（2015年4⽉）
１．過去の情報処理システムの障害事例
最近の「組み込みソフトウェア」と結びついたシステム障害
現状（教訓の共有なし）
Ａ社
社会 信頼性 原因分析 対策検討 対策実施 教訓 Ａ 原因分析 対策検討 対策実施 教訓Ｂ 原因分析 対策検討 対策実施 教訓Ｃ 障害 障害 障害 重要インフラ等２．インフラシステムの障害の増加
増加傾向 社会経済活動に悪影響を与えたＩＴ 障害の発⽣件数 （年合計、報道ベース） 出典： SEC Journal 第36号 （2014年3⽉発⾏） 障害の増加にかかわらず対応は当事者ごとに 実施され、類似の障害が発生している 0 5 10 15 20 25 30 35 40 2010 2011 2012 2013 2014 件Ｂ社
Ｃ社
低
低
低
2/末
ビューカード
請求書発⾏遅れ
4/7
⽇本⽣命
査定システム障害
5/7
ハローワーク
NW障害
8/4
世⽥⾕区役所
システム障害
10/13 横浜市Webサイト
負荷増でサーバダウン
３．昨年（2014）発生した類似システム障害
昨年（2014）は、 ３６件発生、その内以下５件は．．．
処理量の増⼤
バックアップ
切替え失敗
ビューカード(2014.2.末）・・・会員が他のクレ ジットカード会社の加盟店でビューカードを使っ た金額の請求業務に必要なバッチ処理が、期 日どおりに完了できなかった。 横浜市Webサイト(2014.10.13)・・・台風19 号 の接近に伴い、約370 万人が住む市内のほぼ 全域の携帯電話に、「緊急速報メール」が配信 された。横浜市のWebサイトが参照されたため、 そこにアクセスが集中し、サーバがダウンした。 日本生命（2014.4.7）・・・ディスク障害が発生、 バックアップシステムへの切替えに失敗し、 「査定システム」が停止した。 ハローワーク(2014.5.7)・・・２万8千台の端末 が使えず。NW切り替え失敗が原因。 世田谷区（2013.8.4）・・・負荷分散装置で、連 続運転を続けるとメモリ不足の状態に。待機系 に切り替えたが、同様の状態に陥った。
４．類似システム障害の傾向（過去は？）
◆処理量の増大に対する対処遅れ ◆バックアップシステムへの切替え失敗 アフラックの障害（2013.4.4） しんきんネットバンキング(2012.5.31) NTTドコモの障害（2011.8.16, 12.20） UQｺﾐｭﾆｹｰｼｮﾝｽﾞの障害(2011.9.21) みずほ銀行の障害（2011.3.15～3.24） KDDI（2013.4.16） 東京証券取引所(2012.2, 2012.8) 富士通データセンター(2012.6) 住信SBIネット銀行（2011.9） 気象業務支援センター(2009.3) NTT東日本(2008.11) JR東日本(2008.9)５．障害事例からの教訓の共有と効果
減少させる 障害に基づく教訓の共有による信頼性向上のしくみ 社会 より高い安全・安心 信頼性事例を原因分析・対策検討し
一般化・抽象化・普遍化した
教訓を体系的に整理
対策実施 対策実施 対策実施 重要インフラ等 社会経済活動に悪影響を与えたＩＴ 障害の発⽣件数 （年合計、報道ベース） 出典： SEC Journal 第36号 （2014年3⽉発⾏） 0 5 10 15 20 25 30 35 40 2010 2011 2012 2013 2014 件 今後Ａ社
Ｂ社
Ｃ社
障害 障害 障害高
高
高
情報処理システム
高信頼化教訓集
（ITサービス編／
製品・制御システム編）
６．事例分析、教訓の共有活動 （実績）
2015年3月末公開 製品・制御システム分野 国民生活や社会・経済基盤に 関わる「障害情報」を収集 [教訓数] 28件普遍化
取りまとめ
収集した情報を分析
対策を検討
＜製品・制御システム高信頼化部会＞ ＜重要インフラITサービス高信頼化部会＞ 【参画企業等】 トヨタ自動車（株）、日産自動車（株） 日本電気（株）、 （株）日立製作所 三菱電機（株）、横河電機（株） 富士電機（株）、矢崎総業（株） アイシン精機（株） 日本電気通信システム（株） （株）日立産業制御ソリューションズ 三菱電機メカトロニクスソフトウェア（株） （株）富士通コンピュータテクノロジーズ オムロンソーシアルソリューションズ（株） アイシン・コムクルーズ（株） パイオニアシステムテクノロジー（株） 北陸先端科学技術大学院大学 九州大学、岡山県立大学 （一社）組込みシステム技術協会 （一社）電子情報技術産業協会 【参画企業等】 （株）三菱東京UFJ銀行 日本生命保険相互会社 東京海上日動火災保険（株） （株）日本取引所グループ 東京電力（株） 東日本旅客鉄道（株） KDDI（株） （株）情報システム総研 （株）オリジネィション 日本大学 内閣官房情報通信技術総合戦略室 （一社）日本情報システム・ユーザー協会 製品・制御 システム編 ITサービス分野 [教訓数] 27件 ITサービスム編７．教訓共有活動への参加のご提案
教訓作りのプロセス紹介
新たな気付きが、新たな仕組みを生み出す
IT障害
現場からの学び （現場から原因を見つけることで、 さまざまな気付きを得る） 対策への知恵 （対策を考えることで、様々な気 付きを得る）教訓
現場
問題 原因 対策 活用 現場へのリスク対策 現場からの事例８．教訓共有活動への参加のメリット①
◆“他社の障害事例”が自社の予防に役立つ！
さまざまな分野での経験から得られた教訓集の中から自社に適用可能な教訓を 見つけ、活用することにより、他社での障害を自社で発生させないことができる この障害事例は、 当社でも起きるか もしれない 他に考慮すべき 対策はないか？ 再発防⽌対策（運⽤保守時） 未然防⽌対策（設計時のリスク対策） 考慮すべき ポイントはどこ か？ 対策をどう 立てるか？８．教訓共有活動への参加のメリット②
◆IPA/SECで培ったソフトウェアエンジニアリング成果物を自社の
障害予防に役立てる！
◆IPA/SECの成果物
を中心に、「教訓事
例」と関連する
対策
手法、分析手法
を
活用することが
できる。
→ IPA/SECでは、定期的に演習セミナーを実施しています。 ホームページを御覧ください http://www.ipa.go.jp/sec/
８．教訓共有活動への参加のメリット③
◆ITの経験者から若手への技術の伝承(若手の人材育成)
例えば ・若⼿に教訓作りの演習をさせる。（ベテランがアドバイザ参加） ・教訓を読み、ケーススタディでワークショップを⾏って、感想を述べあう。 ・⾃社のケーススタディでワークショップを⾏って、感想を述べあう。その結果
・世代を超えてＩＴの疑似体験によるノウハウ共有が図れる ・ワークショップの成果物も教訓化することで、システムの保守・運⽤の ノウハウの継承に役⽴つ。８．教訓共有活動への参加のメリット④
◆障害対策の“気づき”が得られ、身につく！
⾃社の事例情報に対する、対策、教訓を作るため 議論を通した“気づき”が得られ、⾝につく（個⼈として、組織として） そんな考えもあ るのか！ もっと別な対策が あるのでは？ それは必要な 対策だ！ 教訓集では、こう言ってるわ◆ＩＴ社会で信頼される企業・団体になれる
８．教訓共有活動への参加のメリット⑤
0.0%
82.9%
2.6%
2.6% 11.8%
障害事例情報を公開する企業に対して、どのように思 われますか？（回答者76名） １．障害を発⽣させていることから、信 頼できない ２．積極的に情報公開をすることから、 公開しない企業に⽐べて信頼できる ３．特に何とも思わない ４．その他 無回答 ＜アンケート回答者（計76名）＞ ET2013（2013年11月） ソフトウェアジャパン（2014年2月）教訓集より 教訓説明
情報処理システム高信頼化教訓集（ITサービス編）
PART Ⅰ
１．「教訓集」の構成
PART Ⅰ 教訓集（本編）
PART Ⅱ 障害対策手法・事例集
PART Ⅲ 障害分析手法・事例集
付録A
障害情報の取扱いルール
情報処理システム⾼信頼化教訓 集（ITサービス編）の本体 今回は、この中の⼀部を説明 今回の活動の中で実施した、障 害の分析⼿法・事例の調査結果 をまとめたもの 障害情報を報告・記録する共通 様式と、それらの収集・公開に 際しての機密保持等のルールを まとめたもの 教訓集中の各教訓を実践するた めに必要な⼿法を整理したもの問題：障害事例の内容
原因：問題を引き起こした要因の分析結果
対策：問題の原因を取り除き再発を防⽌するための⽅法
効果：対策の実施によ
る効果
教訓：得られた教訓の
内容説明・補⾜
[教訓ＩＤ]
教訓概要(タイトル)
２．各教訓の構成
１）ガバナンス／マネジメント領域の教訓
教訓ＩＤ 教訓概要 Ｇ１ システム開発を情シス部門だけの仕事にせず、各事業部門が自分のこととして捉える「態勢」をつくることが大切 Ｇ２ 発注者は要件定義に責任を持ってシステム構築にかかわるべし Ｇ３ 運用部門は上流工程（企画・要件定義）から開発部門と連携して進めるべし Ｇ４ 運用者は少しでも気になった事象は放置せず共有し、とことん追求すべし Ｇ５ サービスの拡大期には業務の処理量について特に入念な予測を実施すべし Ｇ６ 作業ミスとルール逸脱は、個人の問題でなく、組織の問題！ Ｇ７ クラウド事業者と利用者が連携した統制がとれたトラブル対応体制を整備すべし Ｇ８ 共同利用システムでは、非常時対応を含めて利用者間の情報共有を図ること Ｇ９ システム利用不可時の手作業による代替業務マニュアルを作成し定期的な訓練を行うべし３．教訓一覧（ITサービス）(1/2)
本日解説教訓の概要（Ｇ６）
G6：作業ミスとルール逸脱は、個⼈の問題でなく、組織の問題！ 【問題】運⽤作業者がグループウェアの全ユーザデータを削除 【原因】不慣れな運⽤作業者が、独断で、運⽤規定外の⼿段により、誤操作（ルール逸脱） 繁忙な環境下、迅速な処理が求められる状況で、各メンバが連携できず，不慣れな 作業者は、熟練者に聞くことができず，業務を遅らせられないというプレッシャー から，ルール逸脱。運⽤チーム内のスキルの共有も不⼗分 【対策】ちょっと考
えてみま
しょう
アカウント 情報 メール情報 アカウント 情報 アカウント サーバ グループウエアサーバ ①統合アカウン ト管理ツールに よる、新規ユー ザーの登録実 施 ③直接、グルー プウエアサーバ 上で、新規ユー ザーの登録／削 除実施 ④誤って、全 ユーザーのアカ ウントを 削除。メールも 連動して削除 ⑤強制再起動 → さらにシステムが不整合となる ②登録に誤りがあり、 一旦削除しようと試み たが、統合アカウント管 理ツールでの削除はで きないことが判明 統合アカウント管理ツール グループウェア教訓の概要（Ｇ６）
◆教訓とすべきポイントは？ 情シス部門 職場 （運用チーム） 個人 →作業者 移行スケジュールが詰まった 作業時間の逼迫 作業に不慣れな状況 お互い自分の作業に追われ、 連携できず 運用チームへの過度な依頼 プレッシャー（圧力） プレッシャー（圧力） プレッシャーを感じて、動揺。障害発生 組織として、ミスを起こしやすい状況とルールを逸脱する状況が発生 教育、情報共有、マニュアル作成 が追いつかず（属人化） 作業依頼部門作業依頼
教訓の概要（Ｇ６）
組織的な総合対策： ・作業を受ける場合のリスクを考慮した受諾の判断基準作成 ・複数名体制での作業実施等、ルールを逸脱しない作業規定の作成 ・普段のチーム内のコミュニケーション [教訓Ｇ６] 作業ミスとルール逸脱は、個人の問題でなく、組織の問題！ 【教訓】作業ミスとルール逸脱は、個⼈の問題にするのではなく、組織として取組むこ とが重要 【対策】２）技術領域の教訓
教訓ＩＤ 教訓概要 Ｔ１ サービスの継続を優先するシステムにおいては、疑わしき構成要素を積極的にシステムから切り離せ（“フェールソフト”の考え方） Ｔ２ 蟻の目だけでなく、システム全体を俯瞰する鳥の目で総合的な対策を行うべし Ｔ３ 現場をよく知り、現場の知識を集約し、現場の動きをシミュレートできるようにすべし Ｔ４ システム全体に影響する変化点を明確にし、その管理ルールを策定せよ Ｔ５ サービスの視点で、「変更管理」の仕組み作りと「品質管理責任」の明確化を！ Ｔ６ テスト環境と本番環境の差異を体系的に整理し、障害のリスク対策を練る Ｔ７ バックアップ切替えが失敗する場合を考慮すべし Ｔ８ 仮想サーバになってもリソース管理、性能監視は運用要件の要である Ｔ９ 検証は万全？それでもシステム障害は起こる。回避策を準備しておくこと Ｔ１０ メッシュ構成の範囲は、可用性の確保と、障害の波及リスクのバランスを勘案して決定する Ｔ１１ サイレント障害を検知するには、適切なサービス監視が重要 Ｔ１２ 新製品は、旧製品と同一仕様と言われても、必ず差異を確認！ Ｔ１３ 利用者の観点に立った、業務シナリオに則したレビュー、テストが重要 Ｔ１４ Ｗｅｂページ更新時には、応答速度の変化等、性能面のチェックも忘れずに Ｔ１５ 緊急時こそ、データの一貫性を確保するよう注意すべし Ｔ１６ システム構成機器の修正パッチ情報の収集は頻繁に行い、緊急性に応じて計画的に対応すべし Ｔ１７ 長時間連続運転による不安定動作発生の回避には定期的な再起動も有効！ Ｔ１８ 新たなサブシステムと老朽化した既存システムとを連携する場合は両者の仕様整合性を十分確認すべし４．教訓一覧（ITサービス）(2/2)
本日解説教訓の概要（Ｔ１２）
T12：新製品は、旧製品と同⼀仕様と⾔われても、必ず差異を確認！ 【問題】2重化された制御系システムにおいて、部品交換の保守作業時にシステム全体の動 作が停⽌し、短時間で復旧できずに、サービス利⽤者が終⽇影響を受けた。 【原因】システムのディスク装置が、数年前に，当初構築時のHDDからSSDに交換されてい た。部品交換作業で、ディスク装置にリセット要求が発せられるが、SSDのリセッ ト要求処理時間は、HDD のそれよりかなり⻑く， OSのタイマ監視において タイムアウトが発⽣した。 SSDへの交換時に、HDD と完全に互換性があると 誤認し、検証・テストが 不⼗分であった。ちょっと
考えてみましょう
【対策】教訓の概要（Ｔ１２）
①数年前、ベンダーが、システムディスクをHDDからSSDに交換した時 ・ベンダーは、SSDとHDDは互換性がある仕様になっていると判断。 ・テストの中でも、制御装置の⽚系を交互に停⽌させる動作確認を⾏うべきであったが、 テストの必要なしと判断。 制御系システムは、保守運⽤が⾮常に⻑期になる。 途中で部品の供給が中⽌となったり、ソフトウェアの保守契約が切れてしまったりなどの理 由により、新製品（HW、SW）に交換せざるを得ない事態が起こる。システムに新旧の製品が混在する場合のリスク対策が
不十分
◆教訓とすべきポイントは？ 事前に不具合を発⾒できた時点が2ヶ所あった。 ②今回の本番作業前に⾏った事前確認の時 ・ベンダーは、HDDで動作確認しただけで「問題なし」と報告し、本番環境と同じSSDの 動作確 認を⾏っていなかった。教訓の概要（Ｔ１２）
【対策】新製品と従来製品との差異を⾒逃さないためのルールを作る [教訓Ｔ１２] 新製品は、旧製品と同一仕様と言われても、必ず差異を確認！ 【教訓】 従来と異なる新装置、新ソフトウェアがシステムに組み込まれるときは、どんなに互換性 があると⾔われているものであっても、変更部分と⾮変更部分との整合性を確認すること ベンダー、ユーザー双⽅が、リスク対策の役割を決め実施。 さらに相⼿の役割分担を⽀援し合う ・仕様上の互換性を過信せず、差異分析を必ず実施 ・ベンダとユーザの双⽅で、リスク対策を⾏い、相⼿の役割分担を⽀援し合う （ユーザ側でハザード分析を⾏う）５．まとめ＆ご提案
みなさまと同じ業界分野でグループを作り、そこで教訓集を作成し、類似障害 の撲滅を⽬指しませんか。 ◆メリット ・他社での障害を⾃社で発⽣させないことができる。 ・教訓化することで、システムの保守・運⽤のノウハウの継承に役⽴つ。 ・⼈材育成に役⽴つ。IPA/SECが⽀援いたします。
IPA/SECでは、
定期的に
演習セミナー
を実施しています。
別途、
業界向けセミナー
も⾏います。
IPA/SEC
演習セミナー
のお知らせ①
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 事例から学ぶITサービスの高信頼化へのアプローチ・・・・・・・・・・・・12/4 ～障害事例の分析から導かれた情報処理システム 高信頼化教訓集～ ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ ■■■申込締切：2015年12月3日（木）17：00まで■■■ ‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥ システム障害の未然防止・影響範囲の縮小を目指して、このセミナーでは、教訓集 について解説し、事例を基に教訓作りを体験していただきます。 このセミナーに参加することにより、障害に対する取組みの「気付き」を学ぶこと ができます。さらに、より効果的に障害対策を実行できる方法を身につけるきっかけ になります。 ○日時：2015年12月4日（金）13：30～17：15 ○会場：文京グリーンコートセンターオフィス 13階 会議室 ○主催：IPA/SEC ○定員：30名 ○参加費：2,000円（税込）IPA/SEC
演習セミナー
のお知らせ②
○プログラム： 13：30～ 事例から学ぶITサービスの高信頼化へのアプローチ 第1部：教訓共有の仕組みの説明と教訓集の紹介 14：30～ 事例から学ぶITサービスの高信頼化へのアプローチ 第2部：グループ演習 ◆プログラム詳細とお申し込み方法は、下記Webサイトをご覧ください。 http://sec.ipa.go.jp/seminar/20151204.htmlIPA/SEC
演習セミナー
のお知らせ③
★セミナー参加者の声（参加者アンケートから） ・障害事例など身近な例で理解しやすかった。 ・他組織の事例を知る機会は多くないため、こうした資料があると非常に助かりま す。今後も内容が充実していくと言うことで、期待しています。 ・これまでも自分達でも漠然とは考えていたことを整理して示していただくことで よく理解でき、大変有意義であった。 ・有意義な試みと思いますので、事例、教訓が増えることを願っています。 ・教訓集は、大変参考になる内容でしたので、熟読してみたいと思います。 ・今後の教訓の累積に期待したい。 ・とても参考になる題材であり、すぐに活用したい。 ・今年度の教訓活用ガイドをぜひ活用したいので、楽しみに待っています。IPA/SEC
演習セミナー
のお知らせ④
★セミナーご推薦の声（教訓集作成にご協力いただいた企業様より） 教訓集は、企業・団体内で実際に発生した「サービス停止事例」を持ち寄り、 根本原因の発掘と防止策の検討を行い、まとめたものです。 この教訓集検討部会に参加して良かったことは、負荷分散・冗長化・仮想化に関 わる多くの障害事例を知ることができ、社内での未然防止や切り分けの早期化につ なげることができたことです。 本セミナーの教訓づくりを体験してみては如何でしょうか。 ・重要インフラの安定稼働は各社共通の課題であり、業種横断の委員会ならではの 幅広い観点から知見が得られるため、参加して本当によかったと思っております。 また自社の障害事例紹介においては、経験・知見豊富な委員の方々と、これまでの 自社内の見解とは異なる視点で、原因や防止策等について議論を深めることができ、 大変有益な機会となりました。５．まとめ＆ご提案
（問合せ）
ソフトウェア高信頼化センター（SEC)
システムＧ
「ｉパス」は、ITを利活用する
すべての社会人・学生
が備えておくべき
ITに関する基礎的な知識が証明できる国家試験です。
ITパスポート公式キャラクター 上峰亜衣（うえみねあい）
Windows Server 2003のサポートが2015年7月15日に終了しました。
サポート終了後は
修正プログラムが提供されなくなり
、脆弱性を悪用した攻撃が
成功する可能性が高まります。
周辺ソフトウェアもサポートが順次終了していくため、あわせて対策が必要です。
サポートが継続しているOSへの移行検討とOS移行に伴う周辺ソフトウェアの
影響調査や改修等について
迅速な対応
をお願いします。
会社の事業に悪影響を及ぼす被害を受ける可能性があります
IPA win2003
検索詳しくは
WindowsXPを利用されている方はサポートが継続しているOSへの移行検討をお願いします 脆弱性が 未解決なサーバ 脆弱性を 悪用した攻撃 ホームページの改ざん 重要な情報の漏えい 他のシステムへの攻撃に悪用 業務システム・サービスの停止・破壊 データ消去Windows Server 2003のサポート終了に伴う注意喚起
IPA ソフトウェア高信頼化センター(SEC)
Software Reliability Enhancement Center , Information-technology Promotion Agency , Japan
で、
IPA/SECの事業内容やセミナー動画をCheck！
●SEC事業紹介
http://www.ipa.go.jp/sec/about/index.html ●SECセミナーオンデマンドhttp://sec.ipa.go.jp/seminar/ondemand/
Twitterで、 IPA/SECの最新情報をCatch！ https://twitter.com/IPA_SEC アカウント名：＠IPA_SEC SWE iPediaで、 IPA/SECの事業成果をSearch！ 探したい情報を 分類やキーワードで検索！ http://sec.ipa.go.jp/sweipedia/ IPA/SECウェブサイトで利用者登録！ IPA/SECウェブサイトから利用者登録（無料）をすると、 メルマガ ・DMの購読や、セミナーの参加申込み、ツールの 利用などができます。 是非、ご登録ください！ https://sec.ipa.go.jp/entry/index.html ↓詳しくは、SECウェブサイトをClick！ ソフトウェア高信頼化センター 検索 ソフトウェア高信頼化センター 検索
