資料 1 事例から学ぶ IT サービスの高信頼化への アプローチ 2015 年 12 月 4 日 ( 金 ) 独立行政法人情報処理推進機構 (IPA) 技術本部ソフトウェア高信頼化センター (SEC) 加藤均 Copyright 2015 IPA, All Rights Reserved Softw

事例から学ぶITサービスの高信頼化への

アプローチ

独立行政法人情報処理推進機構（IPA）

技術本部 ソフトウェア高信頼化センター（SEC）

加藤 均

2015年12月4日(金)

資料１

～目次～

 １．アプローチの背景

 2．教訓集2014の紹介



（教訓ダイジェストを使用）

 １．アプローチの背景

 2．教訓集2014の紹介



（教訓ダイジェストを使用）

 ３．教訓の共有活動のすすめ

Microsoft Windows 成長の足あと

Ｗｉｎ 3.1 Ｗｉｎ NT Ｗｉｎ 95 Ｗｉｎ NT4.0 Ｗｉｎ 98 Ｗｉｎ NT5.0 Ｗｉｎ 2000 Ｗｉｎ XP

0

5

10

15

20

25

30

35

40

45

（ × 100万LOC）

（データ出所 EXPLOITING

“How to Break Code”

１．ソフトウェアの複雑性が増大している

情報処理システ

ムのソフトウェ

アは，

製品・サービス

の多様化・高度

化に伴う

複雑化

，

大規模

化

等が進展

コード量

(× 100万

LOC)

システム

４０

ISS(国際宇宙

ｽﾃｰｼｮﾝ）

１０

スペースシャ

トルエンデ

バー

<出典> 片岡正次郎，鶴田舞，小路泰広：重要インフラ間の相互依存構造のモデル化と地震被害波及

シミュレーション，国総研資料 第 510 号，国土技術政策総合研究所（国総研），平成21年2月．

http://www.nilim.go.jp/lab/bcg/siryou/tnn/tnn0510.htm

相互依存の事例

（災害時）

２．インフラシステム間が相互依存し複雑化

インフラシステ

ムは

相互に依存し，

システム間の

ネットワーク連

携による

複雑化

が一層進

展

３．重要インフラシステム障害の発生確率と影響度

<出典>

Global Risks 2014

Ninth Edition

,

the World Economic Forum

大

←

影

響

度

発生確率 → 大

インフラ

システム障害

サイバー攻撃

財政危機

水危機

気候変動

失業・不完全雇用

異常気象

所得格差

生物多様性

損失と

生態系崩壊

重要インフラの

システム障害

は、

サイバー攻撃に

比べ発生確率は

小さいものの、

万が一発生した

ときの

影響度はより大

きい

<出典>

NISC: 重要インフラの情報セキュ

リティ対策に係る第２次行動計画

IT障害を引き起こす脅威（要因）としては，意図的要因（情報セキュリ

ティ関連）と

非意図的要因

（システム障害関連），災害等がある．

高信頼化対策

の対象

４．脅威（要因）の類型と今回のスコープ

□新幹線運行管理システムの障害（

2008年

，

2011年

）

□銀行オンラインシステムの障害（

2011年

）

□株式売買システムの障害（

2012年

）

□レンタルサーバーのデータ消失（

2012年

）

△人身事故

過

去

の

事

故

事

例

（

ソ

フ

ト

ウ

ェ

ア

起

因

５．過去の情報処理システムの障害事例

ひとたびシステム障害が発生した場合，

社会に及ぼす影響範囲が拡大し，その深刻度も増大

△Therac-25による放射線過剰被爆事故（

1985～87年

）

△エアバスA320の墜落事故（

1988～93年

）

△名古屋空港で中華航空機が着陸に失敗炎上（

1994年

）

△携帯情報端末の発熱－実はソフトの不具合（

2009年

）

△電子カルテシステムの不具合（

2010年

）

□経済事故

4/7

日本生命査定システム障害

4/22 三井住友銀行ATM障害

4/25 八十二銀行ATM障害

4/30 三菱東京UFJ銀行自動送金サービス障害

6/5

JAL重量バランスシステム障害

6/25 スカパーシステム障害

8/4

世田谷区役所システム障害

報告が公開された場合にも，情報はあまり詳しくなく，参考とはなりにくい．

個人的なルートで情報を入手しても，共通の教訓として役立てられない．

６．昨年度発生した主なインフラシステム障害（報道）

現状（教訓の共有なし）

製品機器/

ITサービス

(Ａ社)

社会

製品機器/

ITサービス

(Ｂ社)

製品機器/

ITサービス

(Ｃ社)

信

頼

性

信

頼

性

信

頼

性

原因分析

対策検討

対

策

実

施

教

訓

Ａ

原因分析

_対策検討

対

策

実

施

教

訓

Ｂ

原因分析

_対策検討

対

策

実

施

教

訓

Ｃ

障害

障害

障害

重要インフラ等

７．インフラシステムの障害の増加とその理由

増加傾向

社会経済活動に悪影響を与えたＩＴ

障害の発生件数

（月平均、報道ベース）

出典： SEC Journal 第40号（2015年3月発行）

障害の増加にかかわらず対応は当事者ごとに

実施され、類似の障害が発生している

0 0.5 1 1.5 2 2.5 3 3.5 4 4.5 5 20072008200920102011201220132014201520162017201820192020

【処理量の増大に対する対処遅れ】

アフラックの障害（2013.4.4）・・・一部の保

険料金が4月から上がるのに伴い、3月末

に駆込みの契約が増えたために処理量が

増大。

みずほ銀行の障害（2011.3.15～3.24）・・・

東日本大震災義援金の受付けが携帯電話

を利用した送金サービスの口座に集中し、

夜間バッチの件数が上限を超過、長期間

にわたりサービス停止。

NTTドコモの障害（2011.8.16, 12.20）・・・

スマートフォンの急激な普及により通信量

が増大し、設備の容量を超え、通信しにくい

状況が発生、別の障害も誘発。

【二重化システムでの待機系切替え失敗】

日本生命（2014.4.7）・・・ディスク障害が発

生した後、バックアップシステムへの切替

えに失敗し、「査定システム」が停止。個人

保険に係る保険金・給付金の支払い事務

に遅延。

KDDI（2013.4.16）・・・メール送受信サービ

ス障害の解消後、新システムへの切替え

中にエラーが発生、現行システムに切り戻

し中に過負荷となり、サービス停止。

東京証券取引所(2012.2, 2012.8)

富士通データセンター(2012.6)

住信SBIネット銀行（2011.9）

気象業務支援センター(2009.3)

NTT東日本(2008.11)

JR東日本(2008.9)

８．多発する類似のシステム障害

９．教訓の共有で障害を削減する

減少させる

障害に基づく教訓の共有による信頼性向上のしくみ

社会

より高い安全・安心な

製品機器/ITサービスの提供

製品機器/

ITサービス

(Ａ社)

製品機器/

ITサービス

(Ｂ社)

製品機器/

ITサービス

(Ｃ社)

信

頼

性

信

頼

性

信

頼

性

事例を原因分析・対策検討し

一般化・抽象化・普遍化した

教訓を体系的に整理する

対策実施

対策実施

障害

障害

対策実施

障害

重要インフラ等

社会経済活動に悪影響を与えたＩＴ

障害の発生件数

（月平均、報道ベース）

出典： SEC Journal 第40号（2015年3月発行）

0 0.5 1 1.5 2 2.5 3 3.5 4 4.5 5 20072008200920102011201220132014201520162017201820192020

１０．

IPAの製品制御・ITサービスの研究会で教訓集を作成

2015年3月末公開

製品・制御システム分野

国民生活や社会・経済基盤

に関わる「障害情報」を収集

[教訓数]

28件

[教訓数]

27件

普遍化

取りまとめ

収集した情報を分析し

対策を検討

＜製品・制御システム高信頼化部会＞ ＜重要インフラITサービス高信頼化部会＞

情報処理システム高信頼化教訓集

（ITサービス編／製品・制御システム編） 【参画企業等】 トヨタ自動車（株）、日産自動車（株） 日本電気（株）、 （株）日立製作所 三菱電機（株）、横河電機（株） 富士電機（株）、矢崎総業（株） アイシン精機（株） 日本電気通信システム（株） （株）日立産業制御ソリューションズ 三菱電機メカトロニクスソフトウェア（株） （株）富士通コンピュータテクノロジーズ オムロンソーシアルソリューションズ（株） アイシン・コムクルーズ（株） 北陸先端科学技術大学院大学 九州大学、会津大学 （一社）組込みシステム技術協会 （一社）電子情報技術産業協会 【参画企業等】 （株）三菱東京UFJ銀行 日本生命保険相互会社 東京海上日動火災保険（株） （株）日本取引所グループ 東京電力（株） 東日本旅客鉄道（株） KDDI（株） （株）フジテレビジョン （株）クロスウェーブ （株）オリジネィション 日本大学 内閣官房情報通信技術総合戦略室 （一社）日本情報システム・ユーザー協会 製品・制御 システム編

2015年8月末時点

 １．アプローチの背景

 2．教訓集2014の紹介



（教訓ダイジェストより）

ITサービス

編

製品・制御システム

編

2014年度版

サービス

や

システム

の

信頼性

を

高める

ための

独 立 行 政 法 人 情 報 処 理 推進 機 構（ IPA ） 技 術 本 部 ソ フ ト ウ ェ ア 高 信 頼 化 セ ンタ ー （S E C）

教訓集

ダイジェスト

お手元のパンフレットを御覧ください

サービス・システム高信頼化への対策

経験を共有し、みんなの力でIT社会の安全・安心を築くしくみ

対象分野の例

私たちIPAは、国民生活や社会・経済基盤を支える情報処理システムの

信頼性向上を目標とし、以下の活動を行っています。

・システムの障害事例情報の分析や対策手法を整理・体系化して、

これから導かれた「教訓」を作成する

・「教訓」を業界・分野を越えて幅広く共有し、類似障害の再発防止

や影響範囲縮小につなげる「仕組み」を構築する

・「教訓」を分野横断で共有するため、障害情報や教訓の共通様式

と公開に際しての機密保持などの「ルール」を取りまとめる

・類似障害の再発防止に向け、システム開発や運用・管理の継続的な

プロセス評価・改善手法を取りまとめる

今回はこれに際してとりまとめた「教訓集」をご紹介します。

ITサービスを担う情報処理システムにおける、主としてソフトウェアに起因する障害関連情報を収集し、それらの分 析や対策手法の整理・体系化を通して得られる教訓をまとめました。 教訓は、「ガバナンス・マネジメントに関する教訓」と「技術に関する教訓」の２つに分類しています。

・ガバナンス・マネジメントに関する教訓一覧

・技術に関する教訓一覧

・教訓の例

・教訓集の普及展開

（展示会やセミナー）

ITサービス

編

P4

サービス・システム高信頼化教訓集

交通機関や電気・水道の制御など、製品に組み込まれた機器の制御を行う「製品・制御システム」（組込みシステ ム）の障害情報を収集・分析し、そこから得られた経験やノウハウを教訓集にまとめました。 各教訓は、類似障害の未然防止を目的に、他製品・他産業領域への活用も可能なものにするため、分析から対策ま でを含めた未然防止知識の形に整理し、抽出された直接原因や真因は、観点マップとして整理しています。

・教訓一覧

・未然防止知識事例

・観点マップ

製品・制御システム

編

P12

P4 P6 P10 P11 P12 P14 P18

ソフトウェア高信頼化センター（SEC）の取り組み

■重要インフラ分野のシステム障害への対策 障害事例を分析し、未然防止策を社会で共有する仕組みを作ります。 詳しくは、下記URLをご参照ください。 http://www.ipa.go.jp/sec/system/index.html ●「情報処理システム高信頼化教訓集（ITサービス編）」2014年度版 下記URLからダウンロードできます。 http://www.ipa.go.jp/sec/reports/20150327_1.html ●「情報処理システム高信頼化教訓集（製品・制御システム編）」2014年度版 下記URLからダウンロードできます。 http://www.ipa.go.jp/sec/reports/20150327_2.html

■お問い合わせ

独立行政法人情報処理推進機構（IPA） 技術本部 ソフトウェア高信頼化センター（SEC） 〒113-6591東京都文京区本駒込2-28-8文京グリーンコート センターオフィス16F

[TEL] 03-5978-7543 [E-Mail] sec-prt@ipa.go.jp

[URL] http://www.ipa.go.jp/sec/index.html

１１．教訓を類似障害へ適用すると

【二重化システムでの待機系切

替え失敗】を予防したい・・・

[教訓 Ｔ７]バックアップ切替えが

失敗する場合を考慮すべし、の

対策を実施する

KDDI（2013.4.16）・・・メール送

受信サービス障害の解消後、

新システムへの切替え中にエ

ラーが発生、現行システムに

切り戻し中に過負荷となり、

サービス停止。

JR九州（2013.7.18）・・・列車

進路制御装置の外部記憶装

置の交換により情報のやり取

りに不具合が発生し、システム

全体にトラブルが波及。

対策１１＞本番稼働に近いテスト環境を用意し、OS、

ミドルウェアのバージョンアップ時の動作確認と性能

（負荷）確認が行えるようなツールを作成する。

対策１２＞冗長化を実施する場合、すべての機器（単体機

器、または密結合の機器）が冗長化されていることを常に

点検する。

対策７＞バックアップ切替え後、縮退運転の場合での

ピーク時性能は、日常の監視の中で想定し、

必要に応じてシステムを見直す。

対策８＞本番稼働に近いテスト環境を用意し、性能（負荷）

確認が行えるようなツールを作成する。

対策９＞切替え、縮退運転の性能要件（ピーク時）は、

設計時に明確にする。

１２．今回の教訓化の３つの特長

③ 各分野の有識者や専門家のご参加のもと、多様化、複雑化する

事象を分析・検討。

成果は、産業分野を超えて活用

可能な教訓とし

てとりまとめ、セミナー等を通じて、普及・活用を促進。

② これまで約１０年間にわたり

産学官の連携

のもとに蓄積された

ソ

フトウェア・エンジニアリング

の幅広い知見を基礎として、普遍性、

一般性のある教訓、未然防止策を導出。

① 共有グループ（部会）活動では、

一定の守秘ルール

のもとに実際

の現場における事例を収集。複数事例のシステム障害対策の比較

や分析など

掘り下げた議論・検討

を実施。

１３．教訓共有でこんなメリットがある

◆

“教訓”集

の活用によるメリット

①さまざまな分野での経験から得られた教訓（開示レベル：公開用）の中から

自社に適

用可能

なものを見つけ、

活用

することができる。

◆

情報共有の仕組み

への参加によるメリット

①情報共有のグループ（教訓化過程）への参加により、

公開教訓より深い情報

（開示レ

ベル：グループ内限り）が得られる。

②自社の事例情報に対する有識者や他分野の専門家等からの意見や、教訓化（抽象

化）の

議論を通した気づき

が得られる。

③（分野間の共有により）他分野の方々とも

交流

が深まる。

 １．アプローチの背景

 2．教訓集2014の紹介



（教訓ダイジェストを使用）

１４．各産業分野で教訓の共有活動を推進中

共有活動の例

展

開

（１）障害事例から得られた教訓の共有活動の実施

①

ＷＧ

など共有の場における意見交換

②

電子掲示板・メーリングリスト

等を活用した適時の

情報共有

（２）関心テーマに関する

勉強会

や

セミナー

の開催

（３）業界内での

教訓の活用

①未然防止に向けた自組織の

運用ルール等の見直し

②障害事例から学ぶ

ＩＴ人材教育

（４）業界内での検討により得られた

新たな教訓の提供

１５．ＷＧなど共有の場における意見交換

①情報通信分野

ITA（情報サービス団体（加盟18社））との協業

で、「障害再発防止策研究会」が平成26年に発足し、

システム障害情報の教訓

化の仕組みを団体内に構築

し活動開始。IPAのITサービス高信頼化部会においてITAが活動状況の報告を実施。活動の成果はITA

のWebサイト上で「ITA情報処理システム障害事例集」として公開され

IPAのウェブサイトからURLリンクによる連携

を実施（平

成27年1月28日）。ITAの研究会は平成27年も「システム高信頼化研究会」と改称して活動を継続。

事例№

発生フェーズ

原因フェーズ

1

2

3

4

5

6

運用・保守

設計

7

製造

計画

8

運用・保守

設計

9

設計

設計

10

設計

設計

11

結合・システムテスト

要件定義

12

製造

契約

13

設計

計画、要件定義

14

導入・納品

計画

15

運用・保守

結合・システムテスト

16

運用・保守

運用・保守

17

運用・保守

結合・システムテスト、運用保守

18

結合・システムテスト要件定義、設計

19

運用・保守

設計

ポカヨケ　－ミスを誘発しない手順を、担当者の経験を考慮して文書化する

オペミス撲滅　－　詳細な手順・チェックリスト、ペア作業

密なコミュニケーション　－　顧客満足度の高いシステム構築への鍵

業務精通者のレビューは必須と心得よ

自分で考える －　顧客やプライムSIerの言うことを鵜呑みしない

スコープ増大　－現場当事者では気づかない場合あり。上層部の監視も重要

チェックリスト　－　過去に痛い目にあった経験を共有する手段

遅れ始めたプロジェクトに人を投入しても遅れを拡大させるだけ

品質作りこみのために、暗黙知や職人芸は期待しない

レビューに勝る品質向上策なし

過剰な品質管理は品質劣化を招く

ユーザ検証時の仕様変更は当たり前

過信は怪我の元　①　－　手順書に見えない部分あり

過信は怪我の元　②　－　連携先の怪我も事前手当

過信は怪我の元　③　－　記憶は不確か明記は絶対

過信は怪我の元　④　－　自己満足に陥らない。周囲の意見を大切に

同じ構文でも環境が変われば結果は異なる

機能変更は過去データへの影響を配慮せよ

設計はシンプルに！

タイトル

１６．電子掲示板を活用した情報共有

②行政（自治体）分野

東京都特別区電子計算主管課長会

にて障害情報の共有の意義が理解され、

情報共有を行うこと

が決議

（平成26年11月6日）。会議にて、本取組みに対する必要性・重要性について、「シス

テムの障害は小さなものならば日々発生している」、「委託管理の視点から、情報共有には意

味がある。業者が既知の問題を捉えているかというチェックを行うことができる」、「短時間

でもシステムが止まれば区民を待たせることになる。他区の事例や情報を共有し、リスクを回

避する必要がある」などの意見。

＜仮想的なオンライン情報共有グループ＞世田谷区で試行運用中

新

聞

報

道

よ

り

障

害

情

報

各

区

が

共

有

「

教

訓

」

生

か

し

リ

ス

ク

回

避

（

区

電

算

課

長

会

）

２０１４年１１月１８日

（都政新報社）

１７．メーリングリストを活用した情報共有

③電力分野

電気事業連合会と協議し、情報共有の取

組みに賛同する８組織 を中心にメーリン

グリストを使用した情報共有を行うこと

で合意（平成27年2月19日）。

参加意思表示は８組織。

電力ITの情報共有グループに利用登録された方へお送りしております。 ┏ 電力IT情報共有グループ ━━━━━━━━━━━━━━━━━━━━━━━━ ┃ ☆ 第3号 2015.4.9 ☆ ┗━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 電力ITの情報共有グループご参加のみなさま IPA/SEC 目黒達生 ―――――――――――――――――――――――――――――――――――――― INDEX 【1】2014年下期の報道されたシステム障害 【2】電力分野における過去の類似障害 ―――――――――――――――――――――――――――――――――――――― 当メールでは、独立行政法人情報処理推進機構 技術本部 ソフトウェア高信頼化 センターを「IPA/SEC」と表記します。 ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 【1】2014年後半に報道されたシステム障害 ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ IPA/SECでまとめている、最近報道されたシステム障害(2014年後半（7-12月)) が、SECジャーナル40号に掲載されました。 「情報システムの障害状況 2014年後半データ」（P.44～P.47） http://www.ipa.go.jp/sec/secjournal/index.html#section2 本文では、2014年7月から12月に報道されたシステム障害一覧を掲載していると共に 以下の2点の障害パターンについて解説しています。 ①処理能力を超える大きなトラフィックが突発的に発生・・・報道 2件 ②保守作業に伴って発生した事例・・・・・・・・・・・・・報道 3件

まずは、IPA/SECからの障害共有情報を電力

業界に絡めて編集し、情報提供から実施。

共有の意義を醸成してから、各社からの情

報発信を期待。

18．IPAからのご提案

みなさまと同じ業界分野でグループを作り、そこで教訓集を作成し、類似障害

の撲滅を目指しませんか。

◆メリット

・他社での障害を自社で発生させないことができる。

・教訓化することで、システムの保守・運用のノウハウの継承に役立つ。

・人材育成に役立つ。

IPA/SECが支援いたします。

IPA/SECでは、

定期的に

演習セミナー

を実施しています。

別途、

業界向けセミナー

も行います。

（問合せ）

ソフトウェア高信頼化センター（SEC)

システムＧ