2013-2015 IPA, All Rights Reserved
Information-technology Promotion Agency, Japan
Software Reliability Enhancement Center (SEC)
障害事例の分析に基づく教訓
IT
サー
編
概要
独立行政法人情報処理推進機構
ＩＰＡ
技術本部
ソフト
ア高信頼化センター
ＳＥＣ
バナン ネ ン 領域 教訓 黄色 年度 追加した
教訓一覧
IT
サー
(1/2)
No. 教訓ＩＤ 教訓概要
1 Ｇ
開発 情 部門 け 仕事 各事業部門 自 こ 捉え 態
勢 く こ 大
2 Ｇ 発注者 要件定義 任 持 構築 わ べ
3 Ｇ 運用部門 上流工程 企画 要件定義 開発部門 連携 進 べ
4 Ｇ 運用者 少 気 事象 放置 共有 こ 追求 べ
5 Ｇ サ ビ 拡大期 業 処理量 い 特 入念 予測 実施 べ
6 Ｇ 作業 逸脱 個人 問題 く 組織 問題！
7 Ｇ ク 事業者 利用者 連携 統制 対応体制 整備 べ
8 Ｇ 共同利用 非常時対応 含 利用者間 情報共有 こ
3
G1
：
開発 情
部門 け 仕事
各事業部門 自分 こ
捉え
態勢
く こ
大切
8割 上流 要件定義局面 ー ン・
問題 生 い こ 判明
→ 開発 ネ 役割 責任を明確化 ー ン
質を高 態勢 ー ン・ ー ー制度
ー ン・ ー ー制度：責任 役割分担 東京海上日動火災株式会社 例
デ 開発 情 部門
任 仕事
自分 考え 商品や施策を具体
化 行う自分自身 仕
事 あ いう ー ー
考え方を持
デ事業部門 要件 詳細 固
情 部門 対話を繰
返 責任を持 要件定義
最終責任を負わ
デ事業部門 要件定義
出来 う 受入
を実施 責任を負わ
G2
：発注者 要件定義 責任 持
構築
わ べ
ベンダヸ任
要件定義前
見積 契約
変更
発注者 責任 持
主体的 実施
ベンダヸ 委任契約 発注
要件定義書 変更
様変更書 作成
契約 見直
発注者 責任 持
主体的 実施
ベンダヸ 委任契約 発注
改革前
要件定義
システム 設計・開発
改革後
受入れ テスト
ベンダヸ任
ベンダ担当 発注側担当
開発・運用をIT ン 外部委託 ー 開発案件 増加 伴い任 業務
徐々 拡大 要件定義や受入 等 発注者 役割を果 切 い い
1) 要件定義書 中身 受入 い 責任 発注者
2) 開発 標準を見直 上流 要件定義を押 え 上流工程完璧主義
改 革 前 改 革 後
企 画
ㄥ プロジ クト企画書作成ㄦ
要 件 定義
RFP 作成
※ R FP 詳細化
要 件 定義書 作成 ※
要 件 定義書 詳細化
網 羅 性チ ック
シ ス テムヷ ソフト
要 件 定義
シ ス テムヷ ソフト
方 式 設計
シ ス テムヷ ソフト
実 装 テスト
シ ス テムヷ ソフト
実 装 テスト
企 画
ㄥ プロジ クト企画書作成ㄦ
要件定義書 記述
詳細化を図 記載内
容 網羅性 を徹
底
発注者自 要件定義
設計書 反映 こ
を確認 要件定義書
設計書 を
受 入
ー を上流工程 作成
要 件 定義ㄥㄯㄦ
要 件 確認書 作成
要 件 定義ㄥㄮㄦ
RFP 作成
要 件 定義書 作成
シ ス テムヷソフト
方 式 設計 シ ス テムヷ ソフト
要 件 定義
入 テスト 入 テスト
要件漏 等 上流工程 起因
品質上 問題 著 減少
透明性 増 組
織同士 継続的 信頼関係 向上
5
教訓の概要
Ｇ
G3
：運用部門 上流工程 企画・要件定義
開発部門 連携
進
べ
問題 運用 現場 ー 操作 や入力 ー 多発
原因 運用要件 検討 あ い 軽視 →運用者 要件定義作業 参加 い いこ
や 参加 い 運用要件 十分 取 込 こ 起因
対策 企画・要件定義作業 い 運用者 視点 要件を確認 下表
こ を参考 対象 合わ 役割分担表 表現
開始前 関係者 ー 合意 適用
ㄯㄭㄮㄱ 度 追 教訓
参考ㄷ 運用者 企画ヷ要件定義工程 確認 項目 例
No 工 程
類 項目 全体 確認 項目 運用者 確認 項目
1
企 画
起案
■経営戦略 見据え シ ステム構築及びシステム 構築 目的ヷ目標 明確 化
経営戦略 現化 情報ㄥシステムㄦ戦略 現化 システム化 目的ヷ方針
納期ㄥスケジュヸルㄦ システム利用期間 ラ フサ クル概要計画
要件 把握
納期ㄥスケジュヸルㄦ 確認
システム ラ フサ クルㄥ更新間隔ㄦ確認 経営戦略 理解
情報ㄥシステムㄦ戦略 理解
2 現状 析
■システムㄥ業務ㄦ 現状 析 問題点ヷ課題 抽 出 析
運用状況 問題点ヷ課題 最新 システム動向 術動向 析
構築ノ ハ 提供 現状課題 提供
最新 術動向ヷトレンド等 情報 析提供 運用状況 報告
2-2 企画立案 ■新システム 企画立案
全社目標 体系化 施策 定義 情報システム要件 システム化 企画立案
運用改善 見 新システム要件 提案
3 投資対効果
■システム構築 投資対効果 明確化
投資対効果 コスト計画 立案
運用要件者側 必要 費用 見積作成
教訓の概要
Ｇ
G4
：運用者
少
気
事象 放置
共有
こ
追求 べ
問題 運用者及び保守者 夜間作業中 異常を誤認 ン ン ー 開始 遅
数時間停止
原因 運用担当者 察知 異常を 保守担当者 異常 誤認．運用部門責任者 十
分 確認 報告 問題 判断 ＣＩＯ 報告を怠 ．
運用担当者 確 異常状況 気 い い 運用 通 作業 気
を運用部門 責任者等 伝え ．
対策 運用担当者 現場 異常を察
知 状況判断
運用部門 社員 情報を連絡
協議 態勢を作 こ を
運用 明記．
障害対応体制面 改善・強化：
・事象 障害 断定 い場合
障害 可能性 あ 場合 早期 上
位役職者 報告 ー 追加作成
・状況判断 運用部門社員 24時間
常駐
確認手順及び項目 明確 定義 教育・訓練
ㄯㄭㄮㄱ 度 追 教訓
運用子会社 保 ン
運用部門
CIO
害連絡
調査対応 結果報告 報告
害診断ツヸル
診断レポヸト 内容
電話 電子メヸル 保守ベンダ 報告
診断レポヸト 誤認
ㄩ 替え 成 い 回答 業務 影響 い
判断 ㄩ 害対応 完了
7
教訓の概要
Ｇ
G5
：サービ
拡大期
業務 処理量
い 特 入念 予測 実施 べ
問題 共同利用 稼働開始 年後 利用増大傾向 中 負荷集中 ン
原因 共同利用各社 処理件数予測 不十分 あ ン 任 DB ー 内
ソ ー ・ 発現
対策 ・利用各社
運営協議会
設置 ・
ン を
含 共同利
用各社 責任
明確化
・ ン 契
約 運営協議 会 決
項目を明記
ㄯㄭㄮㄱ 度 追 教訓
ン ン Ｐ 受付処理 バ AP起動
バ 型 ン ン Ｐ Ｄ 抽出(SQL)
計算 一覧表編集 一覧表出力 一覧表
ク
ン 画面
Ｐ バ Ｄ バ
Ｄ 検索 検索条件 従 い 該当
をＤ ン ン 探索
抽出 デヸタ
Table SQL
ン ン Ｐ
Ｄ 参照 更新
ク
(通常
ン ン業務
(バ 型
ン ン業務
Ｄ 参照 更新
Table SQL
ン 画面
長時間SQL処理 ⇒タ ム ト多発
流 量 制 御
教訓の概要
Ｇ
G6
：作業
ー 逸脱
個人 問題
く 組織 問題！
問題 運用作業者 ー 全 ー ー を削除
原因 不慣 運用作業者 新人 独断 運用規定外 手段 管理 ー を介
い ー 直接 誤操作 ー 逸脱
繁忙 環境下 迅速 処理 求 状況 各 ン 互い 作業 追わ
連携 ，不慣 作業者 多忙 熟練者 聞 こ ，自分 業
務を遅 原因 い い いう ー ， ー 逸脱
対策 組織的 総合対策：
・作業を受 場合
を考慮 受
諾 判断基準作成
・複数名体制 作業
実施等 ー を逸
脱 い作業規定
作成
・普段 ー 内
ー ン
ㄯㄭㄮㄱ 度 追 教訓
運用 ー 内
9
教訓の概要
Ｇ
G7
：ク
事業者 利用者 連携
統制
対応体制 整備 べ
問題 ー 移行 通信機器 障害 発生 単 負荷分
散装置 障害 関わ 丸 日間業務 停止
原因 運用時 管理体制 決 い
対策 体制 整備： ・障害対応体制
報告，連絡，相
談 明確化
・契約
ー 定
義 責任分界点 明確化
・ 事業者
関連 ー ー 業者間
障害対応体制 確立 適確 連 携体制
ㄯㄭㄮㄱ 度 追 教訓
世田谷区画
他区画 他区画
利 用 者 向 け 端 A社 外 部 セ ン B社
負荷 散装置(C社製品 仮想化 バ群 仮想化
A社 区画
D社 区画 他区画
L2SW
A社 業務 論理 バ
情報DB
情報DB
情報DB
障害時バ ク A社
稼働系
待機系
D社 業務 論理 バ
A社 今回 害 発生 サヸビス ユヸザ
B社 クラ ドサヸビス 提供 ベンダ
C社 B社 採用 負荷 散装置 ベンダ
D社 サヸビス 共同利用ユヸザ 今回
害 影響
技術領域 教訓 黄色 年度 追加した
教訓一覧
IT
サー
(2/2)
No. 教訓ＩＤ 教訓概要
10 Ｔ
サ ビ 優先 い 疑わ 構成要素 積極的
離 ソ 考え方
11 Ｔ 蟻 目 け く 全体 瞰 鳥 目 総合的 対策 行うべ
12 Ｔ 現場 く知 現場 知識 集約 現場 動 ュ う べ
13 Ｔ 全体 影響 変化点 明確 そ 管理 策定
14 Ｔ サ ビ 視点 変更管理 仕組み作 品質管理 任 明確化 ！
15 Ｔ 環境 本番環境 差異 体系的 整理 障害 ク対策 練
16 Ｔ ックアッ 替え 失敗 場合 考慮 べ
17 Ｔ 仮想サ ソ 管理 性能監視 運用要件 要 あ
18 Ｔ 検証 万全？そ 障害 起こ 回避策 準備 くこ
19 Ｔ ッ ュ構成 範 可用性 確保 障害 波及 ク ン 案 決定
20 Ｔ サイ ン 障害 検知 適 サ ビ 監視 重要
21 Ｔ 新製品 旧製品 同一仕様 言わ 必 差異 確認！
22 Ｔ 利用者 観点 立 業 オ 則 ビュ 重要
23 Ｔ Ｗｅｂ 更新時 応答速度 変化等 性能面 ック 忘
24 Ｔ 緊急時こそ 一 性 確保 う注意 べ
25 Ｔ 構成機器 正 ッ 情報 収集 頻繁 行い 緊急性 応 計画的 対応 べ
26 Ｔ 長時間連 運転 不 定動作発生 回避 定期的 再起動 有効！
27 Ｔ
新 サ 老朽化 既存 連携 場合 両者 仕様整合性 十 確
11
T1
：サービ
継続 優先
い
疑わ
構成要素 積極的
切 離
“
ー ソ
ナ 考え方
待機
ﾉｰﾄﾞB
ㄮㄦ自身 ヘルスチ ック 場合
異常 通知
停 コマンド 離
現用 ﾉｰﾄﾞA
待機
ﾉｰﾄﾞB ㄯㄦ 系 ヘルスチ ック 場合
ヘルスチ ック
停 コマンド 離
現用
ﾉｰﾄﾞA
待機 ﾉｰﾄﾞB
ㄦ自動停 い場合 手動 停 離
現用 ﾉｰﾄﾞA
業務内容 基 い 毎 ーを作
成 上 ー ソ 考え方を適用
ー 機器 故障 ソ 処理
異常等 あ 場合 部位を積
極的 停止 こ 切 離
場合 系全体を放棄 い 考
え方 処理・対応
一方 う 状況下 一部 部位や系を
切 離 全体
ー 継続 う ー ソ
考え方 基 い 設計・運用
いう 機器やソ 動作
継続を優先 う 予期 障害 場
合 ー 影響 え 大
う場合 あ ー 継続を優先
積極的 関連 部分を 切 離 方 良い場合 多い あ
T2
：蟻 目 け
く
全体 俯瞰
鳥 目 総合的 対策 行うべ ！
制御系 下位 あ 制御装置 稼働系 故障 発生
自動的 待機系 切 替わ こ 切 替わ
上位 監視端末 指示 系切替えを実施 失敗
障害 下位 起 場合 障害を
起こ 下位 対策を考え
あ 蟻 目 下位 対
策 全体 視
点 鳥 目 上位 対策を活用
こ 安定稼働
保
13
T3
：現場
く知
現場 知識 集約
現場 動
ュ ー
う
べ ！
A列車 折返し出
駅を出 した
わ 制御
信号 出 け
A列車
B列車 進路を構成
駅
B列車
特定 ー 制御信号 正 出力 列車 停止
原因 有識者 ン社員を含 以下 機能確認を行 洗い出
い い機能 存在 機能要件漏
原因 列車 動 動作 を総合的 環境 組込
ソ を持 制御 列車 動作 全 行え
環境 い い
A列車 制御信号
出 け い た B
列車へ 制御信号
出 った
原因 い 一度設計
機器 動 列車 運転
ーンを知識 ー ー 蓄
積 こ 追加登録 い
原因 い 制御系
ー ン・ 開
発を行う 現実 制御装置
を分 や 可視化
骨子を見極
化 ン
T4
：
全体 影響
変化点 明確
そ 管理 ー
策定
！
現在時刻
予測ダ ヤ
抑 入力
修 箇所
修 生
予測 表示
く った
実績ダ ヤ
修 箇所
限値を超過
現在時刻
表示項目数 上限値を超え 全画面表示 消え， ー 混乱
↳ 構築当初 決 い 上限値 い 外部仕様変更 伴う見直 を未実施
原因 本質 全体 影響 変化点 こ 場合 予測時間 列車運転本数 不明確
原因 予測時間を4H⇒24H 変更 際
う 要件変更 あ わ
修正箇所数 上限値 増加
全体 機能要件変更を未実施
原因 列車 本数 年々増加 本来
運転本数 増加 都度 上限値を超
え 際 挙動を見直 必要 あ
わ 未実施
対策 制御系 変化点 管理 ー を明確
ー を守 仕組 を構築
・ 監視・制御 対象 仕様 変化点を網羅
・変化点管理 ー を守 仕組 を構築
・変化点管理 使用 管理指標を関係部門 共有
変化点 見落 を防止
15
障害
T5
：サービ
視点
変更管理
仕組み作
品質管理責任
明確化 ！
サ ヸ ビス 視点 変更管理 品 質 管理責任
デヸタ整合性 プログラム整合性 テスト 様整合性 情シス部門 テスト 様作 成ヷ実施→業務部門 参
業務部門 情シス部門 テスト 様作成ヷ実施
顧客 ﾃﾞｰﾀﾍﾞｰｽ
使用料 調整単価
請求予定
本 店 ホスト/サーバ 事 業 所サーバ
請求予定
営業HT
請求書作成
配 信 Ｐ
Ｔ 送 信 Ｐ
Ｔ ・ Ｐ ホ
ス ト Ｐ
営業HT
要件定義 設計ヷ開発 入 テスト
本店 ／ ー 請求 ー を端末 転送 請求書を印刷 い
端末 営業員 持 歩 HT ン ・ ー を新規 導入 こ
出力 請求書 金額 誤 顧客 渡 い 個別謝罪・
請求書 再発行 追わ ．
新 要件追加
使用方法 変更 あ 今
正常 稼働 い
突如障害 追加
未使用・未確認 使
わ ，不具合 顕在化
変更 あ 時 全体
ー
仕様 整合性を保 変更
管理を確実 実施
全体 整合性を確認
人を決 品質管理責任を明
確 開発 ー 毎 検証
を実施
T6
：
環境 本番環境 差異 体系的 整理
障害
ク対策 練
本番環境
環境 番環境
機 能 要 件
AP
異 項目
非 機 能 要 件
HW
異 項目
OS
異 項目
ｳ
異 項目
量 質
異 項目
性能
異 項目
NW
異 項目
環境差異 析
環境 番環境 環境差異を洗い出
項目 ク対策/ ン ン
ン ン
1
2
3
4
環境 検証
出来 い項目を
抜 出
環境 検証
環境
検証 い
ク対策/ ン
ン ン ンを
作成 者 検討
環境 検証 い
環境 検証 い
環境 検証 い
環境 検証 い
環境 検証 い
環境 検証 い
環境 検証
環境 検証
環境 検証
環境 検証
環境 検証
環境 検証
大 いリスク 経営トップ 判断
者 検討結果 経営トッ プ 製品ベンダ等 ステヸクホルダ 共
テスト環境
環境 本番環境 相違 あ 環境 う い ソ ー
あ 本番環境 障害 発生
環境 本番
環境 差異分析
環境 確認 い項目 機
能 対 関係者
分析
分析結果を
基 ン ン
ン ー ン
を作成 本番環境
を ー
共有
大 い 経
営 判断
17
T7
： ックアッ 切替え 失敗
場合 考慮 べ
冗長構成を取 い 関わ 切替え 失敗 障害
ー 多い 下図 示 失敗原因 あ 配慮
開発・運用を行うこ 過去 発生 障害 類似 障害 発生を防 こ
稼働系 待機系/
分散稼働
現用
予備
電源装置 (現用) 電源装置
(予備)
ネッ
ワー (5)手動切替え失敗
操作 (9) 保守作業切替え失敗 (7) 待機系稼働系 同一原因障害
(11)電源装置 自動切替え 失敗
ネッ
ワー ータ
ータ
(10) ネ ワー
自動切替え 失敗 ハヸド
プリケヸション
OS等
ハヸド
プリケヸション
OS等
(8) 切替え後動作不安定 ー 不正
(4)切替え失敗
切替えソ 不具合
(1 稼動系 障害未検知
(2)待機系 障害 構成不備
(3)待機系 障害 ー ン不備
(6)切替え後動作不安定 性能不足
教訓の概要
Ｔ
T8
：仮想サー
ソー 管理 性能監視 運用 要 あ
問題 ー ー 数時間停止
原因 直接原因 ，運用担当者 ー 割 当 ．根本原因 ，仮想 ー 環境
運用要件 未整理． ソー 管理，性能監視 不十分 復旧時 対応方法
十分 把握 ．
対策 ・物理 ー を稼働
ー 移行 際
ソー 管理 性能
監視 策定
・仮想化 ー
ー 増大 見積
徹底 ・障害対応
等 整備 ，要員 教育・訓練
ㄯㄭㄮㄱ 度 追 教訓
＜経緯 ＞
バ
バ
3
バ
5
バ
X
突然 論理ﾎ
#1 ソ 空 無く 状態 生 仮 想 バ 停 状態
不要 仮 想 バを 削除
＜経緯 ＞ ＜経緯 ＞
さ 不要 バ 削除 ナ ョ
世代数を削減 し 空 を確保
常 向 う 一時的 空
確保 た 大量 ナ
ョ 生し たた た ソ を圧迫
ﾌ 空
空
共有
論理ﾎ #1
共有
共有
論理ﾎ #1 論理ﾎ #1
ﾌ
ﾌ バ
2
バ
4
バ
6
＜経緯 ＞
バ
バ
3
バ
5
バ
2
バ
4
バ
6
バ
バ
3
バ
2
バ
4 バ
5
バ
6
バ
X
論理ﾎ #2
削除した バを論 理ﾎ #2
19
教訓の概要
Ｔ
T9
：検証 万全？そ
障害 起こ
回避策 準備
くこ
問題 2設備間 通信障害発生時 片方 設備上 不具合 発現 動作を停
止 こ を検知 同設備上 振分制御 他 切 替え う
う い 処理待 ー ー ー 同設備 ー
原因 当該通信障害 ー 稀有 を検証 ， 検収時点
調達側 供給側 当該 ー 存在を認識 い ．
対策 ・ 前 ー ー ー い う， を拡大
・ ー 復旧 作業手順を整備
セ
#1
セ
#2
バ #1
バ #2
振 制御
&
バ 設備 2 設備 1
ク
セ 不
具合
検出 通信障害 生
TCP 一方
途絶
セ #2へ 替え
バ
バ
生し 設備1 さ た
ㄯㄭㄮㄱ 度 追 教訓
・対象
重要性 応
検証 費や こ 時間 労力 制約
常 不具
合 潜在 い
前提 立
業務 継続 性を確保 こ
教訓の概要
Ｔ
T10
： ッ ュ構成 範囲
可用性 確保
障害 波及
ク
ン
勘案
決定
問題 各 ー 4 NAS 接続 構成 い あ 1
台 NAS 故障 起因 全 ー ン
原因 NAS制御 ー 不
具合 故障 NAS
切 離 失敗 こ 局所
的 障害 構
成 全体 波及 根
本 構成
い 検討不足
対策 構成を見直 1
ー 2 NAS
を接続 ー ン 化
図 赤色 接続 併
ン ン 振分
論理 変更 可用性
担保 迂回時 性能劣
化防止用 BCP設備を増強
設備 2
バ
#1
バ
#2
バ
#3 バ #4 ‥‥‥
設備 1
NAS #21 NAS #22 NAS #12 NAS #11 NAS #31 NAS #32 NAS #41 NAS #42
NAS #32 離し
NAS #31へ 替え
完了
NAS #32 障
害 生 全 バ NAS
#31 ン ン 状態
認識さ た
そ 時間 経
過し 全 バ
ンした
21
教訓の概要
Ｔ
T11
：サイ ン 障害 検知
適切 サービ 監視 重要
問題 Web ー ン 障害 明示的 障害 検出 い い わ
性能 劣化 発生 外部 指摘 あ 発見 利用者 長時間
わ 応答作度低下 影響を受
原因 直接 負荷分散装置 ー 不具合 原因 発見 遅
ー 監視 条件設定 最適 ー 監視 一定
回数連続 廃棄 場合 ー を発 う設定 い 今回 閾
値を超え 至 ー 監視 通知
対策 負荷分散装置 ー
を更新 ー
監視 条件を変更
ー 監視等 基本的 取組
を実践 上 早
期発見 対処を望 場合
早期障害検知・分析 技
術・製品 SNS上 ぶや 監
視 ン ン 分析 ー 分析 等 用い
う い
ビ 監視
‥‥‥
負荷 散
装置 ク
バ バ バ
バ バ
バ
負荷 散装置
い セ ョン
数 バ
ク 破棄 再
送 生 応答速
度 低 した
ビ 監視
通知
く 性能
低 した状態
いた
教訓の概要
Ｔ
T12
：新製品
旧製品 同一仕様 言わ
必 差異 確認！
問題 2重化 制御系 い 部品交換 保守作業時 全体 動
作 停止 短時間 復旧 ー 利用者 終日影響を受
原因 装置 数年前 ，当初構築時 HDD SSD 交換 い
部品交換作業 A系を切 離 時 B系OS 両系 装置
要求 発 SSD 要求処理時間 HDD 長
，OS 監視 い 発生 後 処理 う
い
対策 ・仕様上 互換性を過信
差異分析を必 実施
・ ン ー 双方
相手 役割分担を支
援 合う ー 側
ー 分析を行う
ㄯㄭㄮㄱ 度 追 教訓
SSD 交換時 HDD 完全 互換性 あ
誤認 検証・
23
教訓の概要
Ｔ
T13
：利用者 観点 立
業務
オ 即
ビュー
重要
問題 ン 申込 ー い こ を 追加 Web経由 申込
を可能 ー い 特定 時間帯 限 Web ー
申込 全 不備 登録 顧客 連絡 判明
原因 ン/Web経由 2系統 ー 申込 を処理 い 各系
統 処理間 ー 連携 誤 あ 根本原因 全体設計 個別
設計 正 引継 こ 業務 即 確認 行わ
設計後 ー 発見 対応 行わ こ
対策 処理 を正
修正
要件定義・設
計段階 ー
ー等 関
係者相互 確認 利用 者 観点 立
業務
即 検証を行う
う
業務系- ビ J
Web- ビ J窓口
適格確認情報
+ ビ 申込
情報作成
セ
適格確認 済
適格確
認済?
適格確認情報 連携 さ いた Web 適格確認済 あっ 全件NG
(窓口 )
(Web 連携)
18:45～19:00 間
適格確認情報 業務 系 連携さ い
ビ 申込情
報 連携
Yes
No
No
Yes
適格 確認済?
ビ 録
適格確認情報 +
ビ 申込情
報作成
当初 設計
Web 作成さ た情
報 業務系 適格 確認済 クを行わ
い
18:45～19:00 間 問題 く処理
教訓の概要
Ｔ
T14
：
Web
ペー 更新時
応答速度 変化 性能面 チ ック 忘
問題 Web 上 あ ー ー を 応答 長時間を要
目的 ー 接続 い ー 多発
原因 業務部門 ー ン ン を更新 結果 1顧客当 ン ー
4倍 応答速度 影響を確認 い ー
業務部門 ン ー 応答性能 関連を意識 関 IT部
門 技術的 確認 ー 化 い
対策 業務部門 Web ー ン ン を更新 際 IT部門 技術的 観点 確認
を行うこ を手順書 明記 IT部門 必要 判断 場合 業務部門
対 ー 中止を指示 う ー を改
業務系
Web
‥‥‥ ‥‥‥
ビ J窓口 ビ J
をク クし
ビ J 接 い
Web ン
ン を更新
ㄯㄭㄮㄱ 度 追 教訓
次 直接的対策 実施： - 当該 ー
を高速ネ ワー
ー 経由 変更
- ン ン 変更量 自動
機能を導入 最新
25
教訓の概要
Ｔ
T15
：緊急時こそ
ータ 一貫性 確保
う注意 べ
問題 毎月末 顧客 判定 処理を あ 作成 い 顧客 ー
ーを用い 行う運用 い あ 時 緊急 要請
を修正 対応 こ あ 後 ン ン処理 い 誤
顧客 適用
原因 緊急対応後 顧客 判定用 ー 再作成を行わ
ー 不整合 発生 い 関わ 判
定処理を行
対策 緊急時対応 影 響範囲を見極
対応結果 平 常時
運用 流 確
実 繰 込
う 特 意
識 う周知
作業 ー ・手 順書を明確化
顧客
( ン ン) 判定
ク修
修 不備
判明
顧客
( ン ン)
判定 適用
顧客
(バ 入力用)
顧客
( ン ン)
(修 後)
作成
更新 判
定 ク
を修
作成済 バ
入力利用
を修 再作成し
った
そ
更新処理を行った
た 誤った顧客
適用さ
た
緊急作業 し
顧客 不備
を修
教訓の概要
Ｔ
T16
：
構成機器 修正 ッチ情報 収集 頻繁 行い
緊急性 応
計画的 対応 べ
問題 通信機器 負荷分散装置 障害 発生 丸 日間業務 停止
原因 構築・保守 ン 外部 ー 調達 負荷分散装置 ー
既知 不具合 直接 原因 あ 修正 1 月前 公表 い
ン 修正情報 収集間隔 月 回程度 非常 粗 設定
い 適用 間 合わ ー ー 技術情報 時々
公表 い こ を認識 い
対策 ・技術情報 確認
を3 月 1回
週間 回 変更
・ ー ー ン
適用基準 協議
ㄯㄭㄮㄱ 度 追 教訓
ヸナヸ
構築ヷ保守 ベンダ
機器 メヸ 術情報
収集サ クル 修 パッチ
27
教訓の概要
Ｔ
T17
：長時間連続運転
不安定動作発生 回避
定期的 再起動 有効！
問題 稼働開始以来8 月以上連続運転 通信機器 障害 発生 丸
日間業務 停止
原因 直接 原因 あ 資源を時間 経過 消費 続 い
う負荷分散装置 ー 不具合 装置を定期的 再起動を い 顕
在化
対策 再起動
を検討 毎月 定
期保守日 状況を見 再
起動 こ を決定
ネ ワー 機器
い 定期的 再起動
こ 長時間連
続運転 不具合 顕
在化 回避 こ
経験的 知 い
ㄯㄭㄮㄱ 度 追 教訓
連 運転ㄥㄵ ㄦ
サヸビス開始
教訓の概要
Ｔ
T18
：新
サ
老朽化
既存
連携
場合
両者 仕様整合性 十分確認 べ
問題 特別 事象を契機 ン ン 大量 入力 集中 連携 処理
ー ー ー 後 対応 誤 10日間程度 ン ン ー 停止等
原因 携帯電話 対応 新 い 既存 を接続 際 全体整合を十
分 携帯電話 ー 的 ー 要求 無制限 受
付 後続 連携 夜間 処理能力 制限値を
超え 異常終了 結果 膨大 作業 発生 処理失念や誤処理 多
数 副次的障害 発生
対策 ・既存 要件定
義内容を再度
連携
間 整合性を確認 こ を ー 化
反映
・ 異常終了
途中 再開始可 能 仕組 導入
29
技術領域教訓の運用プロセ
へのマッ
ン
教 訓 ㅆㅁ
ㅇㅆＳ Ｑ20000-1ㄷ2012 ㄥ●主 問題個所 関連 問題個所ㄦ
ㄲㄫ新規 サヸビス 変更 設計 及び移行
ㄳㄫサヸビス提供プロセス ㄴㄫ関係プロセス ㄵㄫ解決プロセス ㄶㄫ統合的制御プロセス サヸビス
レベル管 理
サヸビス ヷ可 用性管理
サヸビス 報告
容 ヷ能 力管理
情報セ キュリテ
管理
事業関係 管理
供給者管 理
ンシデ ント管理
問題管理 構成管 理
変更管 理
リリヸス 管理
T1 ●
T2 ●
T3 ●
T4 ●
T5 ●
T6 ●
T7 ●
T8 ●
T9 ●
T10 ●
T11 ●
T12 ●
T13 ●
T14 ●
T15 ●
T16 ●
T17 ●
終わ
ㄥ
害事例
析
基
教訓
31 ＜出 ＞
開発 運用 連携深 間159件 害 数件 , IT Pro Active, 2013/05/09.
http://itpro.nikkeibp.co.jp/article/Active/20130404/468783/
参考
事例
運用メンバの開発プロ
ェ
参画によ
効果
運用方法
改善
ㄩ
2001
害件数
ㄩ
159
件→
34
件
/
減少
ㄩ
運用設計
不備
トラブル
防
いㄫ
トラブル例ㄷサヸバヸ
CPU
やメモリヸリソヸス
枯渇
ㄩプロセス
停
ㄫ
稼働開始当初
リソヸス
余裕
あ
ㄩデヸタ
増え
見越
設計
ㄩ稼働
う
リソヸス
不足ㄫ
開発プロセス
運用設計
組
込
ㄩ運用要件
満
設計
い
運用
部門
目
確
プロセス
変更ㄫ
→
2003
害件数
ㄩ
34
件→
6
件
/
減少
当初
不評
開発部門
ㄩ
害対応
時間
実
感
ㄩ次第
ㄩ運用設計
要
理解ㄫ
2010
ㄩクラ
ド
契機
ㄩプロジ
クト
チヸム編成
変えㄩ
運用部門
メンバ
開
発プロジ
クト
参画
ㄩランニングコスト
見据えㄩ非機能面
設計
担当ㄫ
＜出 ＞
ヷ防災チ ックそ 54: ICS 問わ 山手線 支柱倒壊トラブル, リスク対策.com, 2013/04/17.
ヷ時論公論ㄷ 山手線支柱倒壊 防 , NHK, 2015/4/24.
参考
事例
山手線
支柱倒壊トラブル
類似性
(1/2)
危機対応
統一化
ルヸル
あ
ICS
ㄥ
Incident Command System
ㄦ
観点
ㄩ
2015
4
12
日
起
JR
山手線
架線支柱
倒壊トラブル
い
考え
ㄫ
ㄥ
ㄩトラブル
直接原因ㄷ支柱
倒壊
起
術的
理
触
いㄫㄦ
倒壊
然
防
機会
何度
あ
ㄩい
生
ㄫ
注目点ㄮㄷ倒壊
2
日前
工事担当者
傾
把握
ㄩそ
情報
指
室
伝わ
ㄥ
司
報告
13
日
(
)
対策
いい
判断ㄦ
注目点ㄯㄷ前日夜
運転士
傾
気付い
報告
ㄩ電車
運行担当部署
伝わ
ㄩ連絡
時間
等
ㄩ翌日
始発前
点検
行わ
注目点ㄷメンテナンス担当者
3
人
当日
始発電車
乗
込
調
後ㄩ現場
歩
ㄩ電車
走
中
状況
確認
ㄩ
傾
大
い
感
ㄩ直
報告
そ
現場
離
ㄩ間
支柱
倒壊
＜
ICS
原則＞
ヷ危機対応
直結
う
要
情報
洗い出
情報マネジメント
ヷ洗い出
要
情報
危機対応
目的
応
必要
部門ㄥ担当者ㄦ間
33 ＜出 ＞
ヷ防災チ ックそ 54: ICS 問わ 山手線 支柱倒壊トラブル, リスク対策.com, 2013/04/17.
ヷ時論公論ㄷ 山手線支柱倒壊 防 , NHK, 2015/4/24.
参考
事例
山手線
支柱倒壊トラブル
類似性
(2/2)
＜検証
事項＞
ヷ工事担当者
支柱
傾い
い
いう情報
危機
得
認識
う
ヷそ
情報
運行
係
担当者間
共
過程
ㄥ
え
ㄩ
う
起
ㄩ
う
範
情報共
ㄩそ
基
準
明確
い
う
ㄦ
情報マネジメント
ㄩ理屈
や
い
ㄩ
い
現場
立
ㄩ
自
大丈
程度
大
い
等ㄩ
根拠
常性バ
ス
働
ㄩ
危険情報
い
い見逃
い
ㄫ
トラブル
ㄩ
う
危機
特性
ㄩ現場
端
理解
ㄩ
時
組
要性
示
ㄫ
A
B
A
B
構築当初
基
サブシステム
後
追
サブシステム
実 通 い論理
/起動 い処理
不 合 不 合
新規追 サブシステム 動作
通 得 論理/起動 得 処理
新規サー
追加のため
害発生
参考
35
構築当初
基
サブシステム
後 追 サブシステム
新規追 サブシステム 動作
当初想定 前提/条件 異 状況
新規サー 追加のため
害発生
参考
新規サー
追加によ
潜在不具合が顕在化
(2/2)
A
B
A
B
想定 前提/条件
意 通 動作
想定 い い
前提/条件 ㄩ
意 い動作
＜出 ＞
氏ㄥ株式会社ジャステックㄦ 調査検討資料
参考
37
＜出 ＞
氏ㄥ株式会社ジャステックㄦ 調査検討資料
参考
＜出 ＞
氏ㄥ株式会社ジャステックㄦ 調査検討資料
参考
39
顧客 及び他
利害関係者
ビ
要求事項
ビ ネ ン Ｓ Ｍ Ｓ
経営者 責任 他 関係者 運用
セ バナン
SMSを確立
文書 運用管理
資源 運用管理
新 規 ビ 又 ビ 変 更
設 計 及 び 移 行
顧客 及び他
利害関係者
ビ
ビ 提供 セ
ビ 管理
ビ 報告
統合的制御 セ
構成管理
変更管理
及び展開管理
容量 能力管理
ビ 及び
可用性管理
解決 セ
ン ン 及び
ビ 要求管理
問題管理
関係 セ
事業関係管理
供給者管理
情報セ 管理
ビ 予算業務
及び会計業務
(JIS Q 20000-1:2012 より引用）
