2017年11月16日
会津大学 名誉教授
IPA/SEC IoTシステム安全性向上技術WG主査
兼本 茂
複雑システムの安全設計への
パラダイムシフト
～システム理論に基づく新しい安全解析法STAMP/STPAの実践～
これからの複雑システムとは？
これからの複雑システムとは？
人
→人間・機械協調制御システムがますます高度化し、さらに、
日常生活にも入り込む
→ 想定外の使い方をされうるし、複雑なソフトウェア制御を
使わざるを得ない
複雑ソフトウェア
→
・・・
いま出現しつつある従来経験のない新たなソフトウェア・・・・
(1)動作条件（環境）が多様過ぎて、事前に完全な検証ができない
ソフトウェア
(2)動作アルゴリズムが暗黙的で説明できないソフトウェア～AI
(3)長期の運用期間中に動作環境の変化や新規参入者が入り
メンテナンスが必要なソフトウェア～IoT
自動運転車、生活支援ロボット、列車、航空機、船舶・・
複雑システムの安全設計とは？
従来の安全設計法（FTA、FMEA、HAZOPなど）は、
故障の明示化と故障率の最小化をめざして、安全
目標を要素に分解して設計する
信頼性工学的手
法
に基づいている
しかし、複雑システムの事故は、
要素間の連係ミ
ス
（コミュニケーションエラー）により起こされること
がほとんどであり、
還元論
に基づく従来の信頼性
工学的手法だけでは対応できない
複雑システムの事故を防ぐ安全設計の
パラダイム
シフト
が必要（N.G.Leveson)
複雑システムの安全設計のパラダイムシフトとは?
～還元主義から創発主義へ～
人間の心は、抽象化と階層化によって複雑さを理
解(Manage)する（N.G.Leveson）
複雑システムのSafetyやSecurityは
創発的特性
を持っている・・で
も、具体的にどう対処する？
システムズエンジニアリング：システム開発を抽象化した全体像
から具体化する考え方だが、簡単ではない。（片山東工大名誉教
授Sec journal対談）
一方で、設計は具象化である・・・神は細部に宿る
（還元主義）
モノを作り始めるとそこに貼りついてしまって全体が見えなくなる（
片山名誉教授）
複雑システムの安全設計のパラダイムシフトとは?
～還元主義と創発主義の調和～
人間の心は、抽象化と階層化によって複雑さを理解
(Manage)する・・N.G.Leveson
概念設計段階で、抽象化・階層化したモデルに基づいた
安全設計法の提案（STAMP/STPA)
相補的・調和した概念にすべき
一方で、設計は具象化である・・「神は細部に宿る」、
しかし、同時に「
悪魔も細部に宿る
」
安全目標を要素に分解して設計する信頼性工学・還元主
義的手法だけでは、これからの複雑システムには対応で
背景 安全設計の進化
Safety 0.0 （人の注意力で安全を確保）
Safety 1.0~1.X （機械技術、コンピュータで安全を確保）
人に危害が及ぶのを防ぐために、人を危険源から遠ざける(隔離の
原則)
人が危険源に近づく際に動作を止める（停止の原則／制御安全・機
能安全）
Safety 2.0 （人・モノ・環境が協調しながら安全を確保）
IoT、AI制御の時代で、止める安全から
止めない安全
へ
（人と機械の関
係を、従来の画一的なものから、人の能力・周囲の状況に応じた柔軟な安全手段に
する）
背景 安全設計の進化
Safety 0.0 （人の注意力で安全を確保）
Safety 1.0~1.X （機械技術、コンピュータで安全を確保）
人に危害が及ぶのを防ぐために、人を危険源から遠ざける（隔離
の原則）
人が危険源に近づく際に動作を止める（停止の原則／制御安全
・機能安全）
Safety 2.0 （人・モノ・環境が協調しながら安全を確保）
IoT、AI制御の時代で、止める安全から止めない安全へ
IEC61508/ISO26262
→厳密なコーディングガイド、 AIの排除
→人間・機械協調制御は対象外
緩和制御（危険な状況になる前に状態を緩和する）
運転支援（自動ブレーキなどの支援で最後の責任は運転員）
→いずれも、従来の安全系の範疇からはずれる。では、どのような
安全設計が必要になるのか？
IPA/SEC
製品・制御システム高信頼化部会 2017年体制
「重要インフラ分野のシステム 障害への対策」事業 重要インフラITサー ビス高信頼化部会 製品・制御システム 高信頼化部会 未然防止知識 WG IoTシステム安全性向上技術WG 主査 兼本 茂 主査 久住 憲嗣 高信頼性定量化 部会 主査 内平 直志 製品・制御システ ム定量データ収 集・分析WG ・・ (連携) 主査 三原 幸博 「定量管理データ活用による 高信頼化」事業≪組込みシステム分野の活動（太枠）≫
旧来のコンポーネント故障の解析を越えて、
複雑なソフトウェアや人間の役割まで扱える
新しいハザード解析とリスク評価法を提供する
ヒューマンエラーを事故の直接原因として責任追及をするので
はなく、ヒューマンエラーを作り出すメカニズム（行動形成要因）
に焦点を当てる
運転員、管理者、規制などの様々な視点から、事故に至るプロ
セスの欠陥を分析する。
事故に至る直接的なイベント（事象）や条件だけでなく、時間の
経過とともに起こる変化や適応の履歴に着目して、事故原因を
追求する
Engineering a safer world by Nancy Leveson(MIT)
～次世代の安全工学の目指すもの～
Sec-Seminar(2015.6.18) Lecture by Nancy Leveson
IoT時代の環境変化と新しい安全解析法 STAMP
現状の安全分析ツールは、40-65年も昔に開発されたものであり、現代の新しい技
術の入った複雑な工学システムの安全分析には限界がある
ー>ＳＴＡＭＰの登場
1940 1950 1960 1970 1980 1990 2000 2010 2020
FMEA FTA ETA HAZOP CCA FTA+ETA
コンピュータ制御の導入
複雑さの指数的増大
インターネットの普及
システムの複合化・オープン化
人との共存・協調制御
IoT・AIの導入
コンポーネント故
障が事故を引き起
こす
コンポーネント間のコミュ
ニケーション・ミスマッチ
が事故を引き起こす
Sec-Seminar(2015.6.18) Lecture by Nancy Leveson
IoT時代の環境変化と新しい安全解析法 STAMP
現状の安全分析ツールは、40-65年も昔に開発されたものであり、現代の新しい技
術の入った複雑な工学システムの安全分析には限界がある
ー>ＳＴＡＭＰの登場
1940 1950 1960 1970 1980 1990 2000 2010 2020
FMEA FTA ETA HAZOP CCA FTA+ETA
コンピュータ制御の導入
複雑さの指数的増大
インターネットの普及
システムの複合化・オープン化
人との共存・協調制御
IoT・AIの導入
コンポーネント故
障が事故を引き起
こす
コンポーネント間のコミュ
ニケーション・ミスマッチ
が事故を引き起こす
コンピュータ制御の導入
Sec-Seminar(2015.6.18) Lecture by Nancy Leveson
IoT時代の環境変化と新しい安全解析法 STAMP
現状の安全分析ツールは、40-65年も昔に開発されたものであり、現代の新しい技
術の入った複雑な工学システムの安全分析には限界がある
ー>ＳＴＡＭＰの登場
1940 1950 1960 1970 1980 1990 2000 2010 2020
FMEA FTA ETA HAZOP CCA FTA+ETA
コンピュータ制御の導入
複雑さの指数的増大
インターネットの普及
システムの複合化・オープン化
人との共存・協調制御
IoT・AIの導入
コンポーネント故
障が事故を引き起
こす
コンポーネント間のコミュ
ニケーション・ミスマッチ
が事故を引き起こす
人との共存・協調制御
IoT・AIの導入
従来の事故モデル
ハインリッヒ
のドミノ事故
モデル
スイスチーズ
事故モデル
事故の一方
向の連鎖進
行モデル
複雑システムの事故モデル（STAMP)
～動的システムのフィードバック構造のなかで事故モデルを考える～
～
Emergency Valves(EV1) Computer(Controller) Human operator Plant CA-1.Override the process CA-2.Open valves CA-3.Close valvesWater levels at Tanks #1 and #2 Alert & Alarm
(FB)
Valve Positon (close/open) (FB)
Pressure from upper organization
安全制御行動の
乱れ
N:Not providing
P: Providing
T:Wrong timing
D:Wrong duration
不適切な
外乱
不適切な
フィードバッ
ク
Emergent properties
(arise from complex interactions)
Process
Process components interact in direct and indirect ways
Safety and security are emergent properties
複雑な相互作用に
起因する創発的特性
人 サブシステム サブシステム 組織 サブシステム外部環境
Emergent Property:
“The whole is greater than the
sum of the parts”
複雑システムの安全とセキュリティ：創発特性
Emergent properties
(arise from complex interactions)
システム全体の
安全制約
Safety and security are emergent properties
コンポーネントの
安全制約
想定外事象
による安全制約の乱れ
創発的特性
コンポーネントの安全制約の和 ≠ システム全体の安全制約STAMPモデルに
よる多様な発想
力で想定外のハ
ザードを低減で
きないか？
複雑システムの安全性とセキュリティ：創発特性
~還元主義から創発主義へ~
複雑システムの安全設計の難しさ
具体的事例の紹介
小田急電車の火災事故
→状況により変化する安全制御行
動が必要になる
自動車のプッシュボタン式起動装置
→ソフトウェアの要求
仕様の欠陥の気づきの難しさ
状況により変わる安全制御行動
～小田急・火災事故～
2017年9月10日 16:00過ぎ、乗客約300人
プラットフォーム外で停車の際はドアを開けると危険
しかし、火災時は、ドアを開けて退避させないと危険
→状況（Context)依存で矛盾する安全制御行動
→人やソフトウェアによる複雑な安全制御行動は副作
用を伴う可能性もある、
従来の分析法（FTA等）の限
界
次世代の安全解析法として
のSTAMP/STPAの可能性
要求仕様の欠陥が事故を起こす
第1回 STAMPワークショップ in Japan：J.Thomas Tutorialより
要求仕様の欠陥により引き起こされる問題は、全てのコンポーネ
ントやサブシステムのテスト、全てのシミュレーション、全ての検
証努力をすり抜けてしまう
ソフトウェアが関連する事故のほとんど
は、要求仕様の欠陥に起因する
トヨタ：電子制御アクセルの訴訟で損失1200億円
第1回 STAMPワークショップ in Japan：J.Thomas Tutorialよ り
プッシュボタン式エンジン起動装置
～意図しない加速による事故～
ブレーキペダル＋点火ボタンで起動するよう改善
プッシュボタンは健全、起動ソフトも健全、全てのコンポーネン
トの要求仕様は満足している。それでも、システム全体は、安
全ではなく想定外の事故が起こった！
第1回 STAMPワークショップ in Japan：J.Thomas Tutorialより
プッシュボタン式エンジン起動装置
～意図しない加速による事故～
要求仕様の妥当性をどうやって検証するか？
人間と機械の協調制御
をどうやって実現するか？
システム開発における手戻り作業のコスト
潜在要因への対処
対処のコ
スト
早期の発見ほど、大きなコスト・インパクトがある
システム 思考 システム 要求仕様 システム 設計 追加設計 後追い変更第1回 STAMPワークショップ in Japan：J.Thomas Tutorialより
STAMPによる複雑さの克服
システム理論や認知科学からの教訓
人間の心は、
抽象化と階層化
によって複雑さを理
解(manage)する
トップダウンプロセス
による方法
高いレベルの抽象度から始める
詳細モデルへの掘り下げ
階層化したシステムモデルの構築
STAMP/STPA
安全工学へのシステムズアプローチ
STAMP：System Theoretic Accident Model and Process
事故を「
故障・エラーから起こる
」のではなく、「
安全制御の欠陥
から起こる
」と捉える
事故は、単純な事象の連鎖で起こるのではなく、
複雑な動的プ
ロセス
の中で起こる
コンポーネントの挙動や相互作用への
安全制約を強いる
こと
で、事故を防ぐ
事故原因を多様な視点で捉える
コンポーネント故障による事故
コンポーネント間の
非安全な相互作用
による事故
複雑な人間やソフトウェアの挙動
による事故
設計ミスによる事故
要求仕様の欠陥による事故（特にソフトウェア）
主張：複雑システムではトップレベルの抽象度からの安全分析が大切！
STAMP/STPAの手順
Step-0：制御構造図と
アクシデント・ハザード・安全制約
の定義
。抽象的な機能に着目して
トップダウンで階層的な安全制御モ
デル
、プロセスモデルを作成
Step-1：
四つのガイドワード
を用いて非安全制御行為（
UCA：
Unsafe Control Action
)を抽出
（N)Not providing、（P)Providing causes hazard、
(T) Inadequate timing、（D)Inadequate duration
Step-2：Control Loopのガイドワードを用いて、UCAごとに、ハ
ザード誘発要因（HCF:Hazard Causal Factor)を分析し、
ハザー
ドシナリオ
を導出
Step-2b（Safety Guided Design)：安全制約の識別：HCFを制御
・除去するための
コンポーネント安全制約
（安全設計要求）を
明示化する
Basic STAMP
コントローラは、コントロールアクション(CA)を決
めるのにプロセスモデルを用いる
このプロセスモデルが正しくないときに想定外の
挙動が起こる
四つの不適切なコントロールアクション
(N) Not providing
(P) Providing causes hazard
(T) Inadequate timing, too early or too late
(D) Inadequate duration, stop too soon or
applying too long
ソフトウェアと人間の挙動の適切なモデル
によって、ソフトウェアエラー、ヒューマンエ
ラー、相互作用による事故などを説明する
Basic STAMP
コントローラ 物理プロセス アクチュエータ センサー 運転員 運転プロセス 運転管理 国レベルの管理 企業レベルの管理 更新 運転手順 ソフトウェア ハードウェア 運転レポート インシデント報告 更新要求 性能監査 作業指示 運転レポート 監査レポート 更新要求 安全ポリシー 規格 リソース 運転レポート 規制・規格・認証 ペナルティ 事故・インシデントレポート 運転レポート 保守・変更レポートコンピュータｖｓ機械
Basic STAMP
コントローラ 物理プロセス アクチュエータ センサー 運転員 運転プロセス 運転管理 国レベルの管理 企業レベルの管理 更新 運転手順 ソフトウェア ハードウェア 運転レポート インシデント報告 更新要求 性能監査 作業指示 運転レポート 監査レポート 更新要求 安全ポリシー 規格 リソース 運転レポート 規制・規格・認証 ペナルティ 事故・インシデントレポート 運転レポート 保守・変更レポート人ｖｓコンピュータ
Basic STAMP
コントローラ 物理プロセス アクチュエータ センサー 運転員 運転プロセス 運転管理 国レベルの管理 企業レベルの管理 更新 運転手順 ソフトウェア ハードウェア 運転レポート インシデント報告 更新要求 性能監査 作業指示 運転レポート 監査レポート 更新要求 安全ポリシー 規格 リソース 運転レポート 規制・規格・認証 ペナルティ 事故・インシデントレポート 運転レポート 保守・変更レポート組織ｖｓ人
Basic STAMP
コントローラ 物理プロセス アクチュエータ センサー 運転員 運転プロセス 運転管理 国レベルの管理 企業レベルの管理 更新 運転手順 ソフトウェア ハードウェア 運転レポート インシデント報告 更新要求 性能監査 作業指示 運転レポート 監査レポート 更新要求 安全ポリシー 規格 リソース 運転レポート 規制・規格・認証 ペナルティ 事故・インシデントレポート 運転レポート 保守・変更レポート組織ｖｓ組織
はじめてのSTAMP/STPA（実践編）
～三つの事例から何がわかるか～
事例１ ‘とりこ’検知事例のSTAMP・STPA分析
事例2 踏切工事（人と組織が絡む事例）
事例１ ‘とりこ’検知事例のSTAMP・STPA分析
分析対象
アクシデント：人・車と列車の衝突
ハザード：‘とりこ’検知装置・発光機が作動しない、
運転士が発光機を目視確認できない状態
安全制約：‘とりこ’発生時に発光機は常に作動す
ること、運転士の目視確認が可能なこと
Step0 コントロールストラクチャの構築
障害物検知装置 踏切 列車 運転士 赤は制御 特殊信号発光機 外部との作用 【役割】 ・踏切道上の通行車・人を検知 ・特殊信号発光機の発光指示 （５）ブレーキ作動指示 【役割】 ・列車の進入を検知 ・踏切の開閉 ・踏切の状態通知 通行車・人 【役割】 ・信号の発光 （２）発光指示 （３）消灯指示 （１）検知開始 （６）停止指示 （踏切の動作開始終了通知） 【役割】 ・特殊信号発光状態の目視識別 ・マニュアルブレーキ作動 （４）停止指示（特殊信号の発光） “とりこ”検知の流れに沿ったコントロールストラクチャー# コントロールアク ション
Not Providing Providing causes hazard Too early / Too Late Stop too soon / Applying too long
1 （踏切→検知装置）検 知開始指示（踏切の 動作開始通知） (UCA1-N)検知開始指示が 出ないので検知できない ので発光せず 踏切開状態で特殊信号発光機を 発光する (UCA1-T)Too Lateで検知開始 が遅れ、特殊信号発光機の発 光が遅れるので検知できない 時間がある Too earlyで“とりこ”でない車を 検知し発光指示する可能性あ るがハザードにはならない ー 2 （検知装置→特殊信 号発光機）発光指示 (UCA2-N)とりこがあっても 発光せず列車を停止させ ない “とりこ”がないのに発光して列車 を停止させる （UCA2-T)Too lateで発光開始 が遅れ、列車が停止できない （ブレーキをかけるのが遅れ る） ー 3 （検知装置→特殊信 号発光機）消灯指示 “とりこ”解消しても特殊信 号発光機消灯せず (UCA3-P)“とりこ”中に特殊信号発 光機消灯 (UCA3-T)Too early 同左 4 （特殊信号発光機→ 運転士）停止指示（特 殊信号の発光） (UCA4-N)“とりこ”があって も発光せず列車を停止し ない “とりこ”がないのに発光し列車を 停止させる （UCA4-T)Too lateで発光開始 が遅れ、列車が停止できない （ブレーキをかけるのが遅い） ー 5 （運転士→列車）ブ レーキ作動指示 (UCA5-N)運転士が特殊信 号発光機の発光を認識で きず列車を停止しない “とりこ”がないのに停止する (UCA)Too lateで列車停止が間 に合わない（ブレーキをかける のが遅い） →今回対象外とす る (UCA)ブレーキを途 中で解除） →今回 対象外とする 6 （踏切→検知装置）検 知停止指示（踏切の 動作停止通知） “とりこ”がないのに発光し 列車を停止させる (UCA6-P)列車が在線中に検知停 止指示が出ると “とりこ”があっても発光せず列車 を停止させない (UCA6-T)Too earlyで“とりこ” があっても発光せず列車を停 止させない ー
Step1 UCAの識別
CA-1（踏切制御装置からとりこ検知装置）
(UCA1-N)検知開始指示が出ないので、とりこ検知できずに発光もせずハ
ザード
踏切制御装置故障でとりこ検知装置への指示が出ない
踏切制御装置を保守モードで無効にしていて指示が出ない
とりこ検知装置が信号受け取りに失敗して装置が作動しない
（CA1-P)踏切開状態で特殊信号発光機を発光（不要な停止だが安全側）
(UCA1-T)検知開始が遅れ、特殊信号発光機の発光も遅れるので、停止が
間に合わずハザード（早すぎるのは安全側）
踏切制御装置の欠陥で指示が遅れてでる
（踏切遮断までの時間を大きく見積もりすぎる、
踏切制御装置の故障など）
とりこ検知装置故障で検知開始が遅れる
障害物検知装置 踏切 運転士 特殊信号発光機 【役割】 ・踏切道上の通行車・人を検知 ・特殊信号発光機の発光指示 （５）ブレーキ作動指示 【役割】 通行車・人 【役割】 ・信号の発光 （２）発光指示 （３）消灯指示 （１）検知開始 （６）停止指示 （踏切の動作開始終了通知） 【役割】 ・特殊信号発光状態の目視識別 ・マニュアルブレーキ作動 （４）停止指示（特殊信号の発光）検知開始指示（CA-1)失敗のシステムへの影響と要因
CA-2（とりこ検知装置から発光機へ）
(UCA2-N)とりこがあっても発光せず列車を停止させないのでハザード
とりこ検知装置故障でとりこを検知できず発光指示が出ない
とりこ認識アルゴリズムが不良で検知できない
天候など外部環境が不良でとりこ検知ができない
カメラレンズのよごれでとりこ検知が出来ない
（CA2-P)とりこがないのに発光して列車を停止させる（安全側）
（UCA2-T)発光開始が遅れ、列車の停止が遅れてハザード（ブレーキ遅れ）
とりこ発見から発光指示までの遅延時間が不適切で発光が遅れる
とりこ検知装置の故障で発光指示
が遅れる
（2か所に出てくるのは、コンポーネント が主体になる場合と、被主体になる場合の両方 があるため。フィードバック系の着目点を 変えるため起こる） 障害物検知装置 踏切 運転士 特殊信号発光機 【役割】 ・踏切道上の通行車・人を検知 ・特殊信号発光機の発光指示 （５）ブレーキ作動指示 通行車・人 【役割】 ・信号の発光 （２）発光指示 （３）消灯指示 （１）検知開始 （６）停止指示 （踏切の動作開始終了通知） 【役割】 ・特殊信号発光状態の目視識別 ・マニュアルブレーキ作動 （４）停止指示（特殊信号の発光）発光指示（CA-2)失敗のシステムへの影響と要因
CA2:作動開 始指示 CA3: 作動停 止指示
通行車・人
特殊信号発光機 （Display） 運転士 （Human Controller） 列車 Controller Controlled Process アクチュエーター センサー CA1:ブレー キ操作 FB:特殊信号発光 機へ発光指示 FB:特殊信号発光 機の発光別の視点からのコントロールストラクチャ
～多様な視点での安全設計の検討～
運転士を中心にしたコントロールストラクチャー
新たなFB（新しい通信手段） 新たなFB（目視以外の手段が可能）運転操作を高
度な制御装置と
みる
（3階層の制御
構造図）
↓
次世代のより安
全な制御手段
の発想につな
がる。
踏切＋障害物検知システム 検知センサー Controlled Process Controller 検知センサー アクチュエーター センサーCA-1（運転士から列車へ）
(UCA１-N)運転士がブレーキ操作をしない
体調不良やよそみで認識・判断が遅れて停止できない（認識エラー）
外部環境不良のため発光が視認できず停止が間に合わない
体調不良でブレーキが遅れる（行動エラー）
誤操作でブレーキ操作を失敗
（以下は、次階層のハード主体の制御構造図でないと思いつきにくい）
発光機が故障で消灯しているのに、普段消灯しているので故障に気がつか
ない
発光装置故障で発光しない
とりこ検知装置故障でとりこ検知ができず発光もしない
（CA1-P)不必要なブレーキ操作は安全側
(UCA1-T)ブレーキ操作の遅れ
UCA1-Nと同様
(UCA1-D)ブレーキを途中で解除）
今回対象外とする
ブレーキ作動指示（CA-1)失敗のシステムへの影響と要因
コントロールアクションの比較
コントロール
アクション
（踏切→検知装置）検知開
始指示
（検知装置→特殊信号発
光機）発光指示
（検知装置→特殊信号発
光機）消灯指示
（特殊信号発光機→乗務
員）停止指示（特殊信号の
発光）
（乗務士→列車）ブレーキ
作動指示
（踏切→検知装置）検知停
止指示
コントロール
アクション
検知装置作動開
始
ブレーキ作動指
示
検知装置停止指
示
とりこ検知装置主体の制
御構造図（六つのUCA)
運転士主体の
制御構造図（三つのUCA)
ハザード
の可能
性評価
（前向き
推論）
ハザード
要因の
評価
（後向き
推論）
事例１ とりこ検知事例のSTAMP・STPA分析
従来の一方向の事故進展モデルに基づくハザ
ード分析で難しい複雑システムのハザード分析
が可能になる。特に、機械やコンピュータなどの
技術要因に加えて、
人や組織などの非技術要
因を含めた、包括的な事故防止アプローチ
を可
能にする
安全制約と制御構造図により、
安全をどのよう
な仕組み・体制で制御しようとしているかを可視
化
できる。これにより、多様な視点からのレビュ
ーができる（次世代の安全制御のあり方など）
Emergent properties
(arise from complex interactions)
システム全体の 安全制約
Safety and security are emergent properties コンポーネントの 安全制約 想定外事象 による安全制約の乱れ 創発的特性 コンポーネントの安全制約の和 ≠ システム全体の安全制約 STAMPモデルに よる多様な発想 力で想定外のハ ザードを低減で きないか？
