15th WOCS 2 組込みシステムの安全と FRAM Rev 年 11 月 30 日システムズエンジニアリング事業領域大西秀一

(1)

2017年11月30日システムズエンジニアリング事業領域大西秀一

組込みシステムの安全とFRAM

15th WOCS

2

Rev 1.00

(2)

(3)

多くの人が自動運転に対して不安に感じている

According to the investigation in U.S., 75% people has anxious

for autonomous driving car.

In same investigation, people think they will purchase the

autonomous driving car if safety of the autonomous driving car is

(4)

自動運転の課題

• 2016年3月にGoogle社が開発していた自動運転車両が交通事故を起こした。 • 事故当時、自動運転カーは前方の交差点を右に曲がるため、赤信号で待機中の他車両が並んでいる直進車線から右の車線に移動しようとしたところ、前方に砂袋を発見して一旦停止。 • 信号が青に変わると、自動運転カーはバックで直線車線に戻って砂袋を回避しようとしたが、市営バスが後方から直進車線を走行してきて、自動運転カーと衝突した。 • Google Carが後方のバスの動きの予測を間違えたことが課題とされている。 The “Google car”, an AI-controlled

automated driving car, has caused a traffic accident.

(5)

これまでの安全設計 – 機能安全

• 機能安全規格 (ISO 26262、IEC61508)では明確に自動車制御に人工知能の活用を禁止している。In standards of functional safety

(ISO26262/IEC61508), the use of AI is prohibit.

人工知能は、以下の特性の達成を困難にする可能性があるとされている - ソフトウェア安全要求仕様の正確性 - 固有の設計故障がない - 単純さ及びわかりやすさ - 挙動の予測可能性 - 検証及び試験可能な設計

(6)

我々の挑戦

パフォーマンスが変動する人工知能を使用した

自律的自動運転システムの安全性立証を行う必要がある

FRAMを使用し、人工知能を搭載した

自律的自動運転システムの安全を立証する

中小企業庁平成29年度戦略的基盤技術高度化支援事業において研究中「自律的自動運転の実現を支える人工知能搭載システムの安全性立証技術の研究開発」「積雪寒冷地域の交通弱者移動支援のための雪道走行を可能とする自動運転技術の開発」

(7)

本日の話題

• FRAMとの出会い

• Safety-IとSafety-II

• FRAMの書き方

• 簡単なFRAMモデル

• まとめ

(8)

FRAMとの出会い

1. 自動運転の安全をリーズナブルに説明する方法を検討 – 理由：ISO26262では複雑なシステムの安全を説明するには、コストが増大する可能性あり 2. レジリエンスエンジニアリングを知り、システムが機能不全に陥る前に機能回復させる開発手法を知る 3. レジリエンスエンジニアリングを提唱しているProf. Hollnagelの論文からSafety-IIという概念を知る 4. Safety-IIを説明するためにFRAMという方法論があることを知る

(9)

Safety-I と Safety-II

Safety-I Safety-II ”安全”の定義 ISO/IEC Guide 51: 安全とは、受け入れ不可能なリスクから解放されていること。リスクとは、危害の発生確率及び、その危害の程度の組み合わせである。安全とは期待された通りに、合意できる、意図通りにシステムが機能する状態を指す。対象システム・技術システム・社会技術システム・社会技術システムモデリング手法 UMLなど FRAM

安全分析手法 FMEA / FAT / HAZOP 現在検討中

"安全"を満たす

ための方法 Fault elimination / detection / tolerance Resilience engineering 安全規格 ISO/IEC Guide 51,

ISO 12100, ISO 26262など

(10)

Safety-IとSafety-IIの違い

Safety-I

Safety-II

対象個別のシステムとパーツシステム全体分析の結果見つけるものハザードとリスク起こりうる全ての事象対策リスクの低減や回避望ましい行動の選択実現するものシステムにおいて許容できないリスクが無い状態望ましい結果例：顧客満足・

(11)

興味深い事実

• Safety-IIを実現するための安全分析手法は現時点では定義されていない（検討中） • Safety-IIとレジリエンスエンジニアリングは根本的には同じ考え方 • FRAMはSafety-IIとレジリエンスエンジニアリングを表現したもの • FRAMはシステムのレジリエンスを表現するための方法論ではあるが、安全分析の方法ではない→安全分析を行うには、個別の工夫が必要

(12)

FRAMの書き方

機能

I

T

C

O

P

R

機能の実行時間など時間に関わるもの Time(時間) 機能の実行の仕方・され方に影響を与えるもの・こと Control(制御) 機能の結果、作成されるものや状態、イベント Output(出力) Resource(資源) 機能の実行に必要なもの機能が実行される前に準備しな Precondition(前提条件) 機能Aが開始されるきっかけとなる状態やイベント Input(入力) 機能の開始前にtrueになっていなければならない条件

(13)

FRAMの機能の側面

側面説明入力機能のトリガとなる事象やもの (問いかけ案)[入力]になったら[機能A]を行う出力機能の結果となるイベントや状態 (問いかけ案)[機能A]を終えたら[出力]ができる [機能A]を終えたら[出力]ができる前提条件機能の開始前にtrueになっていなければならない条件 (問いかけ案)[前提条件]が行われていないなら[機能A]は行わない [前提条件]がないと[入力]が機能しない資源機能の実行に必要なもの (問いかけ案)[機能A]を行うと[資源]はなくなる [資源がない/正確ではない]と[機能A]が成功しない制御機能を監視・調整、または、機能を実行している最中に参照するもの (問いかけ案)[機能A]がうまくいくためには[制御]がなくてはならない時間時間に関連する前提条件や制御および資源 (問いかけ案)[機能A]の実行時間は[時間]の結果決まる [機能A]の実行時間は[時間]

(14)

簡単なFRAMモデル

(15)

単純に機能を記述する

カップヌードルのふたを開けてお湯を注ぐ

I

T

C

O

P

R

カップヌードルをとってくる

I

T

C

O

P

R

カップヌードルを美味しく食べる

I

T

C

O

P

R

Safety-I 観点：指定時間を過ぎてしまうとまずくなるのでは？ Safety-II観点：美味しく食べるために時間を計測すべきでは？時間の観点から検討してみる

(16)

時間に関する属性を追加する

I

T

C

O

P

R

I

T

C

O

P

R

I

T

C

O

P

R

Safety-I 観点：湯温が低いとまずくなるのでは？説明を読む

I

T

C

O

P

R

お湯を注ぐときに時間の制約を追加することで、より成功することを目指す。続いて、リソース観点で検討

(17)

より成功するために努める

I

T

C

O

P

R

I

T

C

O

P

R

I

T

C

O

P

R

説明を読む

I

T

C

O

P

R

お湯を沸かす

I

T

C

O

P

R

成功を得るための最善の機能（行為）を記述する沸いたお湯というリソースがお湯を注ぐ行為の実施条件

(18)

さらに先に行く

I

T

C

O

P

R

I

T

C

O

P

R

I

T

C

O

P

R

説明を読む

I

T

C

O

P

R

お湯を沸かす

I

T

C

O

P

R

(19)

人工知能搭載システムへ

目的地に向かって人工知能が自動運転する

I

T

C

O

P

R

目的地を選択する

I

T

C

O

P

R

目的地に着く

I

T

C

O

P

R

「目的地に着く」、という成功に対して、人工知能搭載システムはどのような機能（行為）が必要か？どのような条件が必要か？ →ISO26262との関連、開発への応用など検討すべき課題は多い

(20)

人工知能搭載システムの安全性説明の課題

• 安全規格の観点から説明が困難な内容

• ソフトウェア安全要求仕様の正確性

• 固有の設計故障がないこと

• 単純さ及びわかりやすさ

• 挙動の予測可能性

• 検証及び試験可能な設計

• 研究開発の活動を通して、課題解決の方法を模索中

(21)

まとめ

• FRAM、Safety-II、Resilience Engineeringの関係を明らかにした。 – FRAMはSafety-IIとレジリエンスエンジニアリングを表現したもの • FRAMが目的を達成するための方法を検討するものであることを説明した。 • FRAMモデルを記述するだけでは安全分析はできないことを紹介した。 • FRAMを安全規格準拠開発、開発現場へ適用するには課題が多いことを説明した。

(22)