2020 年 7 30 JSAE オンラインフォーラム 動運転システムの総合信頼性と社会アーキテクチャ構築に向けて 松原豊 (Yutaka MATSUBARA) 名古屋 学 学院情報学研究科准教授本委員会副委員 DEOS 協会 動 応 部会主査 Web:h

2020年7⽉30⽇ JSAE オンラインフォーラム

⾃動運転システムの総合信頼性と

社会アーキテクチャ構築に向けて

松原 豊（Yutaka MATSUBARA）

名古屋⼤学 ⼤学院情報学研究科 准教授

本委員会 副委員⻑

DEOS協会 ⾃動⾞応⽤部会 主査

E-mail︓[email protected]

Web︓https://www.ertl.jp/~yutaka

1

⾃⼰紹介

本務 • 名古屋⼤学 ⼤学院情報学研究科 情報システム学専攻 ⾼⽥・松原研究室 准教授 未来社会創造機構 モビリティ社会研究所 准教授 附属 組込みシステム研究センター 協⼒教員 その他主な役職 • ⾃動⾞技術会 共同研究センター ⾃動運転に係わる総合信頼性の継続的確 保に向けた標準化検討委員会 幹事 • NPO法⼈ TOPPERS プロジェクト運営委員 • (⼀社)ディペンダビリティ技術推進協会 ⾃動⾞応⽤部会 主査 • 電⼦情報通信学会情報セキュリティ 情報セキュリティ 研究専⾨委員 • セキュリティキャンプ全国⼤会 講師 • 技術アドバイザ（組込み関係企業） 主な産学連携研究プロジェクト

• University of York, Assuring Autonomy International Programme, 「Towards Identifying and closing Gaps in Assurance of

Autonomous Road Vehicles (TIGARS)」研究メンバ

• 平成29年度戦略的基盤技術⾼化⽀援事業「⾃律的⾃動運転の実現を⽀え る⼈⼯知能搭載システムの安全性⽴証技術の研究開発」サブリーダ

概要

•

⾃動運転システムの安全性評価に関して，

国連WP.29，主要地域（⽇本，⽶国，欧州，

中国等）で，法規，標準，ガイドラインな

どの議論が進⾏中である

•

本講演では，⾃動運転システムの総合信頼

性確保に向けて，最新動向と社会アーキテ

クチャ構築に向けた活動を紹介する

•

⾃動⾞メーカ，サプライヤ，サービス提供

社，利⽤者が，⼀体となって⽬指す，⾃動

運転システムの総合信頼性について，リス

ク管理と説明責任の観点から考える

3

⾃動⾞制御システムの開発・運⽤の現状と課題

対象システムの⼤規模化と変化への対応

•

開発段階ですべての要求を満たすよう努⼒がなされる

が，⼤規模化，複雑化によって困難な場合も

•

運⽤段階における変化への対応も想定

サービス中⼼のビジネスモデルへの変化

•

個々の組込みシステム（機器）の開発から，⼈間，ク

ラウド，環境などと連携・連動するサービスへ

•

SoS（System of Systems）によるサービス提供

⾮機能要件に対する重要性の維持・⾼まり

•

利⽤者が求める信頼性，安全性やセキュリティ等の⾮

機能（総合信頼性）要件の重要性は不変

•

⼀⽅で，開発，運⽤では低コスト化も要求される

4

摺り合わせによって⾼い安全性や品質を確保してきた

⾞載制御システム（特にソフトウェア）の開発指針の転換点

総合信頼性の対象となる品質の広がり

引⽤︓⽇本規格協会, 標準化と品質管理, 2017年4⽉号

⾃動⾞において特に重要かつ深く

関係する性質

（今の国際標準化はこの範囲）

総合信頼性の定義

アイテムが，要求されたときに，その要求ど おりに遂⾏するための能⼒。 アベイラビリティ，信頼性，回復性，保全 性，及び保全⽀援性能を含む。適⽤によって は，耐久性，安全性及びセキュリティのよう な他の特性を含むことがある。 引⽤︓JIS Z 8115:2019 5

総合信頼性の対象となる品質の広がり

引⽤︓⽇本規格協会, 標準化と品質管理, 2017年4⽉号

社会が要求する品質

→受容性の指標

（ただし，これも変化）

6

⾞載制御システム開発の関連規格

ISO 9001 ISO/IEC 15504 ISO/IEC 33K series IEC 61508 ⾞両領域 （OEM） ECU領域 （サプライヤ） IATF 16949 品質管理 システム A-SPICE プロセス評価 フレームワーク ISO 26262 E/E/P向け 機能安全 安全ライフサイクル ISO/SAE DIS 21434 サイバー セキュリティ 上位規格 品質の維持・向上 ディペンダビリティ （安全性，セキュリティ） の維持・向上 7 ISO /PAS 21448

ハザードとそれらをカバーする規格の対応

8 根本原因の存在 原因 カバーする規格 対象システム 電気電⼦システムの故障 ISO 26262 性能限界 状況の認識不⾜（誤使⽤かどうかに関係なく） ISO/PAS 21448 合理的に予⾒可能な誤使⽤，不正確なHMI （例︓利⽤者の混乱や過負荷） ISO/PAS 21448ISO 26262 HMIの設計原則⽂書 システム技術に起因するハザード（例︓レーザセ ンサによる⽬の負傷） 別規格 外部要因 ⾞両のセキュリティ脆弱性に対する攻撃 ISO 21434 or SAE J3061 ⾞両外部（V2I, V2V, 外部機器，クラウド）に よる影響 ISO 20077/20078ISO 26262 ⾃動⾞周辺（別の利⽤者，受動的なインフラ， 天気などの環境条件，電磁インタフェース…） ISO/PAS 21448ISO 26262 ISO/PAS 21448:2019 Table 1

⾃動運転（Autonomous）・共有

（Shared/Services）に関連する実証実験

多様な⾃動運転

10 ⾼速道路 ⼀般道 バス 地域限定移動 速度 80-100km/h *1 _{低速〜60km/h 低速〜60km/h 低速（〜} 20km） ルート 任意の⾼速道路 固定，変動 固定 固定 ⾃動運転 レベル レベル2〜3 レベル3〜4 *2 _レベル4 *2 _レベル4 *2 運⽤形態 ⾃動⾞所有者 サービス提供者 （タクシー， MaaS） ⾃動⾞所有者 バス会社 バス利⽤会社 地域コミュニティ ⾃治体 実⽤化 レベル2は実⽤化， レベル3は2020年 度以降に実⽤化*1 現時点では固定ルー トで実験，任意ルー トは現時点でも困難 実証実験段階 実証実験段階 *1 機能有効範囲や速度を制限している場合が多い（例えば，渋滞時に有効） *2 レベル４を⽬指しているが，実証実験ガイドラインに従って，ドライバや遠隔監視・制御を⾏っている

先進機能を持つ⾃動⾞の相次ぐ事故

11

運転⽀援システム作業中に運転者が 監視を怠ったことによる事故

Emergency personnel work a the scene where a Tesla electric SUV crashed into a barrier on U.S. Highway 101 in Mountain View on March 23. KTVU https://www.sfchronicle.com/business/arti cle/Exclusive-Tempe-police-chief-says-early-probe-12765481.php 運転⽀援システム（のセンサ）は検出して いたが，⾞速やブレーキが制御されなかっ た（横切る歩⾏者は想定外︖）

実証実験でも…

12

⼀般市⺠は⾃動運転を受容している／するか︖

開発者は受容性を意識した開発をしているか︖

引用：https://www.tokai-tv.com/tokainews/article_20190826_95273 引⽤︓TBS

⾃動運転システムの安全性に関する基本的な指針

国連での議論

国⼟交通省の安全ガイドライン

Safety Vision の抜粋

automated vehicle systems, under their operational

domain (OD), shall not cause any traffic accidents

resulting in injury or death that are reasonably

foreseeable and preventable

⾃動運転⾞の運⾏設計領域(ODD) において、⾃動

運転システムが引き起こす⼈⾝事故であって合理的

に予⾒される防⽌可能な事故が⽣じないこと

国⼟交通省⾃動⾞局，⾃動運転⾞の安全技術ガイドライン，平成30年9⽉ Framework document on automated/autonomous vehicles,

WP.29-177-19, Mar. 2019

13

⾃動運転システムの安全性評価，論証に関する活動

⽇本 欧州 北⽶ 基本的な考え⽅ （ビジョン） ⾃動運転⾞の安全技 術ガイドライン, 国 ⼟交通省⾃動⾞局, 2018年9⽉

Europe on the Move:

Commission completes its agenda for safe, clean and connected mobility, May 2018

• AV 3.0, NHTSA, Oct 2018 • AV 4.0, NHTSA, Jan 2020

安全の原則

Guidelines on the

exemption procedure for the EU approval of

automated vehicles, Feb 2019

• AV 2.0, NHTSA, Sep 2017

• SAE J 3206

安全基準 改正道路運送⾞両法保安基準, Apr 2020 the German Road Traffic Code Straßenverkehrs-Ordnung, Nov 2016 (独)

• Federal Motor Vehicle Safety Standards 開発・評価⼿法開発， 実証実験等 • 内閣府SIP • JAMA安全性論証 WG • SAKURA Project • 各種実証実験 • ・・・ • AdaptIVe • Pegasus • SaFAD • L3Pilot • SetLevel4to5 • V&V Method • ARCADE • ⾃動運転技術の研究開発か ら，企業主体の実運⽤へ • 安全性の説明は，基本的に は各社責任 →ANSI/ULによる標準化 各国で技術的な議論と，法整備が平⾏して進⾏中 主に，開発段階での安全評価⼿法にフォーカス 14 WP.29 Safety Vision

⾃動運転システムの安全性評価，論証に関する

プロジェクト・標準化状況

Sakura Project

(⽇本) Pegasus(独) (独, Baidu, intel)SaFAD ANSI/UL 4600(⽶国)

安全ビジョン （Safety Vision） 合理的に予⾒される 防⽌可能な⼈⾝事故 が⽣じないこと • 必要条件︓安全規格 に従って開発 • ⼗分条件︓PRB 標準的な運転者の性能 と⽐較しPRBを達成 -安全⽬標 （What） 熟練された運転者が 避けられる事故は， ADSでも回避 テストコンセプトは， 少なくとも⼈間の運転 性能は達成 12の安全原則(多くの 公的認証機関，消費者 団体の⽂書を引⽤) -（許容可能なリスクレ ベル定義は対象外） V&V⼿法，プロセス （How） • 交通障害テストシ ナリオを作成 • シミュレーション でシナリオ上のパ ラメータを振り， 網羅的に判定 • 事故発⽣状況を⼈ 間とADSで⽐較 • Pegasus method を規定 • ライフサイクル全体 をカバーするが，詳 細までは未規定 • 既存３規格に基づく， ディペンダビリティ • 設計指針 • 安全アーキテクチャ • V&V戦略 • ４機能の開発例と DNN開発が付録 -（安全機能の設計，プ ロセスは対象外） 論証 （Assurance） • シミュレーション 結果 • 具体的な論証⽅法 は未規定 • Pegasus method の実施中に⽣成され る成果物 • 具体的な論証⽅法は 未規定 • 12安全原則，設計， V&Vとのトレーサビ リティ • 具体的な論証⽅法は 未規定 • ライフサイクル全体 で，記載すべき内容 を明確に記載 • 表現⽅法（GSNや CAE等）は未規定 標準化への貢献 • ALKS事例がVMADのAnnex Xに • ISO/WD 34502 • OpenXとして ASAM→ISOへ︖ • ISO/CD TR 4804 • 安全２規格との併⽤を意識（対応付けが Annexにあり） 15 各国で技術的な議論と法整備が進み，標準化のフェーズに⼊っている

国際的な動向のポイント

•

⽇本が⽬指す安全の⽬標は，世界的にも⾼く（GAMAB

的考え⽅），ADSのV&V⼿法も（ALKSについては）具

体性や網羅性が⾼い（と思われる）

•

_{シナリオベースの考え⽅⾃体は，各国で検討中}

•

_{⼤量の実データに基づく網羅性の違いは⼤きい（⼀⽅で，}

検証コストも⾼い）

•

欧州では，Pegasusの成果が，ASAM（標準化）や

SaFAD→ISO TRに発展

•

_{PRBの達成を掲げながら，合理的なレベルでのV&Vを⽬}

指す（ALARP的考え⽅）

•

北⽶は，安全性に関して，論証すべき項⽬をUL4600と

して標準化（安全２規格との併⽤を想定）

•

欧州メーカとサプライヤは，北⽶企業を巻き込みながら，

SaFAD＋UL4600の併⽤を推進

•

_{TTTechがThe Autonomousを⽴ち上げ}

• https://www.eetasia.com/av-bringing-standards-together-for-safety/ 16

補⾜︓リスク受容における多様な考え⽅

名称 考え⽅

As Low as Reasonably Practicable

(ALARP) 合理的に実現可能な範囲内でリスクを出来る限り低減させる，という考え⽅。対策コ ストも，合理的な範囲でなければならな い 。

minimum endogenous mortality

(MEM) 「最低内因死亡率」以下にリスクを下げるという考え⽅。最低内因死亡率は，事故及 び先天的奇形の影響を除く⾃然死亡率で， 最低のもので，先進国においては10歳前後 （5〜15才）の⾃然死亡率（2×10-4_⼈/ 年）を採⽤することが多い。死亡だけでな く，負傷の影響を考慮する場合は，その確 率も追加で考慮する。

Globalement au moins aussi bon

(GAMAB) 従来（もしくは既存の類似製品）と⽐較して，システム全体として少なくとも同等の レベルまでリスクを低減する，という考え ⽅。

補⾜︓リスク受容における多様な考え⽅

P. Junietz, U. Steininger, H. Winner, Macroscopic safety requirements for highly automated driving, TRR 1–10, © National Academy of Sciences, Transportation Research Board 2019, DOI: 10.1177/0361198119827910,

https://journals.sagepub.com/eprint/9NjEFpXRdJjp3NrtbDSA/full]

mortality risk in the order of 10

–5

per person and year,

for example by professional associations and insurance

companies, on the one hand. On the other hand,

job-related risks are useful in bridging the gap between

vol-untary and involvol-untary risks.

Fritzsche found that for involuntary risk, for example

the death of passengers resulting from a train or airplane

crash, the acceptance level is an order of magnitude lower

than for job-related risk. Moreover, acceptance decreases

another order of magnitude if the risk is caused by major

technology, for example, the chemical industry or from

nuclear power generation. Besides the personal benefit of

those technologies being low (at least from a subjective

point of view), the low degree of self-determination, or

rather controllability, for individuals plays an important

role in the low acceptance level in addition to the

potentially

high

number

of

mortalities

(severity).

Nevertheless, Figure 2 shows that it is generally possible

to manage risk, risk perception, and acceptance in a

quantitative manner.

To implement safety requirements based on risk

acceptance, several concepts have been developed in

dif-ferent application areas. Because of the relationship

between the railway and road traffic, it is useful to refer

to the CENELEC safety standard EN 50126. The

devel-opment of this standard was started in the 1990s: safety

requirements based on quantitative risk analysis were

implemented and ‘‘as low as reasonably practicable’’

(ALARP), ‘‘minimum endogenous mortality’’ (MEM),

and ‘‘Globalement au moins aussi bon’’ (GAMAB) were

introduced as principles of risk acceptance.

As Low as Reasonably Practicable (ALARP). ALARP tries to

assess what is technically feasible in relation to economic

sense and social acceptance. Between the two regions of

generally unaccepted and broadly accepted risk, there is

a tolerance range in which risk is undertaken only if a

benefit is desired and for which each risk must be made

ALARP.

Risk limits cannot be derived directly from EN50126,

because it failed to give certain values for generally

unac-cepted and broadly acunac-cepted risk. However, other

authors, for example Risk and Reliability Associates,

deliver both values (25): The two key levels seem to lie

around road death statistics (about 10

–4

per person and

year) and the chance of being struck by lightning (about

10

–7

per person and year). If something is more

danger-ous than driving a car, the risk is unacceptable. If

some-thing is less dangerous than being struck by lightning,

then we do not expect anyone to do anything about it.

In the range between these two figures, cost-benefit

stud-ies are appropriate to reduce the risk to ALARP. The

Figure 1. Left: illustration of risk; right: quantitative accident risk on German highways (14, 15).

Figure 2. Application of different risk acceptance principles to

highway accidents, translated from Steininger and Wech (24),

based on work by Fritzsche (12). Globalement au moins aussi bon

(GAMAB) is based on the risk on German controlled-access

highways. The principles Minium endogene ous mortality (MEM)

and As low as reasonably possible (ALARP) are applicable in all

kinds of technology.

Junietz et al

3

欧州規格のEN 50126では，技術システムにおいては，1/20 * MEM を越えてはならないという規定がある

ISO 21448を基にした社会アーキテクチャ案

19 ⾃動運転システム（サービス）開発活動 （ハザードの識別とリスク評価） サービス運⽤ 事故， ヒヤリ・ハッと， 新リスク発⾒ 原因分析 対応処理 事故防⽌ ⻑期的な対応 環境の変化 （法規，技術進 化，社会情勢）

開発段階

サービス運⽤段階

リスク受容 即時的な対応 ⻑期的な対応 リスク 低減 ⼀部の要素をISO 21448 CDへの修正提案済

社会

・司法 ・研究機関 ・利⽤者

保守担当

・サービス提供会社 ・⾃動⾞メーカ ・ディーラ

開発メーカと

_利⽤者

開発メーカとサプライヤ

社会が納得する⾃動⾞の⾃動運転技術

既存３規格への準拠は必須

•

⾃動⾞市場や⾃動運転レベルによらず，３

規格への対応は必須

今後の議論ポイント

•

許容リスク度に応じた，製品，サービスの

開発，投⼊の戦略

•

⾃動運転レベルに応じたリスクの考え⽅

•

情報公開と説明責任

20

議論︓許容リスク度に応じた製品，サービスの

開発，投⼊の戦略

•

⽇本の⽅向性︓⾼い安全⽬標と作り込み

•

_{（当然）コストは⾼まるが，達成できた場合に}

は，⾼い商品価値に繋がるはず…

•

許容リスク度の⾼い地域に，付加価値の⾼い

サービスを先⾏して投⼊

•

_{完成度を⾼めた後，許容リスク度の低い地域へ}

•

同⼀地域内でも，リスク許容度の⾼い利⽤者

に，付加価値の⾼いサービスを先⾏して投⼊

•

_{利⽤者の許容リスク度を意図的，かつ過剰に下}

げようとする試みは逆効果（適度に恐れてもら

う，個⼈で判断する情報を提供する）

•

_{ゼロリスクの選択を妨げない（使いたくない，}

近くを⾛⾏したくないを許容）

作り⼿と利⽤者間の許容リスクに関するギャップの

認識と説明（リスクコミュニケーション）の仕組み

21

議論︓⾃動運転レベルに応じたリスクの考え⽅

•

L3以下では運転者に事故の責任

•

_{L1〜L2はすでに普及段階にあるので，これらと}

⽐較して，リスクが⾼まることは許容し難い

（GAMAB的発想）

•

L4〜L5はシステムに事故の責任

•

_{利⽤者のメリットとリスクとのバランス}

（ALARP的発想が必要ではないか︖）

•

_{事故発⽣だけでなく，信頼性，可⽤性の低下も}

利⽤者に理解，許容してもらう説明

•

_{開発プロセスの複雑化，⼤規模化，⾼価格化に}

伴う，産業構造の変化対応，組織間での合意，

技術者への負荷増加への考慮が必要

•

⾃動運転で交通事故が減る⼀⽅で…

社会全体でのリスクバランス（PRB）を把握する仕組み

22

議論︓情報公開と説明責任

•

開発組織（メーカ，サービス提供会社）へ

の信頼を維持，継続することが重要

•

適切な情報公開と説明

•

_{⾃動運転技術の複雑さ，完全性の実現困難さ}

•

_{故障や事故，サービス停⽌などの経過情報}

•

_{組織の判断結果（例えば，トラブル後のサー}

ビスの再開）に加えて，議論の経過，判断基

準や数値⽬標

利⽤者（個⼈）の判断を⽀援し，

⻑期的に，理解と安⼼性の向上を⽬指す仕組み

23

まとめ

•

⾃動運転システムの総合信頼性確保に向け

て，最新動向を紹介した

•

⾃動⾞メーカ，サプライヤ，サービス提供

社，利⽤者が，⼀体となって⽬指すべき⾃

動運転システムの総合信頼性実現のための

社会アーキテクチャ案を提⽰

•

今後，仕組み化すべき３つのポイント

•

_{リスクコミュニケーション}

•

_{リスクバランスの把握と可視化}

•

_{作り⼿組織の信頼性維持・向上のための情報}

公開と説明

24

⽤語集

25

⽤語 内容

安全２規格 ISO 26262, ISO/PAS 21448

既存３規格 安全２規格に，セキュリティのISO DIS 21434を加えた３規格 Positive Risk Balance

︓PRB リスクは残るものの，最終的に，⼈間の能⼒と⽐較して社会的な被害が減ること（社会にとってプラス）を⽬指す考え⽅ ALKS Automated Lane-Keeping Systems

ADS Automated Driving Systems

WP.29 World Forum for Harmonization of Vehicle Regulations

GRVA Working Party on Automated/Autonomous and Connected Vehicles，WP.29下の活動の１つ

VMAD Validation Method for Automated Driving，

参考⽂献

• ISO/WD 34502, Road vehicles ̶ Engineering framework and process of scenario-based safety evaluation

• ANSI/UL 4600 Standard for Evaluation of Autonomous Products, April 2020

• AV 4.0, Ensuring American Leadership in Automated Vehicle Technologies Automated Vehicles 4.0, NHTSA, Jan. 2020

• AV 3.0, Preparing for the Future of Transportation: Automated Vehicles 3.0, Oct 2018

• AV 2.0, Automated Driving Systems: A Vision for Safety 2.0, Sep 2017

• Pegasus project, https://www.pegasusprojekt.de/en/pegasus-symposium-2019

•

_{3.1 Japanese AD Safety Assurance Investigation for Global}

Industry Harmonization (Satoshi Taniguchi, Toyota)

•

_{29 Safety Argument}

参考⽂献

• 改正道路運送⾞両法保安基準, Apr 2020

•

_{https://jidounten-lab.com/u_mlit-safety-standard-sticker}

• Europe on the Move: Commission completes its agenda for safe, clean and connected mobility

•

_{https://ec.europa.eu/commission/presscorner/detail/en/IP_}

18_3708

• European Commission, 2018. On the Road to Automated Mobility: An EU Strategy for Mobility of the Future.

•

_{https://eur-lex.europa.eu/}

LexUriServ/LexUriServ.do?uri=COM:2018:0283:FIN:EN:PDF. • Dasom Lee and David J.Hess, Regulations for on-road testing of

connected and automated vehicles: Assessing the potential for global safety harmonization, Jun 2020

•

_{https://www.sciencedirect.com/science/article/pii/S0965856}

419308006