SEC 高信頼化技術適用事例セミナー先進的な設計事例紹介チュートリアルソフトウェア品質の高信頼性および説明責任に有効な利用品質メトリクスの解説 ~ 利用品質を構成する 5 つの領域の一つ HMI 品質の役割を考える ~ 2014 年 6 月 24 日株式会社 U eyes Design

(1)

株式会社 U’eyes Design

ソフトウェア品質の高信頼性および説明責任に有効な

利用品質メトリクスの解説

～利用品質を構成する5つの領域の一つ

「HMI品質」の役割を考える～

2014年6月24日

株式会社U’eyes Design

代表取締役鱗原晴彦

(2)

⽬次

１．「利用品質メトリクス」が注目される背景

・システムが大規模・複雑化、機器やサービスの連携

・ヒューマンファクターの不足によるリスク増大事例

２．システムを構成するソフトウェアの高信頼化の重要度

・利用者視点に立ったソフトウェア信頼性の見える化

・第三者による客観的評価の仕組み

・ソフトウエア品質（国際規格）の動向

３．品質の観点からユーザビリティをHMI開発に盛り込む

・ソフトウェア開発の総合的な品質特性（ISO9126）の使用性を強化

・システム品質と利用品質を繋ぐ

・利用品質の基礎的要素であるユーザビリティと定量化事例

４．利用品質を構成する「HMI品質」に着目する

・利用品質の５つの活動領域

・HMI品質を管理できる定量的な品質基準

・HMI品質メトリクスと導出方法

５.現段階での課題と今後への期待

1 /44

(3)

１.「利用品質メトリクス」

が注目される背景

(4)

JR 東日本株式会社

新幹線統合システム障害

Early morning January 17, 2011

Nikkei Business Publications, Inc.

Yahoo Japan Corporation

Document image

・システムが大規模・複雑化、機器やサービスの連携

(5)

・システムが大規模・複雑化、機器やサービスの連携

出典：重要生活機器連携セキュリティ研究会

http://image.itmedia.co.jp/l/im/ee/articles/1406/13/l_tm_140613ccdssg01.jpg

(6)

ハイブリッドシステムのブレーキ制御や

ABSの仕組みの働きと減速スピードとのバランスを

ユーザモデルに合わせて調整できたら・・・

トラフィック情報量の増加

ユーザタイプ毎の

利用状況の予測が不足

長期的な利用状況の予測が不足

不用意操作の予測が不足

▲

ユーザの操作負荷の予測が不足

シーンバリエーションの全体像が理解できない

シーンの種類、順番、配置は覚えられない

・ヒューマンファクターの不足によるリスク増大事例

5 /44

(7)

２．システムを構成するソフトウェアの

高信頼化の重要度

(8)

₇

_/44

http://www.ipa.go.jp/sec/software/index.html

ソフトウェア信頼性の見える化

（ソフトウェアグループ）

IPA/SEC ソフトウェア高信頼化

(9)

₈

_/44

・利用者視点に立ったソフトウェア信頼性の見える化

(10)

■自動車電子デバイス向け規格

（国家運輸安全委員会）

NHTSA Driver Distraction Gidelines

Drivers whose eyes glance away from the road

for more than

two seconds

increase the risk of a

crash by at least two times, according to a study

commissioned by the National Highway Traffic

Safety Administration.

The National Transportation Safety Board

recommends similar regulations for all 50 states

after investigating a deadly 2010 Missouri chain-

reaction accident involving two school buses

caused by a 19-year-old driver after he sent or

received

11 text messages

just before the pileup.

02/16/2012,

The National Highway Traffic Safety

Administration proposed new dashboard

technology guidelines that calls for automakers

to ensure these new systems are automatically

disabled once a vehicle is moving to deter

distracted driving.

（抜粋）

登場！「気が散ることへのガイドライン」

・第三者による客観的評価の仕組み

■パッケージソフトウエア品質認証制度

ISO25000およびHCDの観点からエキスパートレビュー実施時の所感

「カタログ」内のアピールワード（重要機能）毎に「操作マニュアル」内

に説明があるかどうか（マッチングチェックのみ）

ただし、認証申請書における対象ユーザー、利用目的、利用状況の

記述が具体性に欠けるため、合否、要確認事項、要追記の必要性

の判断に影響を与える可能性がある。

一般社団法人コンピュータソフトウェア協会

平成24年度パッケージソフトウェア品質基準委員会

PSQ認証制度はどのように品質を認証するか

本認証制度はJISX25051（ISO/IEC 25051）に基づき規定されています。

9 /44

(11)

HMI関連

の

メトリクス

HMI関連

の

メトリクス

SEC journal vol.7 No.2 Jun. 2011 p.58

利用者にわかりやすくソフトウエア品質を説明する仕組み

・第三者による客観的評価の仕組み

ソフトウエア品質監査制度（仮称）におけるHMI関連のメトリクスの役割

(12)

■電子政府ユーザビリティガイドライン

■人間中心設計（HCD）専門家

資格認定制度

・第三者による客観的評価の仕組み

地方自治体Webサイトの

ユーザビリティ評価（引越部門）２００８

結果報告

11 /44

(13)

・ソフトウエア品質（国際規格）の動向

12 /44

(14)

・ソフトウエア品質（国際規格）の動向

13 /44

(15)

SQuaREでの

ユーザビリティの位置づけ

ソフトウエア

品質

利用時の品質

システム/外部品質

ソフトウエア/内部品質

機能的適切さ

パフォーマンス

の効率

ユーザビリティ

互換性

信頼性

安全性

有効さ

効率

満足度

危険の回避

適切さ

認識しやすさ

学習しやすさ

操作しやすさ

エラー保護

メンテナンス性

移植性

審美性

アクセシビリティ

利用状況の

適用範囲

CIFの影響

Apple社ガイドライ

ンに近似

品質特性

副品質特性

・ソフトウエア品質（国際規格）の動向

ISO/IEC25000シリーズ

(SQuaRE)

Software product Quality Requirements and Evaluation

(16)

・ソフトウエア品質（国際規格）の動向

15 /44

SQuaRE 構成

と標準規格計画

システム及びソフトウェア品質の見える化

-

経済産業省

システム及びソフトウェア品質の見える化、確保及び向上のためのガイド

付録

国内のシステム及びソフトウェアの品質保証に係る成果物情報

平成22 年3 月

ソフトウェアメトリクス高度化プロジェクト

プロダクト品質メトリクスWG

(17)

HCD-Net 利用品質メトリクスSIG で受け皿を表明

↑

HMI(UI)に関しては計画がない

・ソフトウエア品質（国際規格）の動向

16 /44

HCDライブラリー第1巻

人間中心設計の基礎

2013年5月

株式会社近代科学社

(18)

３．品質の観点からユーザビリティを

HMI開発に盛り込む

(19)

・機能性

・信頼性

・使用性

・効率性

・保守性

・移植性

ISO 9126

Software Product Quality

ソフトウェア品質特性

小樽商科大学

平沢尚毅氏

ESEC2005専門セミナー資料より

製品に属する品質

ユーザー

日常情報

ユーザビリティ

ノウハウの活用

人が使った結果としての品質

ユーザー

利用品質（ユーザビリティを品質として扱う）

単体では扱えない

ユーザタイプで捉える

民

既存の枠組み

日常生活からの

期待/要望

想定外への対応

メーカ

・ソフトウェア開発の総合的な品質特性（ISO9126）の使用性を強化

18 /44

(20)

既存の枠組み

形状/重さ

加工精度

キーボード押下圧

耐久性

・

全体サイズ

画面サイズ

キーピッチ

処理速度

・

利用状況

・ユーザー：主婦、初心者

・作業：

家計簿、友人との電子メールの連絡

・作業環境：食卓、主に午後、

・購入動機：そろそろ私も買ってみようかな

ボーナス商戦での割安購入

→使える度合いを把握できないまま入手

eｔｃ.

仕様品質

製造品質

Keyboard

利用品質

小樽商科大学

平沢尚毅氏

ESEC2005専門セミナー資料より

Keyboard

文字のアサイン

機能のアサイン

H/WとS/Wの良好な関係

（MSG※の向上）

※MSG：Matching between SUI & GUI＊

＊SUI: Solid User Interface GUI: Graphic User Interface

（ハードウエアの操作性）

（ソフトウエア画面の操作性）

契約できない、

設定できない、

必要な文字が打てない、

別の人に送っちゃった

メールでこんなに

簡単に沢山の人と

お話できるんだ！

新機能、高性能、先端デザインだが結局・・・

使えない、使いにくい、情報を紛失した・・・

こんな事象を防ぐ品質

・ソフトウェア開発の総合的な品質特性（ISO9126）の使用性を強化

パソコンで言えば

19 /44

(21)

「組込みソフトウェア開発モデル」

（

ESPR : Embedded System development Process Reference）

ありがちな現象

・システム品質と利用品質を繋ぐ

ユーザがエラーをした時の

対処方法がない！

試作途中にクライアントから、もしくは

リリース後にクレーム！

・結果として仕様変更

・設計変更、手戻り

画面デザイン

が不適切で

誤操作が頻発！

ユーザのニーズに合わせた機

能を追加したい！

制約だらけなんだけれど

最初に言ってくれれば

できたのに・・・

20 /44

(22)

ユーザ側

機能

ＵＩ

タスク

操作

システム側

要求定義

レベル

設計

レベル

User Experienceを組込みシステムに実装するための開発プロセスに関する提案

小樽商科大学紀要論文第60巻4号

73-88

平沢尚毅

尾形慎哉

鱗原晴彦

UI設計プロセスのための基本的な考え方

・システム品質と利用品質を繋ぐ

21 /44

(23)

利用品質

システム品質

×

？

期待されていること

・システム品質と利用品質を繋ぐ

「組込みソフトウェア開発モデル」

（

ESPR : Embedded System development Process Reference）

(24)

1. 意図したものが適切に動かない

2. 使っていて、危険な目にあった

3. 使い方がわからなくて使えない

4. 使えるが、使いづらい

5. 使っているけどおもしろくない

6. 自然に使うことができる

不良品！

未製品

製品



使っていて楽しい。



離せなくなっている。



ついつい使っている。

競合優位

小樽商科大学

平沢尚毅氏

ESEC2005専門セミナー資料より

対策：機能安全

対策：Small Usability

対策：Big Usability

「ユーザから見た品質」の段階

UX

経験価値

・利用品質の基礎的要素であるユーザビリティと定量化事例

23 /44

(25)

Big

Usability

Big

Usability

Small

Usability

Small

Usability

使いにくくて困るものから

違和感なく使えるものへ

気にならずに使えるものから

感動して使えるものへ

マイナス要因の克服

プラス要因の提案

Satisfaction !

創造的ユーザビリティ

標準的ユーザビリティ

・利用品質の基礎的要素であるユーザビリティと定量化事例

24 /44

(26)

安全安心

不安全

不安心

不安全

不安心

Big

Usability

Big

Usability

経験価値

UX

Small

Usability

Small

Usability

機能安全

_{リスク軽減}

_{リスク増大}

やはり、Small Usabilityは基礎として重要

・利用品質の基礎的要素であるユーザビリティと定量化事例

25 /44

(27)

開発者とユーザの意識のズレを客観的に明示

ユーザテスト結果から操作時間に着目した結果

NEM

:

N

ovice

E

xpert ratio

M

ethod （問題点の発見）

ある操作ステップから

次の操作ステップに移るまでの時間を測定

客観的な数値情報となって現れた！

・利用品質の基礎的要素であるユーザビリティと定量化事例

(28)

Time

40

30

20

10

0

40

30

20

10

0 初心者

一般ユーザ

（Novice）

設計者

熟練ユーザ

(Expert)

次のボタンが

押せない

表示の意味

が不明

入力がたいへんで

時間が掛かる

内容を確認する

慣れていても

入

力はたいへん

内容は確認する

倍率

20

15

10

5

0 Ｔ

ni

Ｔ

ei

Ｒi＝

初心者・一般ユーザ

の操作時間

設計者・熟練ユーザ

の操作時間

‥‥m = i

14

13

12

11

10

9

8

7

6

5

4

3

2

1 _ステップ

操作

ステップ

操作モデルが一致

操作性能の限界

操作モデルの不一致

改善が可能

（2005年米国特許取得）

（2007年日本特許取得）

27 /44

(29)

Time

50

45

40

35

30

25

20

15

10

5

ステップ１－

電話帳を表示する

ステップ２－

カ行へ移動する

ステップ３－

サ行へ移動する

ステップ４－

詳細を表示する

ステップ５－

会社へ電話をかける

ステップ６－

終話

TO GAPFINDER

10

9

8

7

6

5

4

3

2

1 4.5倍以上のタスク

重要な問題がある

多重課題のタスク

2倍未満に

注）本タスクは2001年頃

倍率

携帯電話の場合

「佐藤さんの会社に電話を掛ける」

【NEM評価】

・利用品質の基礎的要素であるユーザビリティと定量化事例

28 /44

(30)

e-GOV NEM評価

6.20 （付属資料４

電子政府ユーザビリティ基本調査結果報告）

・利用品質の基礎的要素であるユーザビリティと定量化事例

(31)

４．利用品質を構成する

「HMI品質」に着目する

(32)

経営レイヤー

プロダクトレイヤー

UI （HMI）

システムレイヤー

経営品質

サービス品質

UI品質（概念がない）

KPI

バランススコアカード

SLA

ソフトウエアレイヤー

システム品質

ソフトウエア品質

メトリクス

の有無

△

×

○

○ サービス＆安全レイヤー

ブリ

ッ

ジ

ン

グ

要

素

の

抽

出

↓参考事例

結び付きが難しい

結び付きの可能性がある

結び付きがある

ブリッ

ジ

ン

グ

要

素

の

抽

出

ブリッ

ジ

ン

グ

要

素

の

抽

出

連携

・バ

ト

ン

可能なメ

ト

リ

ク

ス

の

抽

出

品質作り込みガイド

・利用品質の５つの活動領域

31 /44

(33)

Relationship of

quality model and metrics

解釈

指標

Quality

Model

Metrics

導出測定量

測定の関数

（分析）モデル

outcome

Usability

Functionality

Portability

Recognizability

Learnability

Operability

property

….

……

formula

derived measured

（analysis）

model

indicator

interpretation

Measurement method

Quality measure element

基本測定量

測定方法

Measurement method

Quality measure element

基本測定量

測定方法

HCII2013 ID - 2182 26th July 2013

Managing HMI quality in embedded system development Haruhiko Urokohara, Hirasawa Naotake

・HMI品質を管理できる定量的な品質基準

HMI quality

(34)

1

Add

1

Number of steps of screen

6 point

1 [Improved UI]

[Original UI]

1. 基本操作の画面遷移をカウント

HMIメトリクス事例：画面遷移が複雑で煩わしい

8 point

メール振り分けフォルダ

新規登録作業

Add

・HMI品質メトリクスと導出方法

33 /44

(35)

3. 振り出しに戻るような遷移

は最も煩わしい

2. 画面遷移上、階層が

増えると煩わしい

Add

1 +1

+1

1 +1

1

1 +1

1

Add

1

12 point

7 point

1 +1

[Improved UI]

[Original UI]

1. 基本操作の画面遷移をカウント

HMIメトリクス事例：利用品質競争へ（重み付けの活用）

メール振り分けフォルダ

新規登録作業

・HMI品質メトリクスと導出方法

34 /44

(36)

3. 振り出しに戻るような遷移

は最も煩わしい

2. 画面遷移上、階層が

増えると煩わしい

Add

1 +1

+1

1 +1

1

1 +1

1

Add

1

12 point

7 point

1 +1

[Improved UI]

[Original UI]

1. 基本操作の画面遷移をカウント

HMIメトリクス事例：利用品質競争へ（重み付けの活用）

メール振り分けフォルダ

新規登録作業

・HMI品質メトリクスと導出方法

品質特性：画面操作のしやすさ

属

性：画面操作遷移数

尺

度：画面操作ステップ数

測定方法：操作画面数を数える（単位個）

品質特性：品質としての目的や効果の想定

属

性：計測する対象の設定、明確化

尺

度：計測値の判断基準、評価基準

測定方法：計測値の数え方、単位

35 /44

(37)

経験則的な手順例

１）メトリクスを考察しやすい着目点

・作業効率に関すること（操作手順と表示レイアウトの不一致をなくす等）

・扱いにくさに関すること（人間工学的な寸法関係）

２）測り方を複数案考える

・何を測るか，どこを測るか

・単位に特徴が出せるか

３）メトリクス名称も重要

・論文のタイトル付けと同様，内容が的確に伝わるかどうかが問われる

４）計測した値が有用か

・HMI品質の優劣，差異，関係性などが明確になるか

５）運用工数も含めて有効かどうか判断

・日常業務で実施可能か（データ収集，入力作業時間，ツールの有無等）

・HMI品質メトリクスと導出方法

36 /44

(38)

Quality management lifecycle

Quality goal setting

Quality plan

Development

process

Operation,

maintenance

Setting quality

criteria

Apply quality

criteria

Evaluate quality criteria

Judge quality

criteria

Plan

Do

Check

Action

Feedback

品質目標設定

品質計画

開発プロセス

運用・保守

品質測定基準の設定

品質測定基準の活用

品質測定基準の評価

品質測定基準の判定

・HMI品質メトリクスと導出方法

品質マネジメントサイクル

37 /44

(39)

継続的に精度の向上を目指す

•時代と共に変わるユーザ像

•技術革新による機能やサービスの変化

•新たな操作デバイスの登場

理想的なマネジメント対象

•測定すべき対象

•メトリクスの許容値

•採用して良い値のレンジ

•ユーザタイプやシナリオも含めたユースケースが異なる場合の

メトリクス値の変化

品質マネジメントサイクル

・HMI品質メトリクスと導出方法

38 /44

(40)

５.現段階での課題と今後への期待

(41)

開発現場に活用したい

•ビジネスにおけるシステムの開発現場ではHCDは後回しとなるケース

• HMI品質の重要性を理解しながらも，優先されるのは納期やコスト

•ガイドラインを整備しても有効に機能していない

•このような状況を好転させるためにメトリクスが効果を発揮

方法論、体系の確立

•抽出するための効率的なノウハウが存在しない

•様々な役割を担うメトリクスが必要

•多くのシステムで共通する基本的なHMIメトリクス

•組み込み系システム向け，業界向け，個別製品向けのHMIメトリクス

目指すべきポイント

•システム開発の現場で、エンジニア自身が必要性を強く感じること

•正しく利用できるもの

•メトリクスはエンジニア，デザイナー，評価部門など全ての開発関係者の”共通言語”

としての役割を果たし，HMI品質を向上させる”共有ツール”へ

40 /44

(42)

HCDの取組み不足は必ずUI設計の何処かに「症状」として現れる

!

＋日常的な健康対策

（ガイドライン）により、

素人でも判断できる

【重要】！

看護士、専門技師の参加が必要な

場合も有れば、医者の診断、手術が

必要な場合もありえる

健康診断の検査結果表

UI(HMI)品質

検査結果表

＋数値指標

UI(HMI)

メトリクス値

16 UI(HMI)

メトリクス値

280 ＋日常的な健全対策

（ガイドライン）により、

設計者でも利用できる

HCD-Net認定

専門家の診断

外科手術！？

中性脂肪

270 γ-GTP 800

41 /44

(43)

利用品質やユーザビリティに直接関係するHMI品質

開発上流から評価するための方法

HMI品質メトリクスの導入を紹介

HMI品質を測定・評価

漸次的に改善

HMI品質メトリクスの初期設定は経験に基づいて設定

基本となるHMIメトリクスを準備

妥当性を確認

より精度の高い基準値

システム品質

マネジメントライフサイクル

製品の安全性を確保し、開発効率を向上させ、国際的な競争力を上げるためには、

社会的な基盤としてHMI品質メトリクスが整備されてゆく必要がある

開発の文脈に応じてカスタマイズ

システム開発ライフサイクル

HMI品質の

総合診断

システム操作に関連する

安全性診断

HMI品質のマネジメント

UI(HMI)品質

検査結果表

＋数値指標

UI(HMI) メトリクス値

16

UI(HMI) メトリクス値

280

42 /44

(44)

ご清聴ありがとうございました。

HMI設計およびHCD関係者が、ソフトウェア品質全体における

HMI/HCDの位置付けを理解するセミナーを企画

!!

http://www.hcdnet.org/

43 /44

株式会社U’eyes Design 鱗原晴彦

urokohara@ueyesdesign.co.jp

(45)

ご案内

利用品質の理解を深めるために

ソフトウェア品質を学ぶ（全4回）

芝浦工業大学

芝浦キャンパス

利用品質の理解を深めるために

ソフトウェア品質を学ぶ（全4回）

芝浦工業大学

芝浦キャンパス

2014年10月3日（予定）

込山

俊博

NEC Corporation

SQuaRE－システム／ソフトウェア品質マネジメント

の全体像を知る（仮）

2014年11月28日

平山雅之

教授

日本大学

理工学部

ソフトウェア品質マネジメント

-基本と実適用のポイント

2014年7月31日（木）

野中

誠

教授

東洋大学

経営学部

ソフトウェア品質概論:

ソフトウェア品質の基本中の基本の概念を学ぶ

2014年8月29日（金）

東基衞氏

元早稲田大学理工学術院

創造理工学部経営システム工学科教授

利用時の品質とシステム・ソフトウェア製品の品質

株式会社 U’eyes Design

ソフトウェア品質の高信頼性および説明責任に有効な

利用品質メトリクスの解説

～利用品質を構成する5つの領域の一つ

「HMI品質」の役割を考える～

2014年6月24日

株式会社U’eyes Design

代表取締役 鱗 原 晴 彦

⽬次

１．「利用品質メトリクス」が注目される背景

・システムが大規模・複雑化、機器やサービスの連携

・ヒューマンファクターの不足によるリスク増大事例

２．システムを構成するソフトウェアの高信頼化の重要度

・利用者視点に立ったソフトウェア信頼性の見える化

・第三者による客観的評価の仕組み

・ソフトウエア品質（国際規格）の動向

３．品質の観点からユーザビリティをHMI開発に盛り込む

・ソフトウェア開発の総合的な品質特性（ISO9126）の使用性を強化

・システム品質と利用品質を繋ぐ

・利用品質の基礎的要素であるユーザビリティと定量化事例

４．利用品質を構成する「HMI品質」に着目する

・利用品質の５つの活動領域

・HMI品質を管理できる定量的な品質基準

・HMI品質メトリクスと導出方法

５.現段階での課題と今後への期待

1

/44

１.「利用品質メトリクス」

が注目される背景

JR 東日本株式会社

新幹線統合システム障害

Early morning January 17, 2011

Nikkei Business Publications, Inc.

Yahoo Japan Corporation

Document image

・システムが大規模・複雑化、機器やサービスの連携

・システムが大規模・複雑化、機器やサービスの連携

出典：重要生活機器連携セキュリティ研究会

http://image.itmedia.co.jp/l/im/ee/articles/1406/13/l_tm_140613ccdssg01.jpg

ハイブリッドシステムのブレーキ制御や

ABSの仕組みの働きと減速スピードとのバランスを

ユーザモデルに合わせて調整できたら・・・

トラフィック情報量の増加

ユーザタイプ毎の

利用状況の予測が不足

長期的な利用状況の予測が不足

不用意操作の予測が不足

▲

▲

ユーザの操作負荷の予測が不足

シーンバリエーションの全体像が理解できない

シーンの種類、順番、配置は覚えられない

・ヒューマンファクターの不足によるリスク増大事例

5

/44

２．システムを構成するソフトウェアの

高信頼化の重要度

7

/44

http://www.ipa.go.jp/sec/software/index.html

ソフトウェア信頼性の見える化

（ソフトウェアグループ）

IPA/SEC ソフトウェア高信頼化

8

/44

・利用者視点に立ったソフトウェア信頼性の見える化

■自動車電子デバイス向け規格

（国家運輸安全委員会）

NHTSA Driver Distraction Gidelines

Drivers whose eyes glance away from the road

for more than

two seconds

increase the risk of a

crash by at least two times, according to a study

commissioned by the National Highway Traffic

Safety Administration.

The National Transportation Safety Board

recommends similar regulations for all 50 states

after investigating a deadly 2010 Missouri chain-

reaction accident involving two school buses

代表取締役鱗原晴彦

₇

_/44

₈

_/44