機械学習応用システムのアーキテクチャ・デザインパターンのArchiMateを用いた表現方法

(1)

機械学習応用システムのアーキテクチャ・デザインパターンの

ArchiMate

を用いた表現方法

Representing Architecture and Design Pattern for Machine

Learning Systems based on ArchiMate

竹内広宜

1∗

_土肥拓生

2

_鷲崎弘宜

3

_奥田聡

4

Hironori TAKEUCHI

1

_{Takuo DOI}

2

_{Hironori WASHIAKI}

3

_{Satoshi OKUDA}

1

_武蔵大学

2

_{ライフマティックス株式会社}

3

_{早稲田大学}

4

_{北陸先端科学技術大学院大学}

1

_{Musashi University}

2

_{Lifematics Inc.}

3

_{Waseda University}

4

_{Japan Advanced}

Institute of Science and Technology

概要: 機械学習技術を活用したシステムの開発が多く行われるようになり，プロジェクト実践で得 られた設計，実装さらにプロジェクト管理に関する知見を体系化する必要性が増している．本研究では，機械学習応用システムのアーキテクチャ・デザインパターンについて ArchiMate を用いて表現する方法を提案する．そして，実際に文献サーベイから導出されたパターンを提案手法で表現することで，その有効性などを確認する．

Abstract: In this research, we consider projects where we develop systems using machine learning

techniques. For conducting these projects effectively, it is required to construct reusable knowledge. For example, software patterns are collected from project practices to conduct machine learning projects effectively. We propose an enterprise architecture based modeling approach for represent-ing these patterns. We show some example patterns represented by ArchiMate and discuss the effectiveness.

1 はじめに

人工知能 (Artificial Intelligence: AI) の代表的な要素技術である機械学習 (Machine Learning: ML) 技術が現在，社会の様々な場に適用され始めている．本研究では，ML 技術を企業の業務活動に適用する ML サービスシステムの開発プロジェクトを研究対象とする． ML サービスシステムの開発プロジェクトは様々な領域で実践されており，様々なノウハウが蓄積されている．ソフトウェア開発ではプロジェクト実践で得られたなノウハウをパターンという形で蓄積し，再利用することが行われている．ML サービスシステムの開発においても同様に，再利用可能な知識としてパターンを整備する試みが始まっている．一方，ML サービスシステムの開発では，従来のシステム開発以上に，開発者以外のプロジェクト関係者が要求からテスト，サービスイン後の運用までに関わる必要がある．そのため，開発の際に適用するパターンについて，プロジェクト関係者全体で共通理解できる必要がある．しかしなが ∗_{連絡先：武蔵大学経済学部経営学科} 〒 176-8534 東京都練馬区豊玉上 1-26-1 E-mail: [email protected] ら，ML サービスシステムの開発における従来の記法を用いたパターンは構造化が十分ではなく，目的に応じてパターンの必要な部分にのみ着目するといったことが困難となっている．そこで，本研究では，パターンを構成する要素間の関係も含めパターン全体を図式化する手法を考える．具体的には，パターンの記載において従来用いられている項目を細分化し，それらをエンタープライズアーキテクチャのモデリング言語である ArchiMate の要素と対応づけることによって図式化する．そして，実際に整備されている ML サービスシステムのアーキテクチャ・デザインパターンを対象に本手法を適用し図式化し，その効果を確認する．本論文の構成は以下の通りである．2 節で関連研究を述べた後，3 節でエンタープライズアーキテクチャと ML サービスシステム，そして，ML サービスシステムに関するパターンについて説明し，研究仮説を述べる．そして，パターンの表現に関する提案手法を 4 節で説明する．そして，5 節で実際のパターンについての表現例について述べ，6 節で考察を行った後，7 節でまとめを行う．

(2)

2

3 研究対象と研究仮説

3.1 エンタープライズアーキテクチャと ML

サービスシステム

エンタープライズアーキテクチャ(Enterprise Archi-tecture: EA) は企業の活動をモデル化する手法であり， Open Group が開発した ArchiMate[9] が，EA 用の標準モデリング言語として広く使われている．ArchiMate では対象をビジネス，アプリケーション，テクノロジーの層に分けて表現するとともに，対象業務のゴールなども動機拡張として表すことができる．本研究では， ArchiMate を用いて ML 技術を活用したシステム (ML サービスシステム) の開発プロジェクトをモデル化する．機械学習 (ML) は，説明変数 (特徴) を入力として目的変数 (結果) を予測する技術である．この時，説明変数と目的変数のペアからなるデータを訓練データとして集め，予測に用いるモデルを求める．つまり，ML サービスシステムは訓練データを ML アルゴリズムに投入し訓練済みモデル (ML モデル) を作成する部分 (訓練エンジン) と，ML モデルに対して入力データを投入し出力を得る部分 (ランタイムエンジン) に分かれる．ML サービスシステムを開発する場合，対象業務のデータから訓練データを準備し，そこから学習によって ML モデルを作るプロセスと，ML モデルを利用する ML ランタイムエンジンを使った業務アプリケーション (ML アプリケーション) を開発し，それをユーザーが利用するプロセスがある．これらの要素を ArchiMate で表現すると図 1 となる．図 1: ArchiMate で表現した ML サービスシステム

3.2 ML サービスシステムのアーキテクチ

ャ・デザインパターン

ソフトウェアパターンは，典型的な設計をまとめた結果である [17]．そしてソフトウェアパターンを再利用することで，ソフトウェア開発を効果的に行うことが期待されており，様々パターンが蓄積・整備されている [16]．ソフトウェアパターンでは，通常，「どういう時に」「こうしたければ・こういうことを考慮して」「こうしなさい」「そうすれば，こうなる」といった項目を作り，それぞれに対して内容を記載する．このように，ある程度構造化して文書化することで，パターンの理解や比較が容易になることが期待される． ML サービスシステムについては，文献収集をもとにしたアーキテクチャ・デザインパターンの整備が行われている [10][11]．これらのパターンでは，以下の項目で文書化されている． • Intent: パターンで達成すること • Problem: 改善したい状態や現状についての説明 • Solution: パターンで実施する内容

(3)

• Context: パターンの適用先の状況

• Discussion: パターンを適用する際の前提条件や

制約

パターンの例として，“Data flows up, model flow down with federated learning”[10] があるがこのパターンは表 1 のように記載される．このパターンを適用し表 1: パターンの例 (Data flows up, model flow down with federated learning)

!"#$"# _{!"#$%&'()*+,-./)012345#678 9:;<=)} ;>&'(9?/)@AB2CDE6:;F9GHIJKLMLN)OPB2C %&'()$* _{QRSTKUVWXYZM[\]LJL#^236'(#5_\``23>+a} b\^2Ccd6:;F9!"#ef9gh\^2ij#Y6'(?/\k \23>+ab\^2Clm#6'(?/h09dn#:;F9!"op)q rB2ij#Y6MLN9GHIJKL)stB2uv\^2C +'),#-'" _{w oLx[MJIUX'(ZM[)y`B} z oLx[MJIUX78#'(ZM[){|B2 } oLx[MJIU~9MLN)•3€•‚ƒ#6'(ZM[)„{|B2 .'"#$/# _{7…:;9MJIU†U‡Lˆ‰Š‹ŒXy•ŽG••LK‘‹9’“”•–'(} ZM[9—;9˜#™;B2 0-12,11-'" _! _{oLx[MJIU#š›œ••žŸ\^2 3} ! 789:;¡¢#,£d„{|#¤¥¦§¨\Xœ> 3 ! '(ZM[4©9ªj\X«2 3 て開発したアプリケーションは表 1 に示した Solution に沿って，図 2 のように動作する．アプリケーションは，予測時にサーバー側にある訓練済みモデルにアクセスするのではなく，各端末に配置されたモデルを利用する．そして，各端末での利用に応じて訓練済みモデルを更新するが，それらをサーバー側に集約する際は，利用者のログデータではなく，モデルの差分をアップロードする．パターンの適用により，利用者のプラ ! ! " " # !"#$%&' (%)*+

図 2: Data flows up, model flow down with federated learning の Solution(解決策) イバシーを保護しながら，ML サービスシステムの利用で入力に対する予測結果を得るまでの時間を短くしたアプリケーションの開発が可能となる．

3.3 研究仮説

ML サービスシステムのアーキテクチャ・デザインパターンでは，ある方策によって，複数の課題を解決するものがある．例えば，上記で述べたパターンでは，入力の応答速度の改善と，プライバシーデータの保護が解決される．このようなパターンでは，Problem や Intent 内に書かれた要素同士に関係性があるが，自然文で書かれた記述ではそれらの関係性を把握することが難しい状況が発生しうる．また，ML サービスシステムの開発にはシステムを適用する領域 (企業であれば事業部門) の関係者が参画するため，多様なステークホルダーが利用するパターンに対して共通理解を持つ必要がある．そのような状況を考えると，パターンの構成要素とそれらの関係を明示したモデルを作成することが理解を促進する上で重要だと考えられる．パターンの構造化や表現方法については [3][14] で検討されているが，ML サービスシステムの開発の特徴から，ビジネスと技術の双方の観点でパターンを表現することが重要だと考えられる．一方，ビジネスモデルやイノベーションについて，様々な記述法が存在するが，ビジネスと技術の双方の観点からビジネスモデルやイノベーションを図式化する試みが行われている [12]．この研究では，イノベーションの構成要素とそれらの間の関係を EA のモデリング言語である ArchiMate で表現する方法が示されている．本研究では，この研究を参考に ML サービスシステムのパターンについて，より構造化した記載方法を提案する．具体的には EA の記述言語である ArchiMate を用いて ML サービスシステムのアーキテクチャ・デザインパターンを表現する．そしてこの表現方法によって， • ML サービスシステムのアークテクチャ・デザイ ンパターンにおける要素間の関係を明確化できる • 図式化言語で構造化することによってパターンを 過不足なく記述することができることを実践例を通して確認する．

4 EA

モデリングアプローチによる

ML

応用システムのアーキテクチ

ャ・デザインパターンの表現

4.1 構成要素の細分化と対応づけ

本研究ではまず，ML サービスシステムのアーキテクチャ・デザインパターンを構成する既存の構成要素を細分化する．表 1 に示した例をはじめとした既存パターンの観察から，例えば Problem 記述には，「改善したい状態」「現状の分析結果」「最終的に行いたいこと」が書かれていることがわかった．また，Context 記述には「パターンを適用するフェーズ」「ランタイムシステムが稼働するデバイス」「システムの利用者」が書か

(4)

れていた．これらを元に，パターンの構成要素を分解し，対応する ArchiMate における EA の構成要素を同定した．これらの関係を表 2 に示す．

表 2: パターン構成要素の細分化と図式化要素との対応づけ

!"#$%&' ()*+,&' -./012345%&' 674574 !"#$%89:;<+,=>? @A4/BC5

D.BEF5C GH+,=IJ K.1L5.

GH+,=IJMN=O%)PQR -SS5SSC574 GHMTUOVWXYZ>? [B3F

\BFA41B7 ]^_Z>? D.17/1`F5

aB745b4 !"#$cdefg#h iAS175SSj`.B/5SS

klmnopqrstl K5L1/5

klmn%u9v -/4B.

K1S/ASS1B7 !"#$c89_Zw:%xyz{| aB7S4.3174

4.2 ArchiMate を用いたパターンの表現

表 2 で同定された構成要素間には関係性を定義することができる．例えば，「パターンで実施すること (Prin-ciple)」によって「達成したいこと (Outcome)」が実現され，それが「改善によって得られること (Goal)」につながる．また，「パターンを適用する活動 (Business Process)」が ML サービスシステムを開発する活動に割り振られる．これらの構成要素間の関係性を定義した結果を図 3 に示す．図 3: ArchiMate で表現したパターンの構成要素

5 実施例

ここでは，[10] に記載されているパターンの 1 つである “Encapsulate ML models with rule-base safe-guards” に対して提案手法を適用する． ML サービスシステムは，確率的な振る舞いをするため，全ての入力に対して正しい予測結果を出力するとは限らない．これは，例えばビジネス上の制約などにより出力が確定している入力に対して，異なる結果を出力する可能性があることを示しており，安全性を重視する領域で ML サービスシステムを導入する際の課題となっている．本パターンはそのような状況に対して，ルールベースシステムを導入し，ルールに適合する特定の入力については ML モデルを用いた予測を行わず，ルールベースシステムの結果を出力するというものである．パターンの記述を分解した結果を表 3 に示す．分解した結果を元に，図 3 を用いて本パターンを図式化した結果を図 4 に示す．図式化されたパターンでは上から，「パターンによってもたらされること」「パターンのシステム開発のどこで適用するのか」「パターンを適用して開発するシステムはどのようなものか」が示されている．複数の層に分けてパターンを構造化することで，プロジェクト実施時にパターンに関する議論を効果的に行うことが期待できる．例えば，プロジェクトで特定のパターンを適用する際，開発者だけでなく様々なステークホルダーを交え，その適用がプロジェクトのゴールに沿ったものになっているのか確認する必要がある．その場合は，図式化されたパターンの上層部に着目することで議論が効果的に行うことができる．また，複数のパターン候補があった場合，開発しているシステムがパターンの適用先として適切かどうかを開発者が評価する際には，図式化されたパターンの下層部に着目すれば良いとわかる．図式化されたパターンの各要素はパターンの各項目を細分化したものであり，対応関係がついている．よって，プロジェクト実践でノウハウが得られた際，図 3 を埋めることで，パターンの各項目について過不足なく記載できる可能性があることが実践例からわかった．

6 考察

実践例から，提案手法による ML サービスシステムのアーキテクチャ・デザインパターンの図式化によりパターンの構成要素間の関係を明示化できることが確認できた．これにより，プロジェクト関係者間で必要な箇所のみを参照することで議論を効果的に行える可能性があることがわかった．この点を検証するために実プロジェクトへの適用や実務家へのヒアリング調査などが必要である．また，プロジェクト実践によってノウハウが得られた際には，図 3 に示した図式法で一旦表現することで，パターンの各項目を過不足なく記載することができる可能性があることがわかった．提案手法を用いることで，パターン間の関係を表現することも期待できる．例えば，[3] では品質とその影響の観点でパターンをモデル化している．この考えを参考に，パターンの適用により最終的に改善される Goal を品質特性の語彙を用いて記載することで，パターン間の関連付けを行うことができる可能性がある．この

(5)

表 3: ML サービスシステムのアーキテクチャ・デザインパターン記述の分解例

!"#$%&' ()*+,&' -./012345%&' 67/389:;345<2=<>?@5;9<A14017<.:;5BC395<93D5E:3.@9!"#$%FGH)I+,JK L74574 !"#$%MNOPQ+,RST U:4/?>5 VWXYZ[\]^_%]`abcde%fRYg,hijkXlmnoYpqr\

s.?C;5> tu+,Rvw x.1y5. VWX tu+,RvwYzR{%)| JK -99599>574 ! ]àbcde}mn~z•€•‚XƒH„…†+o%‡ˆ‰+Š+Š‹ŒOg\,•ŽV WXYZ[\]^H2=••‘Y}’“o”Y•R ! ]àbcde}iV–Ogh—p•˜™ld#"%š›œŽ•žŸ Yp+¡¢ tuY£¤{I¥o¦\ST §?3; VW_%ž¨©ª« ¬?;:41?7 k-r\ST s.17/18;5 ¥–•O®ˆ¯^‚e#e°#¨%±²³%Ó]àbcdeHµ¶·e*r\ ¸?745¹4 !"#$Hº»Ÿ¼#œ ½:917599< 8.?/599 ! ]àbcdeH¾¿À¨ÁÂWÃÄ£ÅÆŸ Ç¼È%ÉÊ ! ]àbcde%ËÌŽÍNŽcÎ"ž$Ï À¨ÁÂ‰Ð•dÑ›¨ x5y1/5 VWXYZ[\À¨ÁÂ‰Ð•dÑ›¨ À¨ÁÂ%ÒNÓ -/4?. VWXYZ[\À¨ÁÂ%ÒNÓ x19/:991?7 !"#$MNO%ÔÕlÖ× ¸?794.3174 Ø-ような関連付けを検討するために，本手法に基づきパターンを図式化し蓄積することが必要である．これは今後の課題である．また，本手法は ML サービスシステムのアーキテクチャ・デザインパターンに限定されないと考えられる．より一般のソフトウェア開発で用いられているパターンでも同様の図式化が可能なのか， ML サービスシステムの開発に限定される部分はどこにあるのか，といった調査が必要となる．これも今後の課題である．

7 まとめ

本研究では，ML 技術を企業の業務活動に適用する ML サービスシステムの開発プロジェクトを研究対象とし，ML サービスシステムの開発において整備されたパターンについて，図式化する手法を考えた．具体的には，パターンの記載において従来用いられている項目を細分化し，それを EA のモデリング言語である ArchiMate の要素と対応づけることによって図式化した．そして，実際に整備されている ML サービスシステムのアーキテクチャ・デザインパターンを対象に図式化を行った実践から，ML サービスシステムのアークテクチャ・デザインパターンにおける要素間の関係を明確化できること，そして，図式化言語で構造化することによってパターンを過不足なく記述できることが確認された．プロジェクト実践を通した図式化されたパターンの効果の測定や，パターン間の関係を表現するための図式化手法の拡張が今後の課題である．

謝辞

本研究の一部は，JST 未来社会創造事業「サイバー世界とフィジカル世界を結ぶモデリングと AI」領域研究探索段階採択プロジェクト (JPMJMI18BB) の支援を受け実施した．

参考文献

[1] C. Alexander ほか著, 平田, 訳. パタン・ランゲージ:環境設計の手引き. 鹿島出版会, 1984.

[2] S. Amershi, A. Begel, C. Bird, R. Deliner, H. Gall, E. Kamar, N. N. B. Nushi, and T. Zim-mermann. Software engineering for machine learning: A case study. In Proceedings of the

41st International Conference on Software Engi-neering, pp. 291 – 300, 2019.

[3] N.-L. Hsueh and W.-H. Shen. Handling nonfunc-tional and conflicting requirements with design patterns. Proceedings of the 11th Asia-Pacific Software Engineering Conference (APSEC ’04), pp. 608 – 615, 2004.

[4] M. Kim, T. Zimmermann, R. DeLine, and A. Begel. The emerging role of data scientists on software development teams. In Proceedings

of the 38th International Conference on Software Engineering, pp. 96–107, 2016.

[5] F. Kumeno. Software engineering challenges for machine learning applications: A literature re-view. Intelligent Decision Technologies, 13:463 – 476, 2019.

[6] L. E. Lwakatare, A. Raj, J. Bosch, H. H. Olsson, and I. Crnkovic. A taxonomy of software engi-neering challenges for machine learning systems: An empirical investigation. In Proceedings of the

20th International Conference on Agile Software Development (XP), pp. 227 – 243, 2019.

[7] L. O. Meertens, M. E. Jacob, L. J. M. Nieuwen-huis, M. J. V. Sinderen, H. Jonkers, and D.

(6)

Quar-図 4: ML サービスシステムのアーキテクチャー・デザインパターンの ArchiMate による表現例

tel. Mapping the business model canvas to archi-mate. In Proceedings of the 27th Annual ACM

Symposium Applied Computing (SAC), pp. 1694

– 1702, 2012.

[8] H. Takeuchi and S. Yamamoto. AI service system development using enterprise architec-ture modeling. In Proceedings of the 23rd

International Conference on Knowledge-Based and Intelligent Information & Engineering Sys-tems(Procedia Computer Science vol. 159), pp.

923 – 932, 2019.

[9] The Open Group. ArchiMate 3.0.1 – A Pocket

Guide. Van Haren Publishing, 2013.

[10] H. Washizaki, F. Khomh, Y.-G. Gu´eh´eneuc, H. Takeuchi, S. Okuda, N. Natori, and N. Sh-ioura. Software engineering patterns for machine learning applications (sep4mla) - part 2. In

Pro-ceedings of the 27th Conference on Pattern Lan-guages of Programs (PLoP 2020), 2020.

[11] H. Washizaki, H. Uchida, F. Khomh, and Y.-G. Gu´eh´eneuc. Software engineering patterns for machine learning applications (sep4mla). In

Pro-ceedings of the 9th Asian Conference on Pattern Languages of Programs (AsianPLoP 2020), 2020.

[12] S. Yamamoto, N. I. Olayan, and J. Fujieda. e-healthcare service design using model based jobs theory. In Proceedings of International

Confer-ence on Intelligent Interactive Multimedia Sys-tems and Services(KES-IIMSS), pp. 198–207,

2018.

[13] H. Yokoyama. Machine learning system architec-tural pattern for improving operational stability. In Proceedings of IEEE International Conference

on Software Architecture Companion, pp. 267 –

274, 2019. [14] 鷲崎, 坂本, 大杉, 権藤, 服部, 久保, 小林, 大月, 丸山, 榊原. デザインパターンへのソフトウェア工学的取り組み. コンピュータソフトウェア, 29(1):130 – 146, 2012. [15] 山本. ArchiMate によるビジネスモデル表現能力の検討. 信学技報 KBSE2019-5, pp. 25 – 30, 2019. [16] 本位田, 吉田監訳. オブジェクト指向における再利用のためのデザインパターン. ソフトウェアパブリッシング, 2000. [17] 深澤監修, 鷲崎, 丸山, 山本, 久保著. ソフトウェアパターン:パターン指向の実践ソフトウェア開発. 近代現代社, 2007.