入出力データ長に着目した 入出力制御法に関する研究
令和 2年 9月
田辺 雅則
岡山大学大学院
自然科学研究科
目次
第1章 序論. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.1 研究の背景........................................................ 1 1.2 計算機資源の優先制御.............................................. 8 1.2.1 業務処理に求められる入出力処理の優先制御法..................... 8 1.2.2 入出力処理に対するカーネル機能................................. 9 1.2.3 関連研究.......................................................12 1.3 研究の内容........................................................16 1.3.1 研究の目的......................................................16 1.3.2 研究の課題......................................................16 1.3.3 評価に使用する業務システムと業務処理............................17 1.3.4 論文の構成......................................................18
第2章 入出力データ長に着目した入出力制御法. . . . . . . . . . . . . . . 19
2.1 入出力処理の課題..................................................20 2.1.1 オンライン処理とバッチ処理の混在環境における優先制御の必要性....20 2.1.2 業務システムの特徴と課題........................................21 2.2 オンライン処理とバッチ処理の特徴..................................25
2.3 I/O要求の処理時間の予備評価.......................................29 2.3.1 書き込みデータ長が異なるI/O要求の処理時間......................29 2.3.2 分析結果と考察.................................................31 2.4 入出力データ長に着目した入出力制御法(IOPC-DS法).................33 2.4.1 基本機能........................................................33 2.4.2 処理の流れ......................................................34 2.5 シミュレーションによる評価........................................36
2.5.1 評価観点........................................................36 2.5.2 計算機資源の割当て規則..........................................36 2.5.3 シミュレーションに使用する評価モデル............................38 2.6 結果と考察........................................................41
2.6.1 IOPC-DS法の評価...............................................41 2.6.2 プロセッサ数が多い計算機におけるIOPC-DS法の評価...............45 2.6.3 IOPC-DS法のI/Oサイズ分割の評価................................48 2.7 まとめ............................................................52
第3章 入出力制御法の実装と評価. . . . . . . . . . . . . . . . . . . . . . . . . . . 53
3.1 入出力データ長に着目した入出力制御法(IOPC-DS法)の実装と評価....54
3.1.1 入出力データ長に着目した入出力制御法(IOPC-DS法)の実装........54 3.1.2 IOPC-DS法の評価観点...........................................54 3.1.3 評価環境........................................................55 3.1.4 アプリケーションの処理内容......................................56 3.1.5 起動条件........................................................57 3.2 結果と考察........................................................59 3.2.1 処理時間........................................................59
3.2.2 I/Oサイズ分割の効果.............................................61 3.2.3 I/O要求の処理時間...............................................63 3.3 まとめ............................................................69
第4章 仮想計算機環境における入出力制御法の評価. . . .. . . . . . . 71
4.1 仮想計算機環境における入出力処理の優先制御の課題..................72
4.2 仮想計算機環境におけるIOPC-DS法の評価...........................75 4.2.1 評価観点........................................................75 4.2.2 評価環境........................................................75
4.2.3 評価用プログラム................................................77 4.3 結果と考察........................................................78 4.3.1 物理計算機における処理時間の評価................................78 4.3.2 仮想計算機における処理時間の評価................................84
4.3.3 I/O要求の処理時間の評価.........................................90 4.4 まとめ............................................................95
第5章 結論. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
5.1 成果..............................................................97 5.2 今後の課題.......................................................100
謝辞. . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101
参考文献. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103
図目次
図1.1 業務システムにおけるサーバ統合......................................2 図1.2 仮想化およびサーバ統合の導入........................................3 図1.3 クラウドの利用状況..................................................3 図1.4 ハードウェアの性能向上..............................................4 図1.5 オンライン処理とバッチ処理の形態....................................5
図1.6 カーネル機能の入出力処理の概観......................................10 図1.7 I/O要求の処理開始待ち時間..........................................11
図2.1 1日の運用における計算機資源の利用率の推移...........................21 図2.2 1日のシステム運用におけるバッチ処理数...............................25 図2.3 1日のピーク時間帯のトランザクション数...............................26 図2.4 オンライン処理とバッチ処理の処理時間................................27 図2.5 書き込みデータ長の分布.............................................28 図2.6 予備評価のための評価用プログラムの処理の流れ........................30
図2.7 同時実行数と平均書き込み時間の関係(1,000バイト換算).................31 図2.8 入出力データ長に着目した入出力制御法(IOPC-DS法)....................33 図2.9 IOPC-DS法の制御機構の処理の流れ...................................35 図2.10 オンライン処理とバッチ処理の処理時間(計算機1)....................42 図2.11 オンライン処理とバッチ処理のI/O要求開始待ち時間(計算機1).........44 図2.12 オンライン処理とバッチ処理の処理時間(計算機2)....................46 図2.13 オンライン処理とバッチ処理のI/O要求開始待ち時間(計算機2).........49 図2.14 I/Oサイズ分割の違いによるオンライン処理とバッチ処理の処理時間......50
図3.1 評価用プログラムの処理の流れ........................................57
図3.2 オンライン処理時間.................................................59 図3.3 バッチ処理の同時起動数なしのオンライン処理時間......................60
図3.4 バッチ処理時間.....................................................62 図3.5 オンライン処理のI/O要求の処理時間..................................64 図3.6 オンライン処理のI/O要求の処理時間分布(バッチ処理の同時起動数=2).....66 図3.7 オンライン処理のI/O要求の処理時間分布(バッチ処理の同時起動数=4).....67 図3.8 オンライン処理のI/O要求の処理時間区分ごとの割合.....................68
図4.1 仮想計算機環境における業務システムの例..............................72 図4.2 仮想計算機でオンライン処理とバッチ処理を実行するシステム構成の例.....73
図4.3 オンライン処理の処理時間(計算機1)..................................79 図4.4 オンライン処理の処理時間(計算機2)..................................80 図4.5 バッチ処理の処理時間(計算機1).....................................82 図4.6 バッチ処理の処理時間(計算機2).....................................83 図4.7 オンライン処理の処理時間(計算機3)..................................85 図4.8 オンライン処理の処理時間(計算機4)..................................86 図4.9 バッチ処理の処理時間(計算機3).....................................88 図4.10 バッチ処理の処理時間(計算機4)...................................89 図4.11 オンライン処理のI/O要求の処理時間(計算機1)......................91 図4.12 オンライン処理のI/O要求の処理時間(計算機2)......................92 図4.13 オンライン処理のI/O要求の処理時間(計算機3)......................93 図4.14 オンライン処理のI/O要求の処理時間(計算機4)......................94
表目次
表1.1 優先と非優先の業務処理の特徴........................................6 表1.2 優先制御法の分類...................................................13
表2.1 測定に使用した計算機環境の諸元......................................29 表2.2 計算機モデル.......................................................39 表2.3 オンライン処理モデル...............................................39
表2.4 バッチ処理モデル...................................................40 表2.5 オンライン処理の負荷量.............................................40
表2.6 DISKビジー率と総CPU使用率(計算機1)..............................42 表2.7 オンライン処理とバッチ処理のCPU使用率(計算機1)...................43 表2.8 DISKビジー率と総CPU使用率(計算機2)..............................47 表2.9 オンライン処理とバッチ処理のCPU使用率(計算機2)...................47
表3.1 I/Oサイズ分割の有無とオンライン処理の処理時間.......................63
表4.1 物理計算機環境の諸元...............................................76 表4.2 仮想計算機環境の諸元...............................................76
概要
概要
ICT(Information and Communication Technology)の発展と普及により,銀行オンラインシス テム,小売業のPOS(Point Of Sale)システム,および製造業の生産管理システムのように企 業における様々な種類の情報が計算機システムで処理されるようになっている.また,プロ セッサの処理能力の向上,外部記憶装置の大容量化,およびデータ転送速度の向上といった 計算機の処理能力の向上,さらにネットワークの通信速度の向上と普及に伴って,IoT
(Internet of Things)を利用した大量データを処理する計算機システムも増加している.計算 機システムは,情報を処理するための様々なアプリケーションプログラムを実行し,利用者 にサービスを提供している.以降では,様々な種類の情報を処理する計算機システムを業務 システムとよび,業務システムで実行されるアプリケーションプログラムを業務処理とよぶ.
近年,クライアント/サーバに代表される分散処理型の業務システムが広く普及している.
分散処理型の業務システムは,業務処理の種類や処理量に応じて,業務処理が必要とする計 算機の処理能力を確保するため,複数の計算機で構成されている.しかし,計算機の処理能 力の向上に伴って,1 台の計算機で処理可能な業務処理の処理量が増加し,少ない計算機で 様々な業務処理を実行することが可能になっている.このため,計算機の集約や仮想計算機 の使用に見られるように,計算機の効率的な利用としてサーバ統合が求められている.
様々な種類の業務処理を同じ計算機で実行する場合,計算機資源の優先制御が重要である.
業務処理を実行するための優先制御法として,プロセス優先度によるプロセッサ割当て制御 法がある.この制御法は,業務処理に割当てるプロセッサの利用量を業務処理の優先度に応 じて制御する.業務処理における計算処理や業務処理が実行するシステムコール処理は,こ の制御法によって優先制御が可能である.しかし,システムコールの処理としてオペレーテ ィングシステム(以降,OSと略す)が行う入出力デバイスの割込み処理は,これらの処理に 比べ優先度が高いため優先制御が難しい.具体的には,入出力デバイスに対する I/O 要求の
概要
II 自然科学研究科
処理において,実 I/O処理完了後処理は,入出力デバイスからの実 I/O処理の完了を起因と する割込み処理として処理を開始する.このため,優先度の低い業務処理の I/O要求が先に 実行されると,優先度の高い業務処理のI/O 要求は,優先度の低い業務処理の I/O要求の完 了まで待たされる.つまり,優先度の高い業務処理のI/O要求は,I/O要求の処理が開始され るまでの待ち時間が発生する.したがって,優先度の高い業務処理の I/O要求を優先して実 行することが強く求められる.また,優先度の低い業務処理の I/O 要求の入出力データ量が 多い場合,つまり,優先の低い業務処理が長い処理時間の I/O要求を実行した場合,優先度 の高い業務処理のI/O要求の処理が開始されるまでの待ち時間は長くなる.したがって,I/O 要求の実行において,この待ち時間による業務処理への影響を軽減することが強く求められ る.
本研究は,業務システムにおける優先と非優先の業務処理をサーバ統合により同じ計算機 で実行するための入出力処理の優先制御技術の確立を目的とし,業務処理の入出力データ長 に着目した入出力制御法を実現する.具体的には,入出力データ長が非常に長いものは分割 し,かつ入出力データ長の大きいI/O 要求より入出力データ長の小さいI/O 要求を優先的に 実行する“入出力データ長に着目した入出力制御法(IOPC-DS法:I/O processing Priority Control mechanism using Data Size)”を提案し,実装と評価を行う.IOPC-DS法の評価のため,優先度 の高い業務処理と低い業務処理が実行される業務システムの事例として,銀行オンラインシ ステムを取り上げる.銀行オンラインシステムは,経済を支える金融インフラとして重要な システムであり,様々な種類の業務処理が実行されている代表的な業務システムである.こ のシステムでは,優先度の高い業務処理としてオンライン処理,優先度の低い業務処理とし てバッチ処理が多数実行されている.このため,銀行オンラインシステムでIOPC-DS法の有 効性を示すことにより,多くの業務システムへIOPC-DS法を適用できる.IOPC-DS法のシミ ュレーション評価として,オンライン処理とバッチ処理を同じ計算機で実行する場合,IOPC- DS法によってオンライン処理のI/O要求を優先的に実行することで,オンライン処理の処理 時間が短くなることを示す.なお,プロセス優先度によるプロセッサ割当て制御法だけでは オンライン処理の処理時間が短くならない場合があることも示す.また,IOPC-DS 法を
FreeBSD OS に実装し,銀行オンラインシステムのオンライン処理とバッチ処理の擬似アプ
概要 リケーションを用いて有効性を明らかにする.
計算機の処理能力の向上により,実システムでは,サーバ統合により仮想計算機環境の利 用が増えている.仮想計算機環境では,物理計算機で実行される仮想計算機モニタ(VMM:
Virtual Machine Monitor)が,物理計算機上の各仮想計算機に割当てる計算機資源を管理して いる.一方,仮想計算機の OS は業務処理に割当てる仮想計算機の計算機資源を管理してい る.物理計算機で実行されるVMMは,各仮想計算機に対して,あらかじめ決められた計算 機資源を割当てることを目的としており,業務処理の優先度に応じた優先制御を行う仮想計 算機の OS と目的は異なる.そこで,仮想計算機におけるIOPC-DS 法の有効性を評価する.
以上のように,本研究では,優先度の高い業務処理と低い業務処理を同じ計算機で実行す る場合の優先制御への要求を明らかにし,入出力データ長に着目した入出力制御法(IOPC- DS法)を実現する.そして,IOPC-DS法によって,物理計算機および仮想計算機のいずれの 計算機においても優先度の高い業務処理の処理時間を短くできることを示し,IOPC-DS法の 有効性を示す.
概要
IV 自然科学研究科
第1章 序論
第1章
序論
1.1 研究の背景
ICT(Information and Communication Technology)の発展と普及により,銀行オンラインシス テムや小売業のPOS(Point Of Sale)システム,および製造業の生産管理システムのように高 度化された計算機システムは,企業における様々な種類の情報を処理するようになっている.
文献[総務省 01]によると,情報通信ネットワークや社内システム,情報通信端末,情報発信 環境等,ICT の導入企業の割合は,70.2%になっているという.また,プロセッサの処理能力 の向上,外部記憶装置の大容量化,およびデータ転送速度の向上といった計算機の処理能力 の向上,さらにネットワークの通信速度の向上と普及に伴って,IoT(Internet of Things)を利 用した大量データを処理する計算機システムも増加している.今後も ICT の導入によって,
計算機システムで処理される情報の種類や量は増加していくと考えられる.計算機システム は,情報を処理するための様々なアプリケーションプログラムを実行し,利用者にサービス を提供している.以降では,様々な種類の情報を処理する計算機システムを業務システムと 呼び,業務システムで実行されるアプリケーションプログラムを業務処理とよぶ.
近年,クライアント/サーバに代表される分散処理型の業務システムが広く普及している.
文献[総務省 02]によると,1980 年代後半から分散処理型の業務システムへの移行が始まり,
計算機の性能向上と低廉化に加えて,インターネット等の通信技術の発展と普及によって,
2000 年代以降,分散処理型の業務システムが普及している.分散処理型の業務システムは,
第1章 序論
2 自然科学研究科
業務処理の種類や処理量に応じて,業務処理が必要とする計算機の処理能力を確保するため に,複数の計算機で構成されている.一方で,複数の計算機で構成される分散処理型の業務 システムに対して,計算機の効率的な利用の観点から計算機の分割損の軽減や計算機の利用 量の平準化(時間帯のピークを平準化)が求められている.
計算機の処理能力の向上にともなって,1 台の計算機で処理可能な業務処理の処理量が増 加し,少ない計算機で様々な業務処理を実行することが可能になっている.また,2000年代 初めから2010年代中頃にかけて,仮想化技術が大きく進展している.業務システムの計算機 の効率的な利用として,図 1.1 に示すように,業務処理を実行する計算機の集約化によるサ ーバ統合や,仮想化技術を利用し,1つの物理計算機(仮想計算機環境)に複数の業務シス テムの仮想計算機を実行するサーバ統合が行われている.また,図 1.2 の仮想化およびサー バ統合の導入状況に示すように,2000年代後半から2010年代後半にかけて,多くの企業に おいて,サーバ統合が進んでいる.計算機の性能向上と相まって,業務システムのサーバ統 合は,今後もさらに進むと考えられる.また,図 1.3 のクラウド環境の利用状況に示すよう に,業務システムにおいてクラウド環境の利用が進んでいる.クラウド環境では,業務シス テムが必要とする計算機資源を必要な時期に必要な量だけ仮想計算機に割当てることが可能 である.今後,クラウド環境を利用する業務システムは,増々普及していくものと考えられ る.サーバ統合においては,業務システムの処理性能の確保が重要である.たとえば,性能 要件は業務システムの業務処理ごとに定められているため,様々な種類の業務システムの業
業務システム 計算機
(業務処理)
計算機
(業務処理)
業務システム
(計算機の集約)
計算機
(業務処理)
計算機
(業務処理)
仮想計算機を使用した 業務システム
仮想計算機環境
(物理計算機)
業務 シス テム
業務 シス テム
図1.1 業務システムにおけるサーバ統合 仮想 計算機
仮想 計算機
第1章 序論
務処理を同じ計算機で実行する場合,それぞれの業務処理の性能要件をすべて満たすことは 難しい.また,物理計算機に様々な業務システムの業務処理の仮想計算機を実行する場合,
物理計算機の計算機資源の競合による影響を受けやすいため,計算機資源を適切に業務シス テムに割当てることが必要である.
計算機を構成するハードウェアの性能は著しく向上している.しかし,ハードウェアの性 能向上の速度は,ハードウェアごとに大きく異なっている.たとえば,プロセッサの処理性 能は著しく向上しているが,外部記憶装置のデータ転送速度は,プロセッサの処理性能の向
図1.2 仮想化およびサーバ統合の導入状況
(出典:電子情報技術産業協議会[電技産01]) 33
38 40
37 43
49 50 52
50 53
35 38 38
47 45
50 56
60
0 10 20 30 40 50 60 70
2008 2009 2010 2011 2012 2013 2014 2015 2016 2017
取組済み団体の割合
調査年度 サーバ統合 仮想化
図1.3 クラウド環境の利用状況
(出典:総務省「通信利用動向調査」[総務省03])
0 10 20 30 40 50 60 70
2010 2011 2012 2013 2014 2015 2016 2017 2018 クラウドを利用する 企業の割合(%)
調査年度
第1章 序論
4 自然科学研究科
上と比較して,それほど向上していない.図 1.4 にプロセッサの処理性能と外部記憶装置の データ転送速度の推移を示す.図1.4(A)より,プロセッサの処理性能の向上は,2004年と 2019年を比較した場合,15年間で約91倍になっている.一方,図1.4(B)より,外部記憶 装置のデータ転送速度の向上は,2002年と2017年を比較した場合,15年間で約8倍である.
つまり,外部記憶装置のデータ転送速度の向上は,プロセッサの処理性能の向上に比較して 遅いといえる.業務システムでは,処理性能の向上速度の低いハードウェアがボトルネック にならないように業務処理の実行を制御することが必要である.特に,外部記憶装置等の入 出力デバイスの性能向上は,プロセッサの性能向上より遅いため,入出力デバイスに対する 業務処理の入出力処理がボトルネックになることも多い.
業務システムの業務処理は,大きくは短期の時間的な優先を必要とする業務処理と短期の 時間的な優先を必要としない業務処理に分けられる.たとえば,短期の時間的な優先を必要 とする業務処理として,利用者の操作に対する応答時間を重視する対話型のオンライン処理 がある.図1.5(A)に示すようにオンライン処理は,端末から入力されたデータや外部シス テムから送信されたデータを処理し,端末や外部システムに処理結果を返却する.通常,対 話型のオンライン処理は,数秒以内の短いターンアラウンドタイムを要求するため,優先し て実行する必要がある.他の同様な業務処理として,リアルタイム処理がある.たとえば,
リアルタイム処理には,業務システムにおける計算機の死活監視の業務処理がある.業務シ 図1.4 ハードウェアの性能向上
0 50 100 150
2000 2005 2010 2015 2020
クロック×コア数
年度 インテル Xeon
(B)データ転送速度 0
1 2 3 4
2000 2005 2010 2015 2020
転送速度(GB/sec)
年度
SATA,SASのデータ転送速度
(A)プロセッサの処理性能 (出典:インテル)
第1章 序論
ステムにおいて,計算機の死活監視を行う業務処理は,監視対象の計算機からの応答のデッ ドラインである応答時間があらかじめ決められている.
一方,短期の時間的な優先を必要としない業務処理として,処理を実行する時刻があらか じめ計画されている計画型のバッチ処理がある.図1.5(B)に示すようにバッチ処理は,時 刻や先行するバッチ処理の完了等をトリガーとして起動され,主にファイルやデータベース に格納されたデータを入力とし,定められた処理を実行し,処理結果を主にファイルやデー タベース等に格納する.また,バッチ処理は,実行する順番や開始タイミングがあらかじめ 定められており,あらかじめ計画されたとおりに処理を順次実行する.
業務システムのサーバ統合を行う場合,短期の時間的な優先を必要とする業務処理や短期 の時間的な優先を必要としない業務処理の性質を考慮し,業務処理の優先制御を行うことが 重要である.以降では,短期の時間的な優先が必要な業務処理を優先の業務処理と呼び,短 期の時間的な優先を必要としない業務処理を非優先の業務処理と呼ぶ.優先と非優先の業務 処理の特徴を表 1.1 にまとめる.優先の業務処理は,利用者や外部システムからの要求に基 づいて実行されるため,応答時間を重視する.また,多数の処理が同時に実行されることも 多い.このため,業務処理の特徴として,トランザクションの長さは短く,プロセッサ使用 量や入出力処理を実行する回数は少ない.また,入出力デバイスへの書き込みデータ長は小 さいものが多い.一方,非優先の業務処理は,計算機資源を効率的に使用することが求めら れる.非優先の業務処理は,計算機資源を効率的に使用し大量のデータを処理する必要があ
図1.5 オンライン処理とバッチ処理の形態 バッチ処理
オンライン処理
端末
要求 計算機
応答
計算機
処理 処理 処理 処理
時刻起動 先行処理の 完了後起動
(A)オンライン処理 (B)バッチ処理
第1章 序論
6 自然科学研究科
表1.1 優先と非優先の業務処理の特徴
優先の業務処理 非優先の業務処理 短期の時間的な優先 必要あり 必要なし
実行タイミング 利用者や外部システムの要
求に基づいて実行 計画的な実行 処理時間 応答時間重視 スループット重視
同時実行数 多い 少ない
トランザクションの
長さ 短い 長い
プロセッサ使用量 少ない 多い
入出力回数 少ない 多い
入出力デバイスへの
書き込みデータ長 小 大
るため,スループットを重視する.このため,業務処理の特徴として,トランザクションの 時間は長く,プロセッサ使用量や入出力処理の実行回数は多い.また,入出力デバイスへの 書き込みデータ長は大きいものが多い.
優先の業務処理を優先して実行する優先制御を実現するためには,プロセッサ,メモリ,
入出力デバイス等の計算機資源を優先の業務処理に優先的に割当てる優先制御法が重要であ る.これまで,優先の業務処理にプロセッサを優先的に割当てるプロセッサ割当て制御法や 優先の業務処理の入出力処理を優先的に実行する入出力制御法等,様々な優先制御法が実現 されている.これらの優先制御法は,それぞれの優先制御法の目的に基づいて計算機資源の 割当て制御を行うため,プロセッサ処理の優先が必要な業務処理や入出力処理の優先が必要 な業務処理等,特徴の異なる業務処理が混在して多数実行される業務システムでは,優先の 業務処理に対して適切な優先制御とならないことがある.また,プロセッサの処理性能の向 上に比較して,入出力デバイスの性能向上は遅いため,入出力デバイスに対するに入出力処 理がボトルネックになりやすい.このため,優先や非優先の業務処理のように性質が大きく 異なる業務処理を同じ計算機で実行する場合,業務処理の性質を考慮した入出力デバイスに
第1章 序論 対する新たな優先制御法の実現が必要である.特に,磁気ディスクやSSD(Solid State Drive) などの記憶装置(以降,ディスクと略す)は業務処理にとって重要な入出力デバイスである.
たとえば,銀行システムのトランザクションデータのように失うことが許容されないデータ を処理する業務処理では,データの書き込みのたびに,永続的なディスクに保存することが 必須である.また,大量データを処理する業務処理は,データベースよりも高速なアクセス が期待できるファイルを使用することが多く,トランザクションデータを扱う業務処理の入 出力に対する入出力処理の影響は大きい.このため,ディスクに対する入出力処理の優先制 御法の実現が必要である.
業務処理の実行環境として,物理計算機上に複数の仮想計算機が実行されている仮想計算 機環境がある.物理計算機では,仮想計算機モニタ(VMM)によって,物理計算機の計算機 資源に対する仮想計算機の優先制御が行われる.一方,仮想計算機では,オペレーティング システム(OS)によって,仮想計算機に割当てられた計算機資源に対する優先の業務処理の 優先制御が行われる.業務処理の実行環境では,VMM が業務システムの仮想計算機に計算 機資源を適切に割当てるだけでなく,仮想計算機で実行される優先の業務処理に応じて,仮 想計算機のOSが計算機資源の優先制御を適切に行うことが重要である.しかし,VMMと仮 想計算機の OS では,優先制御の対象と目的が異なるため,仮想計算機で実行される業務処 理が,優先度に応じて優先的に実行されない問題がある.VMM による物理計算機の計算機 資源に対する優先制御だけでなく,仮想計算機の OS における優先制御の問題を解決する必 要がある.
第1章 序論
8 自然科学研究科
1.2 計算機資源の優先制御
1.2.1 業務処理に求められる入出力処理の優先制御法
業務処理は,プロセッサ処理と入出力処理に分類される処理で成り立っている.プロセッ サ処理は,計算処理やデータベース更新処理,データ保存処理等,プロセッサを使用する処 理である.入出力処理は,ディスクや通信等の入出力デバイスと,デバイスドライバを介し てデータを送受信する処理である.入出力処理は,入出力デバイスへの I/O 要求処理,入出 力デバイスの実 I/O 処理,入出力デバイスからの割込み処理で構成される.入出力デバイス への I/O要求処理と入出力デバイスからの割込み処理はプロセッサを使用するが,入出力デ バイスの実I/O処理はハードウェアによる処理のため,プロセッサの使用は少ない.
優先と非優先の業務処理に対するプロセッサの割当ては,業務処理の優先度に基づいて,
業務処理にプロセッサを割当てる優先制御として実現される.プロセッサの割当てを行う優 先制御は,オペレーティングシステム(OS)のカーネル機能で実現されている.カーネル機 能の優先制御は,業務処理のプロセッサ処理を業務処理の優先度に基づいてプロセッサに割 当てるためのプロセス優先度を計算し,プロセス優先度に応じて,プロセッサ割当てをスケ ジューリングする.プロセス優先度によるプロセッサ割当て制御法は,高い優先度の業務処 理に対して優先的にプロセッサを割当てる.
また,入出力処理の入出力デバイスへの要求処理の優先制御として,この処理をプロセッ サに割当てるためにプロセス優先度を使用している.しかし,入出力デバイスの実 I/O 処理 はハードウェアの処理に相当するため,カーネルにおける優先制御の対象とはならない.入 出力デバイスからの割込み処理は,実 I/O処理の結果を入出力処理に返却し,入出力デバイ スの計算機資源をできるだけ早く開放する必要があるため,入出力デバイスからの割込み処 理を高い優先度でプロセッサに割当てる.つまり,優先と非優先の業務処理における入出力 デバイスの割込み処理の優先度は同じ程度で高くなる.また,入出力デバイスの実 I/O 処理 は,先行する実I/O 処理の完了を待ったあと,後続の実I/O処理が実行され,先に要求され た実I/O 処理から順番に処理が開始される.これらの理由により,実I/O 処理は業務処理の
第1章 序論 優先度に応じて実行されない問題がある.
また,入出力デバイスの割込み処理の実行後に,後続の実I/O処理は処理を開始するため,
業務処理による実 I/O処理が連続している場合,先行する実I/O 処理の処理時間が長い場合 は,後続の実 I/O処理の処理が開始されるまでの待ち時間が長くなる.このため,後続の業 務処理の優先度が高く,先行する業務処理の優先度が低い場合,優先度の高い業務処理の実 I/O処理の開始までの待ち時間が長くなり,実I/O処理の処理時間が長くなる問題がある.
したがって,業務処理の優先度に応じて,実 I/O 処理に対する入出力処理の優先制御や実 I/O処理を開始するまで待ち時間を短縮することが強く求められる.
1.2.2 入出力処理に対するカーネル機能
ディスクに対する入出力処理は,オペレーティングシステムのカーネル機能を通して行わ れる.カーネル機能の入出力処理にかかわる機能の階層を図 1.6 に示す.カーネル機能は,
入出力システムを通して入出力デバイスにアクセスする.入出力システムは,入出力デバイ スへの要求処理であるディスクに対するキャッシュ機構,汎用デバイスドライバ,デバイス 固有のデバイスドライバによって構成される[マーシ 01].デバイスドライバは,入出力デバ イスへの要求処理と入出力デバイスからの割込み処理によって実行される処理を含んでいる.
入出力システムは,図1.6のGEOM層以下の下層に含まれる.GEOM層より上層では,ファ イルシステム等の機能が提供されている.
業務処理は,システムコールを使用してカーネル機能に対して入出力処理を要求し,カー ネル機能を通して結果を取得する.また,ディスクに対しては,入出力システムのデバイス ドライバであるディスクドライバが入出力処理を行う.ディスクドライバがディスクに対し て入出力処理を実行している間,他の入出力処理は待たされる.ディスクドライバは,ディ スクに対する入出力処理の完了後,ディスクからの割込み処理を契機にして,ディスクドラ イバの後続処理を実行し,後続処理の完了後,次の業務処理の入出力処理を開始する.従来 の入出力システムの入出力処理は,入出力処理の効率的なディスクアクセスを目的にして実 装されており,優先の業務処理の処理性能を最大化することを目的としていない.このため,
第1章 序論
10 自然科学研究科
たとえば,大量データのディスクへの保存を行う業務処理では,業務処理側で大量データを 分割して入出力処理のシステムコールを実行する等,業務処理で,業務処理の性質を考慮し,
入出力処理の処理性能を向上させるための実装を行っている.しかし,業務処理の実装だけ では,入出力システムにおける排他処理や実行順制御等の処理により,業務処理の入出力処 理の性能を十分に確保できない.入出力システムにおいて,業務処理の性質を考慮した入出 力処理の優先制御が必要である.
入出力デバイスへの要求処理を行うディスクドライバの処理において,実 I/O処理完了後 処理は,ディスクからの実 I/O 処理の完了を起因とする割込み処理として処理を開始する.
このため,非優先の業務処理のI/O 要求が先に実行されると,優先の業務処理のI/O要求は 非優先の業務処理のI/O要求の完了まで待たされる.この様子を図1.7に示す.図1.7では,
システムコール
OBJECT/VNODE層
GEOM層
(Fast File System) FFS
CAMデバイスドライバ
ハードウェア CAM
(Common Access Method)
図1.6 カーネル機能の入出力処理の概観
(ディスクに対する入出力制御の部分を抜粋・加工)
(出典:BSDカーネルの設計と実装―FreeBSD詳解)
活性化ファイルエントリ
ローカル名前管理(UFS)
ページキャッシュ
newbus
第1章 序論 先に非優先の業務処理が I/O 要求の実行をディスクドライバに要求し,その後,優先の業務 処理がI/O 要求の実行をディスクドライバに要求し,両処理のI/O 要求が実行される様子を 示している.ディスクドライバは,非優先の業務処理によるI/O要求を受け付けた後,I/O要 求処理を実行し,実I/O処理をディスクに要求する.そして,実I/O処理の完了(割込み)を 待つ.その後,実I/O処理の完了(割込み)を契機に,実I/O処理完了後処理(割込み処理)
を実行する.この実I/O処理完了後処理(割込み処理)は他の処理より優先して実行される.
非優先の業務処理は,ディスクドライバによる I/O要求の処理完了後,後続の処理を開始す る.一方,優先の業務処理によるI/O 要求は,非優先の業務処理のI/O要求の実行後,非優 先の業務処理の実 I/O処理完了後処理(割込み処理)が終わるまで実行されない.つまり,
この間,優先の業務処理による I/O要求が,ディスクドライバによって待たされるため,優 先の業務処理のI/O要求の処理開始待ち時間が発生する.したがって,優先の業務処理のI/O 要求を優先して実行することが強く求められる.また,非優先の業務処理の I/O要求の書き 込みデータ長が大きい場合,つまり,非優先の業務処理が長い処理時間の I/O 要求を実行し た場合,優先の業務処理の I/O 要求の処理開始待ち時間は長くなる.この待ち時間による優 先の業務処理への影響を軽減することが強く求められる.
優 先 の 業 務 処 理
(CPU)
非優先の業務処理
(CPU)
ディスクドライバ
(CPU)
実I/O処理 実I/O処理 I/O要求の処理開始
待ち時間
ディスク
(実I/O)
処理の実行中 処理の実行待ち
I/O要求 I/O要求
処理
実I/O処理完了後処理
(割込み処理)
図 1.7 I/O要求の処理開始待ち時間
第1章 序論
12 自然科学研究科
1.2.3 関連研究
業務処理の優先制御を実現する研究として,これまで業務処理の優先度に応じてプロセッ サを割当てるプロセス優先度によるプロセッサ割当て制御法や入出力デバイスへの要求処理 の実行順を制御する I/O要求の優先制御に関する研究が行われている.これまで研究されて いるプロセッサ割当て制御法と入出力処理の優先制御法の研究において,業務処理の優先度 を決定するために使用している特徴を表1.2にまとめる.
表 1.2 に示すようにプロセッサ割当て制御法は,業務処理の優先度を決定するために,業 務処理に期待する終了時間であるデッドライン時間,計算機資源の空き時間,電力消費量の 特徴を使用している.仮想計算機に対しては,各仮想計算機に割当てるプロセッサ割当て量 の特徴を使用している.また,入出力処理の優先制御法は,業務処理の入出力処理の優先度 を決定するために,業務処理の入出力処理に期待する終了時間であるデッドライン時間,業 務処理に指定する優先度,I/O要求の実I/O処理に相当する入出力デバイスの処理時間の特徴 を使用している.仮想計算機への入出力処理の優先制御は,各仮想計算機に割当てる入出力 デバイスの割当て量の特徴を使用している.以下に,プロセッサ割当て制御法と入出力処理 の優先制御に関連する研究について述べる.
(1)プロセッサ割当て制御法
業務処理に対する優先度の決定法として,業務処理の処理時間を基にしたデッドラインを 指定し,デッドラインが早く到達する業務処理に優先的にプロセッサを割当てる方法,プロ セッサ割当て時間の大小の指定等がある[WU01],[松原01],[BUR01],[AHM01].これらの 方法では,業務処理の優先度に応じて,優先の業務処理に優先的にプロセッサが割当てられ る.様々なバッチ処理が実行される環境において,計算機資源の空き時間を最小化するため に,バッチ処理が使用する計算機資源を推測し,バッチ処理の実行計画を作る研究が行われ ている[EYE01],[SNA01].業務処理の特徴等から業務処理が使用する電力量を推定し,計算 機の電力消費が最適化されるように業務処理の実行計画を作り,業務処理を実行する研究が 行われている[AKS01],[西川01].複数の仮想計算機で実行される業務処理に対して,物理計 算機全体で業務処理の優先度を計算し,この優先度に応じたプロセッサ割当てを行う方法が
第1章 序論
表1.2 優先制御法の分類
優先制御法 優先制御に使用する特徴 具体例 プロセッサ割当
て制御法
業務処理のデッドライン時間 [WU01],[松原01],[BUR01],[AHM01]
計算機資源の空き時間 [EYE01],[SNA01]
計算機資源の電力消費量 [AKS01],[西川01]
仮想計算機へのプロセッサの 割当て量
[田所01]
入出力処理の優 先制御法
I/O 要求の入出力デバイスの 処理時間
[BAS01],[HUA01],[IYE01],[VAL01], [田邨01],[SON01],[BET01]等
入出力処理のデッドライン時 間
[CHE01],[MOA01],[HAN01]
業務処理に指定する優先度 [KIM01] ,[YAN01]
仮想計算機への入出力デバイ スの割当て量
[BLA01],[KES01],[YAN02],[北原01], [水野01],[DIN01]
提案されている[田所01].
これまで研究されているプロセス優先度によるプロセッサ割当て制御法では,優先と非優 先の業務処理が同じ計算機で実行される業務システムにおいて,優先の業務処理の入出力処 理のI/O要求を優先して実行させる要求に対処できない.
(2)入出力処理の優先制御法
ディスクに対する入出力処理の処理時間の最適化を目標にして優先制御を行うことがこれ まで研究されている.文献[HUA01],[IYE01],[VAL01],[田邨01]は,I/O要求に対するシー ク時間や回転待ち時間により,I/O要求の処理時間が大きくなることに着目し,書き込みデー タのディスク上の書き込み位置等の情報とI/O要求の処理時間を予測し,I/O要求を効率的に 実行するスケジューリング手法を提案している.文献[BAS01]は,入出力スループットの向上 を目的として,I/O要求を並べ替えてHDD(Hard Disk Drive)のシーク時間を最小とするI/O 要求のスケジューリング手法を提案している.また,近年普及しているSSD(Solid State Drive) はI/O要求の処理時間が短いため,OSと入出力デバイス間のI/O要求の授受に要する時間が 入出力時間に影響を与えやすい.文献[SON01] はI/O要求をまとめて発行することで授受の
第1章 序論
14 自然科学研究科
回数を削減している.文献[JO01] ,[HE01] は,SSD ではメモリセルへの読み書きにおいて 排他が必要となるため,読み書き対象の領域が分散するように I/O 要求を並べ替えて排他の 発生を防いでいる.文献[BET01]は,ハードウェアに対して実行するI/O要求に対して,次に 実行される I/O要求のタイミングを予測し,優先して実行すべきI/O要求を選択することを ハードウェアで実現している.文献[BRU01]は,アプリケーションのI/O要求の実行にあたっ て,I/O 要求の優先度,I/O要求の開始時間と終了時間をもとにして,優先的に実行する I/O 要求を決定し,それらのI/O 要求を複数まとめ,スループットを向上させるためにI/O要求 の実行順番を入れ替える方式を提案している.文献[池邉01]は,I/O要求を優先度の高い順に ソートし,優先度の高い I/O 要求をいくつかマージして実行することを提案している.これ らの方式では,実行順番が入れ替わることがあるため,銀行システムの入出金処理の時系列 が重要であるオンライン処理のような業務処理では使用できない.また,この方法では,業 務処理の I/O要求をまとめて実行することになり,業務処理のI/O 要求開始待ち時間が増加 することがある.その結果,優先の業務処理においては,応答時間の最大値が大きくなり好 ましくない.文献[長尾01],[長尾02] は,I/O要求の処理時間を調整する制御法を提案して いる.この提案では,高い優先度を持つI/O 要求が優先的に実行されるように I/O要求の処 理時間を調整することで,優先の業務処理の I/O 要求の完了待ちによる待ち時間を短くでき ることを示している.しかし,この方法はスループットが低いという問題がある.アプリケ ーション特性を考慮して I/O 要求の待ち時間を短縮する手法が提案されている [NOU01],
[片上01].これらはいずれも優先や非優先の処理に対するI/O要求の問題を解決するもので
はない.また,処理の性質をもとに処理の動作を予測し,処理のタイムスライスによる割込 みを制御することで,処理時間を改善することが提案されている[AOK01].しかし,計算機 資源の利用効率を向上する観点からは,I/O要求の優先度も制御する必要がある.
リアルタイム処理とQoS(Quality of Service)保証を実現する場合として,I/O要求の優先 度制御が提案されている.文献[CHE01]は,リアルタイムシステムにおいて,サービス時間を 短縮することとデッドラインを守ることを実現するため,I/O 要求の優先度とシーク時間を 基にした評価関数を用いて,実行する I/O要求を決定することで,リアルタイム処理のデッ ドラインを守りながらサービス時間の短縮を図る手法を提案している.また,文献[MOA01]
第1章 序論 は,リアルタイム処理とベストエフォートな処理が混在する環境において,I/O要求を実行す るスケジューラが,リアルタイム処理のデッドライン等の情報に基づき,各 I/O要求の処理 時間を予測し,その予測に基づいて,ベストエフォート処理およびリアルタイム処理の I/O 要求の優先度を決定する手法を提案している.文献[HAN01]は,デッドライン制御に関して
Deferrable Scheduleと組み合わせることで平均応答時間を改善している.
文献[KIM01] ,[YAN01] は,ストレージスタック(ファイルシステムレベル,ブロックレ ベル,デバイスレベル等)における各階層の I/O 要求の優先度制御に関して,各階層にある I/O要求の情報(処理時間や優先度,デッドライン等)をそれぞれの階層の優先度制御で利用 する制御方式を提案している.しかし,いずれの提案もデッドラインを規定しスケジュール できることが前提となっており,負荷変動が大きく,かつデッドラインを規定し難い優先の 業務処理には適さない.
ディスクに対する I/O要求に関して,仮想計算機環境における課題を解決する研究が行わ れている[BLA01], [KES01], [YAN02], [北原01], [水野01],[DIN01].これらの研究で は,仮想計算機環境における I/O要求の優先制御の有効性を明らかにしている.しかし,仮 想計算機環境におけるI/O 要求の優先制御は,各仮想計算機のI/O の使用量を各仮想計算機 に対してあらかじめ割当てた割合に近づけることや仮想計算機の I/O要求が他の仮想計算機 に与える影響を軽減することを目的としているため,業務処理に対する優先制御と目的が異 なる.
これまで研究されている入出力処理の優先制御法では,優先と非優先の業務処理が同じ計 算機で実行される業務システムにおいて,非優先の業務処理が長い処理時間の I/O要求を実 行した場合,優先の業務処理の I/O要求の処理開始待ち時間は長くなることによる優先の業 務処理への影響を軽減する要求に対処できない.
第1章 序論
16 自然科学研究科
1.3 研究の内容
1.3.1 研究の目的
本研究は,業務システムにおける優先と非優先の業務処理をサーバ統合により同じ計算機 で実行するための入出力処理の優先制御技術の確立を目的とし,業務処理の入出力データ長 に着目した入出力制御法を実現する.具体的には,優先と非優先の業務処理が同じ計算機で 実行する場合の優先制御に求められる要求を明らかにし,入出力データ長が非常に長いもの は分割し,かつ入出力データ長の大きいI/O 要求より入出力データ長の小さい I/O要求を優 先的に実行する“入出力データ長に着目した入出力制御法※1”を提案し,実装と評価を行う.
IOPC-DS法のシミュレーション評価として,優先と非優先の業務処理を同じ計算機で実行
する場合,IOPC-DS法によって優先の業務処理のI/O要求を優先的に実行することで,優先 の業務処理の処理時間が短くなることを示す.なお,従来のプロセス優先度によるプロセッ サ割当て制御法だけでは優先の業務処理の処理時間が短くならない場合があることも示す.
また,IOPC-DS法をFreeBSD OSに実装し,業務システムにおける優先と非優先の業務処理 を疑似したアプリケーションを用いて有効性を明らかにする.
1.3.2 研究の課題
プロセスの処理やプロセスが発行したシステムコール処理は,プロセス優先度によるプロ セッサ割当て制御法によって優先制御できるが,割込み処理はこれらの処理に比べ優先して 実行されるため優先制御が難しい.たとえば,非優先のプロセスが依頼した I/O要求による 割込み処理は,優先のプロセスの処理より優先して実行される.具体的には,非優先の業務 処理がI/O 要求を実行した場合,優先の業務処理は非優先の業務処理のI/O 割込み処理の影 響を受け,処理時間が長くなってしまう.したがって,入出力処理を制御する方法に工夫が 必要である.また,計算機の処理能力の向上により,実システムでは,プロセッサ数の多い
※1 入出力データ長に着目した入出力制御法:IOPC-DS法(I/O processing Priority Control mechanism using Data Size)
第1章 序論 物理計算機の利用やサーバ統合による仮想計算機の利用が増えている.仮想計算機の I/O要 求の実行は,仮想計算機上のオペレーティングシステムの I/O要求の入出力制御に加えて,
仮想計算機モニタ(VMM)におけるI/O要求の入出力制御の影響をうける.今後,増々普及 することが見込まれるクラウド環境に代表される仮想計算機環境における仮想計算機におい て,提案するIOPC-DS法の評価を実施する必要がある.
本研究で解決する課題を以下に示す.
(課題1)優先の業務処理の入出力処理を優先して実行する優先制御の実現
非優先の業務処理の入出力処理が,優先の業務処理の入出力処理より先行して実行さ れている時,優先の業務処理による入出力処理が,実 I/O処理(ディスクドライバ)に よって待たされるため,優先の業務処理の処理開始待ち時間は長くなる.優先の業務処 理の入出力処理を優先して実行する優先制御方式を実現する必要がある.
(課題 2)非優先の業務処理の入出力処理の入出力データ量が優先の業務処理に与える影響 を軽減する方式の実現
非優先の業務処理の入出力処理の入出力データ量が多い場合,入出力デバイスを効率 的に使用するための入出力制御により,優先の業務処理の入出力処理よりも非優先の業 務処理の入出力処理が優先して実行される.このため,優先の業務処理の I/O要求の処 理開始待ち時間は長くなる.優先の業務処理の入出力処理の処理開始待ち時間を短くす るための方式を実現する必要がある.
1.3.3 評価に使用する業務システムと業務処理
本研究は,具体的な事例として,業務システムを代表する銀行オンラインシステムをモデ ル化した業務処理を使用し,IOPC-DS法の有効性を示す.銀行オンラインシステムは,経済 を支える金融インフラとして重要なシステムであり,優先と非優先の多数の業務処理が実行 されている代表的な業務システムである.このため,銀行オンラインシステムにおいて,
IOPC-DS法の有効性を示すことは,多くの業務システムに対して有益である.
銀行オンラインシステムの業務処理であるオンライン処理とバッチ処理は,表 1.1 に示し
第1章 序論
18 自然科学研究科
た優先と非優先の業務処理と同様に以下のような特徴がある.
(1)オンライン処理
入出金処理や為替処理等,様々な種類の優先の業務処理がある.対話型の処理であり,
利用者からの要求を短時間で処理することが求めらる.応答時間が重視されるため,タ ーンアラウンドタイムの短いものが多く,書き込みデータ長は小さい.また,数ミリ秒 の処理時間の遅延が大きな問題となることもある.トランザクション数は非常に多い.
(2)バッチ処理
給与振り込み処理や取引データの統計処理等,様々な種類の非優先の業務処理がある.
あらかじめ決められた計画にしたがって計画的に実行され,計算機資源を効率良く使用 することが重視される.大量データを処理し,オンライン処理に比較して処理時間が長 いものが多く,書き込みデータ長は大きい.また,処理の遅延に対する許容範囲は大き い.
1.3.4 論文の構成
本論文の構成は次の通りである.第2章では,業務処理の優先制御に求められる要求を明 らかにし,優先制御の課題を示す.そして,業務処理の入出力データ長に着目した入出力制 御法(IOPC-DS法)の実現方式について述べる.IOPC-DS法の評価として,オンライン処理 とバッチ処理を同じ計算機で実行する場合,IOPC-DS法によってオンライン処理のI/O要求 を優先的に実行することで,オンライン処理の処理時間が短くなることをシミュレーション によって示す.なお,プロセス優先度によるプロセッサ割当て制御法だけではオンライン処 理の処理時間が短くならない場合があることも示す.第 3 章では, IOPC-DS法を FreeBSD OS に実装し,銀行システムのオンライン処理とバッチ処理を擬似したアプリケーションを 使用し,有効性を明らかにする.第4章では,オンライン処理とバッチ処理を疑似したアプ リケーションを使用して,プロセッサ数が4個と8個の物理計算機,およびプロセッサ数が 4個と8個の仮想計算機におけるIOPC-DS法の有効性について,比較評価する.第5章では,
本論文の結論と残された課題について述べる.
第2章 入出力データ長に着目した入出力制御法
第2章
入出力データ長に着目した入出力制御法
業務システムでは,様々な種類の業務処理が実行される.業務処理の処理時間は,短いも のから長いものまで様々である.また,業務処理には,優先の業務処理と非優先の業務処理 がある.業務システムでは,これらの業務処理を別々の計算機で実行することが多い.しか し,近年,計算機の処理能力が著しく向上したため,計算機資源を十分に利用しない時間帯 が生じ,分割損が生じている.本章では,優先の業務処理と非優先の業務処理を同じ計算機 で混在して実行する業務システムにおいて,業務処理の優先制御に求められる要求を明らか にし,優先制御の課題を示す.そして,業務処理の入出力データ長に着目した入出力制御法
(IOPC-DS法)の実現方式について述べる.IOPC-DS法の評価として,優先と非優先の業務
処理を同じ計算機で実行する場合,IOPC-DS法によって優先の業務処理のI/O要求を優先的 に実行することで,優先の業務処理の処理時間が短くなることをシミュレーションによって 評価する.具体的には,代表的な業務システムである銀行オンラインシステムを取り上げ,
銀行オンラインシステムのオンライン処理とバッチ処理を同じ計算機で混在して実行する場 合の優先制御への要求を明らかにし,優先制御の課題を示す.そして,オンライン処理とバ ッチ処理の入出力データ長に着目した入出力制御法(IOPC-DS法)を提案し,シミュレーシ ョン評価として,オンライン処理とバッチ処理を同じ計算機で混在して実行する場合,IOPC- DS法によりオンライン処理のI/O要求を優先的に実行することで,オンライン処理の処理時 間が短くなることを示す.