• 検索結果がありません。

目次 Excel Services のパフォーマンスとキャパシティの要件を予測する... 3 テストファームの特性... 3 データセット... 3 負荷... 4 推奨および最大の決定... 5 ハードウェア設定とトポロジ... 5 ラボハードウェア... 5 トポロジ... 6 スケールアウトテ

N/A
N/A
Protected

Academic year: 2021

シェア "目次 Excel Services のパフォーマンスとキャパシティの要件を予測する... 3 テストファームの特性... 3 データセット... 3 負荷... 4 推奨および最大の決定... 5 ハードウェア設定とトポロジ... 5 ラボハードウェア... 5 トポロジ... 6 スケールアウトテ"

Copied!
15
0
0

読み込み中.... (全文を見る)

全文

(1)

Microsoft SharePoint Server 2010 での

Excel Services のパフォーマンスとキャパシテ

ィ要件を検討する

このドキュメントは現状有姿で提供され、このドキュメント (URL などのインターネット Web サイトにある参照先を含む) に記載さ

れている情報および見解は、将来予告なしに変更することがあります。これを使用する責任はお客様ご自身にあります。 このドキュメントに記載されている例の一部は、例示のみを目的としており、架空のものです。実在する事物とは一切関係ありませ ん。 このドキュメントは、あらゆるマイクロソフト製品に対する何らかの知的財産権をお客様に付与するものではありません。このドキュメ ントは、内部的な参照目的にのみコピーおよび使用することができます。

(2)

目次

Excel Services のパフォーマンスとキャパシティの要件を予測する ... 3 テスト ファームの特性 ... 3 データ セット ... 3 負荷 ... 4 推奨および最大の決定 ... 5 ハードウェア設定とトポロジ ... 5 ラボ ハードウェア ... 5 トポロジ ... 6 スケールアウト テストの結果 ... 6 詳細な結果 ...10 スケールアップ テストの結果 ...11 推奨事項 ...12 ハードウェアの推奨事項 ...12 Excel Services のパフォーマンス関連設定 ...13 典型的なボトルネックとその原因 ...14

(3)

Excel Services のパフォーマンスとキャ

パシティ要件を検討する

このパフォーマンスとキャパシティプランニングのドキュメントは、Microsoft® SharePoint® Server 2010 を実行するトポロジ内

で Excel Services を使用することによるフットプリントのガイダンスを提供します。 この記事の内容 :  テスト ファームの特性  テスト結果  推奨事項  トラブルシューティング

Microsoft® SharePoint® Server 2010 のキャパシティ計画とその実行の一般的な情報については、「Capacity

management and sizing for SharePoint Server 2010 (SharePoint Server 2010 のキャパシティの管理とサイ ズ)」(英語) を参照してください。

テスト ファームの特性

データ セット

Excel Services のキャパシティとパフォーマンスは、サービスでホストされているブックの構成によって大きく異なります。ブックのサイ ズと計算の複雑さが最も影響します。このテストでは、標準的なサイズと複雑さを使用していますが、ブックはさまざまです。キャパシ ティとパフォーマンスは、実際に使用するブックと、それぞれのブックのサイズや複雑さに左右されます。

キャパシティプロファイルを評価するために、(他の SharePoint テストが実行されていない) Excel Services 専用のファームで Excel Services ブックをシミュレートしました。このファーム内で、ブックのサイズと複雑さに基づく、スモール、ラージ、ベリー ラージの 3 つのブック セットを使用しました。 ブックの特性 スモール ラージ ベリー ラージ シート数 1-3 1-5 1-20 列数 10-20 10-500 10-1,000 行数 10-40 10-10,000 100-30,000

(4)

計算セル数 0-20% 0-70% 0-70% 書式設定数 1-10 1-15 1-20 テーブル数 0-1 0-2 0-5 グラフ数 0-1 0-4 0-4 外部データを使用するブック 0% 20% 50% ピボット テーブルを使用するブック 0% 3% 3% 条件付き書式を使用するブック 0% 10% 20% ストレージについては、このテスト ファームには 2,000 の SharePoint サイトが作成され、各サイトにスモール、ラージ、ベリー ラー ジのブックが 1 つずつ含まれます。

さらに、データ セットには、1 ~ 5 個の Excel Web パーツを含む SharePoint ページが含まれます。SharePoint ページに含 まれるブックの割合は、スモール ブックが 10%、ラージ ブックが 90% です。

負荷

アプリケーションの使用状況をシミュレートするために、次の操作を 1 つ以上実行する負荷を作成しました。 アクション ミックス スモール ブック ラージ/ベリー ラージ ブ ック 表示 50% 70% 編集 35% 15% 共同作業の表示 10% 10% 共同作業の編集 5% 5% さらに、すべてのブックの 17% に外部データが含まれます。ラージ/ベリー ラージ ブックには外部データが含まれ、80% の確率で更 新を行います。スモール ブックには外部データが含まれません。 どの負荷にもユーザー アクションの間に 10 秒の思考時間があります。この点は、他の SharePoint Server 2010 キャパシティ プランニングのドキュメントと異なります。Excel Services はステートフルです。つまり、ユーザーが操作している間、ブックがメモリ内 に維持されるため、個別の要求だけでなく、完全なユーザー セッションをシミュレートすることが重要です。1 ユーザーの負荷は、1 秒あたり平均 0.2 回の要求になります。 各負荷に対して、2,000 のサイトのいずれかがランダムに選択され、テストが行われます。サイト内でアプリケーションとアプリケーショ ンのサイズを選択するために、次の割合を使用しました。 ブックの選択 % 使用率 スモール ブック 30% ラージ ブック 55% ダッシュボード 10% ベリーラージ ブック 5%

(5)

推奨および最大の決定

推奨スループットである “グリーン ゾーン” (維持可能な状態) と、最大スループットである “レッド ゾーン” (短時間なら耐えられる が避けるべき状態) を決定するため、各構成で 2 つのテストを行いました。

レッド ゾーンおよびグリーン ゾーンのユーザー負荷を決定するために、最初に段階テストを行い、次の条件に一致したときに停止し ました。

 グリーン ゾーンでは、ファーム内のコンピューター (WFE、ECS(Excel Calculation Services)、SQL Server) のいずれかが 50% CPU を超えた時点か、システム全体の応答時間が 1 秒を超えた時点で停止 しました。  レッド ゾーンでは、ファーム内の ECS コンピューターの成功 RPS が最大になった時点で停止しました。この時 点を過ぎると、ファームの全体的なスループットが低下したり、いずれかの層で障害が発生し始めます。多くの場 合は、レッド ゾーンに達すると、ECS の最大プライベート バイトを超えます。 段階テストを行った後に、これらの最大値を取り下げ、時間を 1 時間に延ばして、一定負荷テストを行いました。グリーン ゾーンで は、グリーン ゾーン テストを停止したときの 75% の負荷を使用し、レッド ゾーンでは、段階テストでピークに達したときの 65% の 負荷を使用しました。グリーン ゾーン テストで、メモリの制限のために % CPU が 50% を超えることがない場合は、代わりにレッド ゾーンで計算した負荷数の 75% を使用しました。 グリーン ゾーンとレッド ゾーンの両方で、スケールアウト テストとスケールアップ テストはどちらも平均応答時間が 0.25 秒未満でし た。

ハードウェア設定とトポロジ

ラボ ハードウェア

高度なテスト結果の詳細を提供するために、複数のファーム構成を使用してテストを行いました。ファーム構成は、1 ~ 3 台のフロ ントエンド Web サーバー、1 ~ 3 台のアプリケーション サーバー (Excel Services の場合は ECS (Excel Calculation Services))、Microsoft SQL Server® 2008 を実行する 1 台のデータベース サーバー コンピューターです。さらに、4 台のク ライアント コンピューターを使用してテストを行いました。すべてのサーバー コンピューターは 64 ビットで、クライアント コンピューターは 32 ビットです。 テストで使用したハードウェアの詳細を次の表に示します。 コンピューターの役割 CPU メモリ ネットワーク フロントエンド Web サーバー 2 プロセッサ/4 コア 2.33 GHz Intel Xeon® 8 GB 1 ギガ ECS 2 プロセッサ/4 コア 2.33 GHz Intel Xeon® 8 GB 1 ギガ SQL Server 4 プロセッサ/4 コア 2.6 GHz Intel Xeon® 16 GB 1 ギガ

(6)

トポロジ

我々の経験では (もちろん実際には異なることがありますが)、ECS 層のメモリと WFE 層の CPU がスループットの最も重要な制 限要素です。そこで、ECS 層と WFE 層のコンピューターの数を変えてスケールアウト テストを行いました。

スケールアップ テストでは、1 台の WFE 対 1 台の ECS のトポロジを使用し、ECS コンピューターのプロセッサ数と使用可能メモ リを変化させました。

ブックは、SharePoint Server 2010 からバイナリ BLOB として読み取られ、ECS 層のメモリに置かれます (その後、ディスクに キャッシュされます)。したがって、ECS は、SharePoint Server 2010 を実行する SQL Server インスタンスに特に負担をかけ ません。SQL Server がボトルネックになることはありません。

スケールアウト テストの結果

次の表に、SharePoint Server 2010 内の Excel Services の結果を示します。各テスト グループに対して特定の変動要素 のみを変化させて、ファームのパフォーマンスに対する逐次的な影響を示しています。

この記事で報告されているすべてのテストには、思考時間や待機時間が含まれていることに注意してください (詳細は上記を参照)。 この点は、SharePoint Server 2010 の他のキャパシティプランニングの計画の結果と異なります。

SharePoint Server 2010 内の Excel Services のボトルネックの詳細については、この記事の後半にある「典型的なボトル ネックとその原因」のセクションを参照してください。

全体的規模

次の表に、ファームに WFE と専用 ECS コンピューターを追加する効果をまとめます。このスループットは ECS コンピューターに対す る値です。ファーム全体への影響は反映していません。 トポロジ ベースライン最大値 (RPS) ベースライン推奨値 (RPS) 1x1 38 31 1x2 35 26 1x3 28 21 2x1 57 35 2x2 62 46 2x3 52 39 3x1 51 32 3x2 81 69

(7)

3x3 83 64

推奨値の結果 グリーン ゾーン (維持可能な状態) テスト

(8)

上記でわかるように、ファームに WFE コンピューターを追加することによるオーバーヘッドがあります。これは、ECS コンピューターを 追加すると埋め合わせられます。ECS コンピューターが 2 台になると 1 台の WFE がボトルネックになり、2 台目や 3 台目の ECS を追加した場合、そのキャパシティは無駄になります。また、ECS が制限要素になるため、3 台目の WFE ではもうスループ ットの向上はありません。

WFE コンピューターが追加されると、各コンピューターの CPU 負荷が大幅に削減されます。2 台の WFE x 3 台の ECS の CPU 負荷は、1 台の WFE の最大値に近づきます。これは、ECS を追加すると WFE 層が制限要素になることを意味します。 これは、“推奨される” 負荷に対する結果であることに注意してください。そのために、CPU は、それほど高くない約 35% で最大 値に達します。

最大値の結果 レッド ゾーン (短時間なら耐えられるが避けるべき状態) テスト

(9)

推奨値の結果と同様に、2 台目および 3 台目の ECS コンピューターを追加していくと、1 台の WFE が制限要素になります。 また、推奨値の結果と同様に、2 台目の WFE が追加された後は ECS が制限要素になるため、3 台目の WFE がスループッ トの向上につながりません。

これらの結果より、複数の WFE では 1 台の WFE 構成のようには大きい負荷がかからず、2 台目の WFE コンピューターが追 加された後は ECS コンピューターがボトルネックになることがわかります。

(10)

詳細な結果

推奨値の結果

概要 1x1 1x2 1x3 2x1 2x2 2x3 3x1 3x2 3x3 クライアントの成 功 RPS 30.56 34.55 31.67 26.03 45.94 68.37 20.71 38.82 63.70 クライアントの応 答時間 (秒) 0.22 0.18 0.19 0.16 0.19 0.20 0.15 0.15 0.17 TPS 1.58 1.77 1.61 1.40 2.38 3.54 1.08 2.03 3.25 WFE 層 1x1 1x2 1x3 2x1 2x2 2x3 3x1 3x2 3x3 % CPU (すべて の WFE コンピュ ーターの平均) 33.73 37.64 33.84 14.61 23.95 36.90 7.54 13.12 21.75 ECS 層 1x1 1x2 1x3 2x1 2x2 2x3 3x1 3x2 3x3 % CPU (すべて の ECS コンピュ ーターの平均) 21.05 11.04 7.08 17.31 14.88 17.42 13.65 13.03 13.69 ピーク プライベー ト バイト (すべて の ECS コンピュ ーターの最大) 5.94E +09 5.82E +09 5.79E +09 5.87E +09 6.09E +09 5.92E +09 5.79E +09 5.91E +09 5.85E +09

最大値の結果

概要 1x1 1x2 1x3 2x1 2x2 2x3 3x1 3x2 3x3 クライアントの 成功 RPS 37.85 56.70 51.17 35.19 62.04 81.31 27.79 51.62 82.58 クライアントの 応答時間 (秒) 0.19 0.28 0.23 0.16 0.20 0.25 0.16 0.16 0.22 TPS 1.92 2.96 2.59 1.81 3.21 4.60 1.41 2.72 4.30 WFE 層 1x1 1x2 1x3 2x1 2x2 2x3 3x1 3x2 3x3 % CPU (すべて の WFE コンピュ ーターの平均) 41.08 67.78 58.59 19.44 34.11 45.97 10.19 17.79 28.69

(11)

ECS 層 1x1 1x2 1x3 2x1 2x2 2x3 3x1 3x2 3x3 % CPU (すべて の ECS コンピュ ーターの平均) 24.99 18.44 10.96 23.57 20.56 17.77 18.97 17.04 18.10 ピーク プライベ ート バイト (すべ ての ECS コンピ ューターの最大) 5.91E +09 5.85E +09 5.91E +09 5.88E +09 5.99E +09 6.50E +09 5.94E +09 5.94E +09 6.04E +09

スケールアップ テストの結果

ECS 層に CPU とメモリを追加する影響も測定しました。このテストでは、1x1 トポロジを使用しました。 上の結果は、CPU の追加はいくらかの助けにはなりますが、全体的なスループットに大きな影響はないことを示しています。

(12)

ただし、メモリの追加は、レッド ゾーンの線に示されているように、特にピーク時のスループットに大きな影響がありました。このテストで は、全体で同じハードウェアを使用しましたが、Excel Services プロセスの最大プライベート バイトは制限されています。ブックはメ モリに置かれるため、ブックのサイズは、1 台の ECS コンピューターが処理できるブックの数、したがってユーザーの数に大きく影響しま す。

推奨事項

このセクションでは、パフォーマンスとキャパシティの一般的な推奨事項について説明します。 Excel Services のキャパシティとパフォーマンスは、サービスでホストされているブックの構成によって大きく異なります。ブックのサイズ と計算の複雑さが最も影響します。このテストでは、標準的なサイズと複雑さを使用していますが、ブックはさまざまです。キャパシティ とパフォーマンスは、実際に使用するブックと、それぞれのブックのサイズや複雑さに左右されます。

ハードウェアの推奨事項

Excel Services は、Web フロントエンド サーバーとアプリケーション サーバーの両方に標準のハードウェアを使用し、特別な要件 は必要ありません。ECS 層のコンピューターには、CPU の数、速度、メモリに関する一般的な SharePoint Server 2010 のガ イドラインを適用できます。ただし、ECS コンピューターで発生する可能性がある最初のボトルネックがメモリであることに注目してくだ さい。これには、リソースを追加する余地があります。ただし、ブックのサイズと複雑さがメモリの追加によるキャパシティの向上に大きな 影響を及ぼすため、リソースを追加する前に、組織で使用される典型的なブック セットでテストを行うことをお勧めします。 出発点となるトポロジのキャパシティとパフォーマンスを向上させるには、次の 2 つのいずれかを実行できます。既存のサーバー コン ピューターのキャパシティを向上させるスケールアップか、トポロジにサーバーを追加するスケールアウトです。このセクションでは、いくつ かのスケールアウト トポロジの一般的なパフォーマンス特性について説明します。 サンプル トポロジは、Excel Services シナリオのトポロジをスケールアウトする方法として、よく使用される次の方法を示しています。

 より多くのユーザー負荷に備えるために、既存の Excel Services アプリケーション サーバーの CPU とメモリを確認しま す。CPU に問題がない場合はメモリを追加し、メモリに問題がない場合は CPU を追加します。メモリと CPU の両方が

(13)

上限に達した場合は、ECS コンピューターを追加すると有効な場合があります。これは、WFE がボトルネックになる時点 で実行でき、その後は必要に応じて WFE コンピューターを追加します。  今回のテストでは、SQL Server はボトルネックになりませんでした。ブックはドキュメント全体として読み取り/書き込みを 実行され、ユーザー セッションの間中メモリに置かれるため、Excel Services はデータベース層に大きな負荷をかけませ ん。

Excel Services のパフォーマンス関連設定

Excel Services のパフォーマンス特性を制御する方法の 1 つは、メモリの利用方法を制御することです。次の制限は、[サーバー の管理] > [アプリケーション構成の管理 : サービス アプリケーションの管理] > [Excel Services] > [グローバル設定] から設 定できます。  最大プライベート バイト 既定では、ECS はコンピューターのメモリを最大 50% 使用します。コンピューターが他のサービスと共有されている場合は、この数 値を小さくすると有効な場合があります。コンピューターが共有されておらず、ECS 専用で、メモリが制限要素になっていると思われ る場合は、この数値を大きくする有効な場合があります。どちらの場合も、管理者は、この数値を調整してみることで、より適切なス ケーリングに必要な変更を行う際の目安を得られます。  メモリ キャッシュのしきい値 ECS は、使用されていないオブジェクト (すべてのセッションがタイムアウトになった読み取り専用のブックなど) をメモリにキャッシュしま す。既定では、ECS はこの目的に “最大プライベート バイト” の 90% を使用します。コンピューターが ECS 以外のサービスをホ ストしている場合は、この数値を小さくすると、全体的なパフォーマンスを向上させることができます。この数値を増やすと、要求され ているブックが既にメモリにあり、SharePoint コンテンツ データベースからブックを再読み込みする必要がなくなる可能性が高くなり ます。  未使用オブジェクトの最大有効期間 既定では、ECS は、オブジェクトをメモリ キャッシュ内にできる限り長く維持します。特に同じコンピューターで他のサービスが実行さ れている場合は、ECS のフットプリントを減らすために、オブジェクトをメモリにキャッシュする期間の上限を設定すると有効な場合が あります。 ブックの最大サイズとセッションの有効期間を制御するためのスロットルもあります。これにより、ブックがメモリに保持される期間を制御 できます。これらの設定は、それぞれの信頼できる場所が適用範囲になり、グローバルではありません。これらの設定は、[サーバーの 管理] > [アプリケーション構成の管理 : サービス アプリケーションの管理] > [Excel Services] > [信頼できる場所] の [編 集] で、信頼できる場所ごとに設定を編集できます。  ブックの最大サイズ  グラフまたは画像の最大サイズ 既定では、ECS は、10 MB 以下のブックおよび 1 MB 以下のグラフ/イメージに制限されます。もちろん、これらのブックやグラフ/イ メージを大きくすると、ECS 層のコンピューターの使用可能メモリにかかる負荷が増します。ただし、ECS が特定のブックを処理でき るようにこの設定を大きくすることが必要なユーザーが組織にいる場合もあります。  セッション タイムアウト セッション タイムアウトを小さくすると、使用されていなオブジェクト キャッシュやその他のサービスがメモリから速く解放されます。

(14)

 揮発性関数のキャッシュの有効期間 揮発性関数は、ブックを続けて再計算するたびに値が変化することがある関数です。例として、日付/時刻関数、乱数ジェネレータ などがあります。揮発性関数はサーバーに負荷をかけるため、ECS は、これらの値を再計算のたびには再計算せずに、短時間用と して最後の値をキャッシュします。この有効期間を増やすと、サーバーの負荷を減らすことができますが、これは揮発性関数を使用す るブックがあるかどうかによって異なります。  外部データの許可 ECS は、外部データ ソースを使用する機能を持ちます。ただし、大量のデータが返されて、外部リソースを使用するために必要な 時間が非常に大きくなる可能性があります。外部データを許可する場合は、この機能の影響を調整するための設定がいくつかあり ます。

典型的なボトルネックとその原因

パフォーマンス テストの中で、典型的なボトルネックがいくつか明らかになりました。ボトルネックは、ファームの構成要素の 1 つがその キャパシティに達した状態です。ボトルネックは、ファームのスループットに停滞または減少をもたらします。 いくつかの典型的なボトルネック、その原因、および考えられる解決策を次の表に示します。

パフォーマンスとスケーラビリティのトラブルシューティング

ボトルネック 原因 解決策

ECS メモリ Excel Services は、ユーザー セッションの間中、各ブック をメモリに置きます。ブックの数が多い場合やブックが大きい 場合は、ECS がすべての使用可能メモリを消費して、実 際に消費される “プライベート バイト” が “最大プライベー ト バイト” を超える場合があります。 ECS 層のコンピューターのメモリを増やしてスケ ールアップするか、ECS ボックスを増やしてスケ ールアウトします。この選択は、CPU も最大に 近づいているかどうかにも依存する部分がありま す。

ECS CPU Excel Services は、ブックの数と複雑さによっては、アプリ ケーション層で大量の処理を行うことがあります。 既存の ECS ボックスの CPU やコアの数を増 やすか、ECS ボックスを追加します。 Web サーバ ーの CPU 使 用率 Web サーバーの負荷がユーザー要求によって過剰になる と、CPU の平均使用率は 100% に近づきます。これに より、Web サーバーが要求に迅速に応答できなくなり、ク ライアント コンピューターでタイムアウトが発生したり、エラー メッセージが表示される可能性があります。 この問題を解決するには、次の 2 つの方法の どちらかを使用します。ファームに Web サーバ ーを追加して、ユーザー負荷を分散させます。 または、高速のプロセッサを追加して、Web サ ーバーまたはサーバーをスケールアップします。

パフォーマンス監視

システムをスケールアップまたはスケールアウトする必要があるかどうかを判断するには、パフォーマンス カウンターを使用してシステムの 状態を監視します。以下の表に示された情報を使用して、監視するパフォーマンス カウンターとパフォーマンス カウンターを適用する プロセスを決定してください。

フロントエンド Web サーバー

(15)

次の表に、ファームのフロントエンド Web サーバーを監視するためのパフォーマンス カウンターとプロセスを示します。 パフォーマンス カ ウンター 適用先オブジェクト メモ % Processor time Processor (w3wp) このスレッドが命令を実行するためにプロセッサを使用した経過時間の割合を示し ます。 % Processor Time Processor ((_Total) コンピューターのすべてのスレッドが命令を実行するためにプロセッサを使用した経 過時間の割合を示します。 プライベート バイト Process(w3wp) この値が w3wp プロセスの最大プライベート バイトの設定に近づいてはなりませ ん。近づいた場合は、メモリを消費しているコンポーネントを調査する必要がありま す。

Excel Calculation Services (ECS)

次の表に、ファーム内のアプリケーション サーバー (この場合は Excel Calculation Services (ECS)) を監視するためのパフォー マンス カウンターとプロセスを示します。 パフォーマンス カウンター 適用先オブジェクト メモ % Processor Time Processor(_Total) コンピューターのすべてのスレッドが命令を実行するためにプロセッサを使用した 経過時間の割合を示します。 % Processor Time

Process(w3wp) ECS は独自の w3wp プロセス内で実行されるため、CPU 時間を多く使用す るようになったときに、それがどの w3wp プロセスかは明らかです。 平均ディスク キューレングス PhysicalDisk(_Tota l) ログによる過剰なディスク書き込みを監視します。 プライベート バイ

Process(w3wp) Excel Services は、ユーザーのセッションが期限切れになるまで (タイムアウト は設定可能) ブックをメモリにキャッシュします。ECS で大量のデータが処理され ると、ECS の w3wp のメモリ消費が上昇します。

SQL Server

前述のように、ブックはユーザーのセッションの期間中に一度だけ ECS 層のメモリに読み込まれるため、SQL Server 層の Excel Services の負荷は比較的軽くなります。SharePoint Server 2010 の SQL Server 層の監視とトラブルシューティングのガイ ドラインを参照してください。

参照

関連したドキュメント

テストが成功しなかった場合、ダイアログボックスが表示され、 Alienware Command Center の推奨設定を確認するように求め

(2)特定死因を除去した場合の平均余命の延び

荒天の際に係留する場合は、1つのビットに 2 本(可能であれば 3

基準の電力は,原則として次のいずれかを基準として決定するも

それに対して現行民法では︑要素の錯誤が発生した場合には錯誤による無効を承認している︒ここでいう要素の錯

以上の基準を仮に想定し得るが︑おそらくこの基準によっても︑小売市場事件は合憲と考えることができよう︒

特に(1)又は(3)の要件で応募する研究代表者は、応募時に必ず e-Rad に「博士の学位取得

最も改善が必要とされた項目は、 「3.人や資材が安全に動けるように、通路の境界線に は印をつけてあります。 」は「改善が必要」3