• 検索結果がありません。

Brocade VDX 6720, Brocade 1860, 1020とETERNUS DX440S2とのFCoE/iSCSI接続検証

N/A
N/A
Protected

Academic year: 2021

シェア "Brocade VDX 6720, Brocade 1860, 1020とETERNUS DX440S2とのFCoE/iSCSI接続検証"

Copied!
49
0
0

読み込み中.... (全文を見る)

全文

(1)

ネットワーク統合ソリューション

Brocade VDX6720

データセンタスイッチ

Brocade 1860 Fabric Adapter (CNA Mode)

Brocade 1020 DCB/FCoE CNA

Brocade 1020 DCB/FCoE CNA

評価レポート

ブロケードコミュニケーションズシステムズ株式会社

2011

9

16

(2)

目次

• はじめに

• 検証環境

• 検証項目一覧

• 検証結果

• 検証結果

• まとめ

• 参考資料

(3)
(4)

謝辞

Brocade VDX6720-60, Brocade 1020

ならびに

Brocade 1860

の機能評価のため

に富士通検証センター(東京、浜松町)の設備、ならびに担当の皆様を適宜アサイン

してご協力頂き、ありがとうございました。

2011

8

24

日~

30

日(

5

日間)の検証

により下記のデータを得ることができました。

ETERNUS DX440S2

との

FCoE/iSCSI

接続検証

ETERNUS DX440S2

との

FCoE/iSCSI

接続検証

VMware ESX 4.1

でのアダプタ動作検証

Brocade VDX

接続検証

ご協力頂きありがとうございました。

ブロケード・コミュニケーションズ・システムズ

(

)

(5)

Brocade

ネットワーク統合ソリューション

• Brocade VDXファミリ

FC, FCoE, iSCSI

に対応した次世代ファブリックスイッチ

スパニングツリーを排除したマルチパスネットワーク

仮想サーバの移動に対応したスイッチのポート設定移動

論理的に一台として動作するロジカルスイッチ

論理的に一台として動作するロジカルスイッチ

管理、設定が容易、仮想化対応、

SAN/LAN

統合、高帯域、

高冗長性をもったネットワークを提供します

• Brocade 1860 Fabric Adapter

HBA, CNA, NIC

1

枚で

3

役をこなすハイパフォーマンスアダプタ

(6)

検証環境

(7)

検証環境

システム概要図

VM

VM

VM

VM

VM

VM

VM

VM

PRIMERGY

RX300S5

PRIMERGY

TX300S5

Brocade 1860 Fabric Adapter

Brocade 1020 FCoE/DCB CAN

Driver version 3.0

VMWare ESX 4.1

VMWare vCenter 4.1

Windows Server 2008

R2 Standard SP1

VMWare ESX 4.1

VM

VM

VM

VM

SH1516G

ETERNUS DX440S2

(iSCSI/FCoE)

Brocade

VDX6720-60

NOS 2.0.1b

Driver version 3.0

VMWare vClient 4.1

Windows 7 Enterprise SP1

FMV E780/A

iSCSI/FCoE

iSCSI

FCoE

LAN

(8)

検証環境

ディスク接続図

PRIMERGY

RX300S5

(SAS RAID)

Brocade 1860

Brocade 1020

VMWare ESX 4.1

VM

VM

VM

VM

VM

VM

サーバ1 (ESX-1)

サーバ2 (ESX-2)

HDD

(OS)

HDD

(OS)

VM

VM

VM

VM

VM

VM

HDD

(OS)

HDD

(OS)

VM1

VM2

VM3

VM4

VM5

VM6

ETERNUS DX440S2

(iSCSI/FCoE)

Brocade

VDX6720

FCoE

(OS)

(OS)

FCoE (RDM)

LUN x4

iSCSI

(OS)

(OS)

iSCSI (RDM)

LUN x4

(9)

検証環境

ネットワーク接続図

vSwitch #1

vSwitch #2

Onboard NIC

B1020/B1860

VM #1

vNIC #2

vNIC #1

VM #2

vNIC #2

vNIC #1

vSwitch #1

vSwitch #2

Onboard NIC

B1020/B1860

VM #4

vNIC #2

vNIC #1

VM #5

vNIC #2

vNIC #1

サービスネットワーク (192.168.109.x/16)

管理ネットワーク (10.20.109.x/16)

VMWare

ESX 4.1

VM #3

vNIC #2

vNIC #1

VM #6

vNIC #2

vNIC #1

PRIMERGY

TX300S5

PRIMERGY

RX300S5

SH1516G

Brocade

VDX6720

FMV E780/A

sFLow collector

ETERNUS DX440S2

(iSCSI/FCoE)

iSCSI/FCoE

iSCSI

FCoE

LAN

(10)

検証環境(マルチホップ

FCoE)

ネットワーク接続図

vSwitch #1

vSwitch #2

Onboard NIC

B1020/B1860

VM #2

vNIC #2

vNIC #1

vSwitch #1

vSwitch #2

Onboard NIC

B1020/B1860

VM #3

vNIC #2

vNIC #1

サービスネットワーク (192.168.109.x/16)

管理ネットワーク (10.20.109.x/16)

VMWare

ESX 4.1

PRIMERGY

TX300S5

PRIMERGY

RX300S5

SH1516G

Brocade

VDX6720

FMV E780/A

sFLow collector

ETERNUS DX440S2

(iSCSI/FCoE)

FCoE

LAN

(11)

機器仕様

<サーバ>

• PRIMERGY RX300 S5

CPU

Intel Xeon X5570 2.93GHz 16

コア

Memory

8GB

HDD

GB SAS x3(RAID 5)

VMWare ESX4.1

<ストレージ>

• ETERNUS DX440S2

HDD: 450GB(2.5")/10Krpm

×

72

CM: 48GB (24GB

キャッシュ

/CM

×

2CM)

port: iSCSI(10Gbps), FCoE(10Gbps)

VMWare ESX4.1

• PRIMERGY TX300 S5

CPU

Intel Xeon X5570 2.93GHz 16

コア

Memory

8GB

HDD

GB SAS x3(RAID 5)

Windows Server 2008 R2 Standard SP1

<スイッチ>

• Brocade VDX6720-60

OS version: NOS 2.0.1b

<アダプタ>

• Brocade 1860, Brocade 1020

Driver version: 3.0.0.0_rc_bld04

(12)
(13)

検証項目

検証項目

検証項目

検証項目

検証項目

検証手順

検証手順・

検証手順

検証手順

・内容

内容

内容

内容

備考

備考

備考

備考

Brocade1860,

Brocade1020

インストール

Brocade1860, 1020

をサーバにインストールし

HCM,

vCenter

より認識されることを確認する

VDX

を介した

FCoE, iSCSI

ボリューム認識

VDX

を介して

ETERNUS DX440S2

上のディスクを

FCoE, iSCSI

で認識できることを確認する

VCS

基本機能検証

VCS

が正しく構成できることを確認する

VCS

基本機能検証

VCS

が正しく構成できることを確認する

VLAN

動作検証

vlan

を正しく扱えることを確認する

AMPP

機能検証

vMotion

前後でのポートプロファイル適応状況を確

VLAG

動作検証

ip

ハッシュに基づくロードバランシグをしている

Active-Active

チーミングに対して

vLAG

が動作するこ

とを確認する

sFlow

動作検証

sFlow

によりトラフィックモニタできることを確認

する

確認ツールとして

sFlow

trend

を用いる

(14)

検証項目(続き)

検証項目

検証項目

検証項目

検証項目

検証手順

検証手順

検証手順

検証手順・

・内容

内容

内容

内容

備考

備考

備考

備考

マルチホップ

FCoE

検証

マルチホップで構成されたネットーワー

ク上で

FCoE

通信ができることを確認する

10GbE

パフォーマンス測定

仮想マシン間で

B1860 Fabric Adapter

を介

して

10GbE

の通信ができることを確認する

測定ツールとして

NTttcp

を用いる

PostgreSQL

によるパフォー

マンス測定

PostgreSQL

によりデータベース検索のパ

フォーマンス測定を行う

測定ツールとして

PstgreSQL

ベン

チマークツールを使用する

iSCSI

パフォーマンス測定

仮想マシンに

DX440S5

のディスクの

iSCSI

領域をマウントし、

IOmeter

でパフォーマ

ンス測定を行う

マウントポイントは

20GB x4LUN

の領域

4/8/16/32/64/128KB

Read/Write

を行う

FCoE

パフォーマンス測定

仮想マシンに

DX440S5

のディスクの

FCoE

領域をマウントし、

IOmeter

でパフォーマ

ンス測定を行う

マウントポイントは

20GB x4LUN

の領域

4/8/16/32/64/128KB

Read/Write

を行う

vMotion

時のパフォーマン

ス結果

vMotion

持の

IO

断時間を

FCoE/iSCSI

で測定

する

測定ツールとして

KGEN

を用いる

(15)
(16)
(17)

環境構築:

Brocade 1860, 1020

インストール

vCenter, HCM

よりアダプタが認識されていることを確認

Any IO

Brocade 1860

HBA, CNA, NIC

として動作することが可能。

(18)

環境構築:

VCS(Virtual Cluster Switching)

構築

VDX6720-60

を使用した

VCS

の構築

Te 1/0/4 Te 1/0/5

Te 2/0/4 Te 2/0/5

FCoE, iSCSI

FCoE, iSCSI

FCoE, iSCSI

FCoE, iSCSI

VCS ID 1

Te 1/0/1 Te 1/0/2

Te 2/0/1 Te 2/0/2

Te 1/0/13

Te 1/0/14

Te 1/0/15

Te 1/0/4 Te 1/0/5

Te 2/0/4 Te 2/0/5

Te 2/0/13

Te 2/0/14

Te 2/0/15

ISL Trunk

iSCSI

(19)

環境構築:

VCS(Virtual Cluster Switching)

構築

• CEE mapの設定(デフォルトのまま

FCoE

の設定

• FCoEの設定(デフォルトのまま)

(20)

環境構築:

VCS(Virtual Cluster Switching)

構築

• FCoEポート設定

interface TenGigabitEthernet 1/0/1

fabric isl enable

fabric trunk enable

ポートの設定

• ISLポート設定(デフォルトのまま)

interface TenGigabitEthernet 1/0/13

fabric isl enable

fabric trunk enable

switchport

switchport mode access

switchport access vlan 1

fcoeport default

no shutdown

no shutdown

必要最小限の

FCoE

設定はこれだけです。

(21)

環境構築:ボリュームの認識

• VDX6720を介してETERNUS DX440S2のボリュームをiSCSI,

FCoE

で認識できることを確認

(22)
(23)

• VCSファブリックの情報を確認する

2

台の

VDX

を確認

機能検証:

VCS

ファブリックの形成

VCS

ファブリックが形成されていることを確認する

• ISLの情報を確認する

30G

ISL

トランクが形成されていることを確認

(24)

機能検証:

802.1Q tag VLAN

• 検証手順、結果

VDX

のポートを

trunk mode, vSwitch

にタグ

VLAN

を設定し、

通信できることを確認

VDX

のポートで

trunk mode

設定時、

vm

からのタグなしトラフィックが

廃棄されることを確認

VLAN tag

の動作確認

廃棄されることを確認

no vlan dot1q tag native

を設定することでタグなし、

(25)

機能検証:

AMPP (Auto Migration Port Profile)

• AMPPとは仮想マシーンのMACアドレスに紐付けたPort-Profileを仮想マシーンが通信

するポートに適用するものです。仮想マシーンが

vMotion

等で移動した際にスイッチの

ポート設定を移動に追従させるために使用します。

Port-Profile

には、

VLAN, ACL,

QoS, FCoE

のプロファイルを設定可能。

• 検証手順

仮想マシーンを

vMotion

する

AMPP

の動作確認

仮想マシーンを

vMotion

する

vMotion

前の物理ポートに適用されていた

Port-Profile

vMotion

後に通信を行う物理ポー

トに

Port-Profile

が適用されていることを確認する

• 検証結果

vMotion

後の物理ポートに

Port-Profile

が適用されたことを確認

(26)

機能検証:

vLAG (virtual link aggregation)

vLAG

が動作することを確認

Te 1/0/4 Te 1/0/5

Te 2/0/4 Te 2/0/5

VCS ID 1

vLAG

vLAG

Te 1/0/1 Te 1/0/2

Te 2/0/1 Te 2/0/2

Te 1/0/13

Te 1/0/14

Te 1/0/15

Te 1/0/4 Te 1/0/5

Te 2/0/4 Te 2/0/5

Te 2/0/13

Te 2/0/14

Te 2/0/15

ISL Trunk

vLAG

とは

1

台のデバイスから

2

台の

VDX

に対して

Link aggregation

が構成できる技術

デバイスからは通常の

LAG

の設定をする。

VDX

側では

port-channel

の設定をする。

(27)

機能検証:

vLAG (virtual link aggregation)

• 検証手順

vSwitch

のプロパティでロードバランシングを

IP

ハッシュに基づいたルート”に設定する

VM

から複数の宛先

IP

アドレスに

ping

を送信する

VDX

vlag

を設定した場合、しない場合の挙動を確認

vLAG

が動作することを確認

vLAG

を設定しない場合

ping

を送信している

VM

MAC

アドレスを

二つのスイッチで受信するため、

MAC

テーブル上でフラップが確認される。

Ping

を送信している

VM

MAC

アドレス

(28)

機能検証:

vLAG (virtual link aggregation)

vLAG

が動作することを確認

VDX1 vLAG

設定、

show port-channel

VDX2 vLAG

設定、

show port-channel

検証結果

検証結果:

検証結果

検証結果

VM

MAC

アドレス

0050.568f.0007

Po 1

に、登録されていることを確認

(29)

機能検証:

sFlow

• 検証手順

iSCSI

トラフィックが流れているポートを

sFlow

コレクタでモニタする

• 検証結果

sFlow

コレクタで

iSCSI

トラフィック

が表示されたことを確認

sFlow

コレクタを使用したトラフィック状況のモニタ

SH1516G

FMV E780/A

sFLow collector 10.20.109.105

が表示されたことを確認

• sFlow設定

sFLow collector 10.20.109.105

(30)

機能検証:マルチホップ

FCoE

動作確認

• VDXはマルチホップFCoEをサポートする

VDX

が多段に構成されている状態での

FCoE

通信確認

FCoE

FCoE

Te 2/0/3 Te2/0/4

VCS ID 1

• VDXはマルチホップFCoEをサポートする

• マルチホップFCoEとはFCFを持ったス

イッチの多段構成における

FCoE

接続

を意味しています。

• Brocade 8000ではこの構成はサポー

トされておりません

FCoE

2 hops

Te 1/0/2

Te 2/0/13, 14, 15

Te 1/0/13, 14, 15

VDX

VDX

VDX

VDX----2

2

2

2

VDX

VDX

VDX

VDX----1

1

1

1

(31)

機能検証:マルチホップ

FCoE

動作確認

• 検証手順

VDX

を多段接続にし、ログイン、ネームサーバ情報を確認する

IO meter

を使用して

IO

試験を行う

ログイン情報を確認する

VDX-2

Brocade 1020

2

ESX

VDX

が多段に構成されている状態での

FCoE

通信確認

VDX-2

では

Brocade 1020

を使用した

2

台の

ESX

からのログイン情報を確認

VDX-1

では

ETERNUS DX440S2

のログイン情報を確認

Brocade 1020

(32)

機能検証:マルチホップ

FCoE

動作確認

• ネームサーバの確認

(33)

機能検証:マルチホップ

FCoE

動作確認

• ネームサーバの確認

(34)

機能検証:マルチホップ

FCoE

動作確認

• 検証結果

IO

が問題なく行えることを確認。

• IO meterによるIO確認

FCoE

による

read, write

VDX

が多段に構成されている状態での

FCoE

通信確認

FCoE

による

read, write

(35)
(36)

10GbE

パフォーマンス測定

• 検証手順

仮想マシン間で接続された

10GbE I/F

間で

NTttcp

を用いて、

通信速度を計測する

NTttcp

のパラメータ

Brocade 1860

のパフォーマンス試験

• 検証結果

ESX4.1

上の仮想マシン上で

NTttcp

を用いて、

Brocade 1860

を用いて

9.464Gbps

のスループッ

トが出る事を確認した

受信側

ntttcpr –m

16,0.192.168.109.132 –n

10000 –a 16 –w –v –l 1048576

-fr

送信側

ntttcpr –m

16,0.192.168.109.132 –n

10000 –a 16 –w –v –l 1048576

•NTttcp実行時の画面出力

(37)

PostgreSQL

によるパフォーマンス測定

• 検証手順

仮想マシンに

PostgreSQL

を導入

し、データベースを作成する

PostgreSQL

用ベンチマークソフト

により、

TPS

の測定を行う(測定結

果は

3

回試行した平均値)

データベースを用いた、ストレージ別パフォーマンス測定

• 検証結果

FCoE, iSCSI, SAS

の順番にパ

フォーマンスが出る事を確認

仮想マシン上にデータベースを作

成する場合、

FCoE

上がパフォーマ

ンスが出ることが分かる

果は

3

回試行した平均値)

仮想マシンを配置したストレージ

領域の選択は、

ESX

Storage

vMotion

を用い、

PRIMERGY

の内

蔵ディスク

(SAS)

ETERNUS

FCoE

および

iSCSI

のそれぞれの領

域に配置して実行した

ンスが出ることが分かる

•ベンチマーク試験結果(TPS値の測定結果)

200

400

600

800

1000

1200

1400

1600

1800

(38)

iSCSI/FCoE

パフォーマンス測定

-1

10000

20000

30000

40000

50000

60000

70000

FCoE Read

iSCSI Read

FCoE Write

iSCSI Write

仮想マシン上から

IOmeter

を用いたストレージ

I/O

パフォーマンス結果

•IOPS (I/O数 / sec)

• 検証結果より、8KB

以下は

iSCSI

より

FCoE

の方がパフォー

マンスが良いことが

分かった

• 16KB以上のIOPS

は両者で殆ど変わ

0

1K

2K

4K

8K

16K

32K

64K

128K

• 検証結果より、8KB

以下は

iSCSI

より

FCoE

の方がパフォー

マンスが良いことが

分かった

• 16KB以上はiSCSI

FCoE

•スループット (MB/sec)

は両者で殆ど変わ

らない

50

100

150

200

250

FCoE Read

iSCSI Read

FCoE Write

iSCSI Write

(39)

iSCSI/FCoE

パフォーマンス測定

-2

5

10

15

20

25

FCoE Read

iSCSI Read

FCoE Write

iSCSI Write

仮想マシン上から

IOmeter

を用いたストレージ

I/O

パフォーマンス結果

• 検証結果より、

iSCSI

より

FCoE

の方

が若干応答時間が

短いことが分かった

• 平均応答時間 (ms)

0

1K

2K

4K

8K

16K

32K

64K

128K

5

10

15

20

25

FCoE Read

iSCSI Read

FCoE Write

iSCSI Write

• 検証結果より、

iSCSI

より

FCoE

の方

CPU

を利用しな

い事が分かった

• CPU使用率 (%)

(40)

vMotion

時のパフォーマンス結果

• 検証手順

Data Store

FCoE

および

iSCSI

上の

仮想マシンにて

vMotion

を行い、ス

トップウオッチで移動時間を計測する

(測定結果は

3

回試行した平均値)

仮想マシン上で

KGEN(

パフォーマンス

測定ソフト

)

を用いて、ストレージ別の

移動時間および、移動中のストレー

データベースを用いた、ストレージ別パフォーマンス測定

•FCoE上でvMotionを行った際のI/Oパフォーマンス

移動時間および、移動中のストレー

ジパフォーマンスの相違を測定する

•iSCSI上でvMotionを行った際のI/Oパフォーマンス

3

6

9

12

15

18

21

24

27

30

•vMotionを行った際の所要時間(s)

(41)
(42)

まとめ

• Fabric Adapter Brocade 1860, CNA Brocade 1020とも

VMware ESX

に問題なく認識され、

ファブリックスイッチ

Brocade

VDX6720-60

を介して

ETERNUS DX440S2

のボリュームを

FCoE,

iSCSI

を用いてマウント、問題なく

IO

通信ができることを確認。

• Brocade VDX6720-60を使用したイーサネット・ファブリックにおい

• Brocade VDX6720-60を使用したイーサネット・ファブリックにおい

FCoE, iSCSI

IO

トラフィック

, IP

データトラフィックが混在した環境

でのネットワークが構成できることを確認。

• 上記により、基本動作検証を完了することができました。

(43)
(44)

Brocade 1860 Fabric Adapter

• HBA/CNA/NIC

HBA/CNA/NIC

HBA/CNA/NIC

HBA/CNA/NIC

の機能

機能

機能

機能を

1

1

1

1

つの

つの

つの

つのカードに

カードに

カードに

カードに統合

統合

統合

統合

Brocade 1860 Fabric Adapter

HBA

機能

CNA

機能

NIC

機能

(45)

Brocade 1860 Fabric Adapter (HBA/CNA/NIC)

Cloud

や仮想化環境向けの機能を搭載した、サーバ向け次世代アダプター

• 主な機能

ハイパフォーマンスでマルチ

I/O

に対応したアダプター

4/8/16G FC HBA

1/10G DCB/Ethernet

に対応したアダプター

PCI Express 2.0 x8

対応

1

枚のカードでマルチプロトコルに対応

(AnyIO

対応

)

http://www.brocadejapan.com/products/adapters/1860-fabric-adapter/overview

1

枚のカードでマルチプロトコルに対応

(AnyIO

対応

)

FC/FCoE

ハードウエアオフロード機能、

iSCSI TLV

機能、

NIC

オフロード機能に対応

アプリケーションサービスへの対応

16

個の

Physical Function

255

個の

Virtual Function

に対応した

SR-IOV

SAN

に関する機能:

N

ポートトランキング、ハードウエアベースの暗号化

, FC QoS, FC-SP

LAN

に関する機能:仮想マシン毎の仮想アダプタ機能、

QoS

機能

ハイパーバイザーからオフロードされた、仮想スイッチ機能

(46)

Brocade VDX 6720

データセンタスイッチ

Ethernet Fabric

を提供する業界初のスイッチ

6

世代の

ASIC

低消費電力と低遅延を実現

既存の実績のある

ASIC

技術

6

世代の

ASIC

低消費電力と低遅延を実現

既存の実績のある

ASIC

技術

Brocade VCS

テクノロジー

全ての

Brocade VDX

スイッ

チは

Ethernet Fabric

を構

成する

VCS

技術を搭載

Brocade VCS

テクノロジー

全ての

Brocade VDX

スイッ

チは

Ethernet Fabric

を構

成する

VCS

技術を搭載

Brocade VDX 6720-24 Switch

Brocade VDX 6720-60 Switch

Brocade Network OS (NOS)

•実績のあるBrocade Fabric OS (Fibre Channel SwitchのOS)の堅牢性を継承

•高可用性を実現

•LAN/SANを統合し、コンバージド・トラフィックに対応(FCoE)

Ethernet/IP

および

FCP

スタック

Brocade Network OS (NOS)

•実績のあるBrocade Fabric OS (Fibre Channel SwitchのOS)の堅牢性を継承

•高可用性を実現

•LAN/SANを統合し、コンバージド・トラフィックに対応(FCoE)

Ethernet/IP

および

FCP

スタック

Brocade

Network OS

Fibre

Channel

Non

Non-stop

IP

Routing

RAS

(47)

VCS

とは

VCS

の主な機能

VCS ID = 1

Global IP = A

RBridge ID = 1

RBridge ID = 2

RBridge ID = 3

VCS ID = 1

論理筐体

RBridge ID = 4

RBridge ID = 5

RBridge ID = 6

RBridge ID = 7

)RBID = 6

20

ポート

のインタフェース

Tengigabitethernet 6/0/20

vLAG

(48)

ご提供中の技術文書など

• Brocade VCSによる仮想化データセンター・ネットワークの実現

http://www.brocadejapan.com/docs/resources/pdf/BR_VCS_WP.pdf

• VCS対応「Brocade VDX 6720」のデータセンターへの導入

http://www.brocadejapan.com/docs/resources/pdf/VDX6720_WP.PDF

• イーサネット・ファブリックとBrocade VCS テクノロジ

http://www.brocadejapan.com/docs/resources/pdf/Ethernet_fabric_BR_VCS_WP.pdf

• Brocade VALによる仮想データセンター・ネットワークの最適化

http://www.brocadejapan.com/docs/resources/pdf/BR_VAL_WP.pdf

• 新たなプロトコル「FCoE」 - 概要と機能

(49)

ありがとうございました

お問い合わせ先

ブロケードコミュニケーションズシステムズ株式会社

パートナー営業部

1

営業部

鈴木

電話:

03-6203-9100(

代表

)

FAX

03-6203-9101

参照

関連したドキュメント

FSIS が実施する HACCP の検証には、基本的検証と HACCP 運用に関する検証から構 成されている。基本的検証では、危害分析などの

救急現場の環境や動作は日常とは大きく異なる

約3倍の数値となっていた。),平成 23 年 5 月 18 日が 4.47~5.00 (入域の目 的は同月

授業科目の名称 講義等の内容 備考

検証の流れ及び検証方法の詳細については、別途、「特定温室効果ガス排出量検証 ガイドライン

検証を進めていくうえで、登録検証機関が本ガイドラインによる規準では判断ができ

その際、上記の「敷地」は、次に指定する届出で提出された配置図に基づいて 確認することが望ましい。なお、工場立地法(昭和 34 年法律第 24 号)、下水道

内 容 受講対象者 受講者数 研修月日 アンケートに基づく成果の検証