広島市立大学における情報ネットワークシステムの
クラウド環境移行
前田香織
†末松伸朗
†北村俊明
† 広島市立大学では平成26 年 10 月に情報ネットワークシステムを機種更新し，L3 以上の機能 と全サーバ機能をデータセンターに移行して運用を開始した．この更新では対象がネットワー ク基盤の刷新，情報処理教育システム，教務支援システム，図書システム，e-learning システ ムと多岐に渡る．これらの機能を提供するルータやサーバ群をデータセンターに集約し，メー ルセキュリティなど一部機能はパブリッククラウドを使うこととした．本稿では，CG 処理を する芸術系科目の端末50 台を含む約 550 台を仮想デスクトップ環境で構築した教育用システ ムを中心に新システムの設計と更新後の運用状況について報告する．A Case Study of Migrating a Network System to a Cloud
Environment in Hiroshima City University
KAORI MAEDA
†NOBUO SUEMATSU
†TOSHIAKI KITAMURA
†Hiroshima City University started a new campus network system from Oct. 2014. The functions in a network layer (L3) and all functions of all servers in this system have been migrated to a cloud environment. The coverage of this system construction is wide and includes network infrastructure, network services, terminal rooms, a system on academic affairs, a library system and an e-learning system. All servers and network equipment of L3 and upper layers work at a data center. Some functions such as mail security and mail delivery work in a public cloud. This paper describes the design of the educational system constructed by the virtual desktop infrastructure of 550 virtual desktops including 50 virtual desktops on which CG software runs for art classes and the other systems. Also, the current status after migration is mentioned.
1. は じ め に
どの大学においても情報ネットワークシステムは教育， 研究のみならず，学生の大学生活支援，教職員の事務処理 などあらゆる場面で必要となっている．大学の情報ネット ワークシステムは規模，キャンパスの分散，構成部局の特 性などによって設計方針が異なるが，技術的，運用的にも 安定しつつあることから，サーバなど物理機器の自前での 運用から，クラウド環境移行やサービスのアウトソースな どに切り替える傾向にある． 山梨大学では2002 年にディスクレスの Windows サーバ 群を遠隔の操作センターに移行した[1]．この移行では操作 センターの場所や設備の安全性，安定性のみならず，シス テムの管理者が学内にいない組織において遠隔地からの保 守作業によって可用性向上を目指すものである．一方で遠 隔保守故の課題やその解決法についても言及している．以 降，2012 年度にはサーバ群をデータセンター（以降，DC） で仮想化し，プライベートクラウド環境としている[2]． これ以外にも 2012 年には電気通信大学でのプライベー トクラウドへの移行事例があり[3]，この事例ではこのクラ ウド環境を大学間で共同利用する提案もされている．また， † 広島市立大学大学院情報科学研究科Graduate School of Information Sciences, Hiroshima City University
それ以降もクラウド化が進み，2013 年以降にキャンパス情 報ネットワークのクラウド環境利用には武蔵大学，大阪大 学，広島大学の事例もある[4][5][6]．九州大学では 2013 年 に情報教育システムの IaaS 実現について調査を行ってい る[7]． このように情報基盤構築のハードウェアリソースを DC に移したり，ネットワークサービスなどの機能をクラウド で実現したりすることで，可用性を向上したり，管理コス トの低減，省エネ，BCP（Business Continuity Plan）へ対応 する組織が増えている．広島市立大学（以降，本学）でも 1994 年の開学以来，5 年毎に機種更新があり，大学の情報 ネットワークシステムのリソースは大学内に設置し，サー ビスを提供してきたが，5 回目となる 2014 年 10 月に刷新 したシステムではL3 以上の機能と全サーバ機能を DC に移 行し，一部サービスはパブリッククラウドの利用を開始し た． 本稿の以降で，本学のクラウド環境利用について述べる． 2 章で今回の機種更新の方針について述べる．3 章で新シス テムの概要と特徴的なクラウド利用について述べ，4 章で 現在までの運用状況を移行前と比較する．最後に5 章でま とめと今後の課題について述べる．
2. 機 種 更 新 方 針
2.1 機 種 更 新 の 方 針 今回の機種更新では以下の方針をたて，計画を進めた． (1) ICT を 用 い た 教 育 環 境 の 柔 軟 性 と 安 定 性 の 強 化 全学部や施設に分散する情報処理機器を用いた教育施設 を将来的に統一的な維持管理ができる環境になるよう段階 的に構築する．また，施設を相互に利用することで，学生 の学習環境の柔軟性を向上するとともに，集中的な保守管 理により安全で安定なシステム稼働を目指す．さらに，こ うした環境を利用して，図書館などの自習スペースの整備 が容易となるようにする． (2) 広 島 市 立 大 学 情 報 ネ ッ ト ワ ー ク 基 盤（ HUNET）の 従 来 機 能 維 持 と 安 定 稼 働 24 時間 365 日の稼働が要望されるものや，一時的や将来 的なサーバ類の拡張にも対応できるようにネットワークサ ービスはプライベート，またはパブリッククラウドでの提 供とし，学内のサーバ群の保守管理のスリム化をしていく． 同様に各種データのバックアップを統一的に行って BCP を意識したシステム構築を行う． 2.2 仕 様 策 定 概 要 (1) 仮 想 デ ス ク ト ッ プ 環 境 の 導 入 方針(1)に沿って，情報処理センターの２つの実習室（160 台端末），語学センター（130 台端末），サテライトキャン パス（25 台），貸出し用端末（30 台），図書館デスクトップ 端末5 台，持ち込み PC に仮想デスクトップ環境（VDI）を 導入する．また，この環境を他の情報処理教育施設（情報 科学部演習室や芸術学部端末室）にも拡張することを視野 に入れ，情報処理教育，学部専門教育（プログラミング， 情報科学部専門基礎科目，芸術学部デザイン系科目など） の講義を施設によらず実施ができる環境構築をする．また， 相互に自習スペースとして使えるようにする． VDI の設計には先行して 80 台の VDT が稼働している事 務局のVDI（付録 A 第 4 期）の経験を元に教育系の設計を することとした． (2) 柔 軟 な サ ー ビ ス 構 成 変 更 従来の構成では機器更新までのリース期間中にハードウ ェアやソフトウェアの変更が難しく，状況に応じた構成変 更が難しかった．そのため，今回はネットワークサービス を提供する多くの機能を仮想サーバで構築し，一部機能は パブリッククラウドを用いる．具体的にはメールセキュリ ティと学生のメール環境はパブリッククラウドを用いる． (3) ネ ッ ト ワ ー ク 機 能 と サ ー バ の DC 設 置 方針(2)に沿って，安定稼働やネットワークサービスの集 中管理のため，ルーティングなど L3 以上を提供するネッ トワーク機器や各種ネットワークサービス提供用のサーバ は DC に設置する．そのため，DC と大学間のネットワー クの高速化を図る． バックアップはDC 内のローカルなバックアップ以外に 別の場所にも確保する．3. 新 シ ス テ ム の 概 要 と 特 徴
3.1 構 成 新システムは図1 のように基盤ネットワークの構築，教 育端末室の整備，教務系システム，図書システム，デジタ ルサイネージ，遠隔教室整備などカバー範囲が広い．また， 2010 年に無線 LAN のエリアを拡張したが，その更新も同 時に行った． 3.2 L3 機 能 の 移 行 今回のシステムの特徴の１つは L3 以上のネットワーク 機能もDC に集約した点である．ネットワーク接続に関し ては学内にはL2 のスイッチや無線 LAN のアクセスポイン トしかない．ルーティング，ファイアウォール，ロードバ ランサも DC で設置されているので，DC と大学との専用 回線は 10Gbps に増強している．帯域を下げて２つの回線 での接続も計画したが，本学の立地を考えると光回線は他 の通信事業者も現行契約している事業者からの借り上げと なり，災害などの影響は同様に受けることとそれぞれの接 続の費用から単一10Gbps 回線とした． 3.3 サ ー バ の 仮 想 化 VDI 各種サービスを提供するサーバも DC に設置し，各 種ネットワークサービスのシステムは仮想化サーバ上に構 築している．これにより，サーバごとのリソースの割当が 柔軟になるので，入試の合格発表時のWeb サーバの同時集 中アクセス時の一時的なリソース増強や，講義期間中とそ れ以外の教育用の仮想デスクトップのリソース割当変更な どが可能になった．ファイルサーバはDC 内のストレージ におき，後述の仮想デスクトップからNFS で用いる． 更新前は事務局の業務用 VDI は大学内に管理や実行用 サーバとファイルサーバをおいていたが，この機種更新に あわせてDC に移設した． 3.4 仮 想 デ ス ク ト ッ プ 環 境 教育用や業務用の端末は図2 のように VDI 上に構築した． VDT は表 1 のように用途別に 7 つのプールに分けて運用し ている．情報処理教育，プログラミング，文書編集などの 科目用（以降，一般系）の合計550 台と，画像編集や 3D CG 処理用の科目（以降，芸術系）の50 台の VDT 用にそれぞ れ7 台と 2 台の実行用サーバ（Cisco UCS C220 M3：CPU は12 コア×2 基/1 台）を用いている．また，それぞれにハ表１．仮想デスクトップの用途内訳 Table1 The Detail of the Purposes of VDT
VDT プール 台数 メモリ/1 台(GB) 一般系 実習室用・貸出し端末(30 台)用 412 3 語学センター用 130 2 サテライトキャンパス用 25 2 自習用 15 3 図書館情報検索用 8 2 芸術系 50 3
イパバイザ（VMware 社の ESXi）がある．芸術系は画像編 集（Adobe の Photoshop，Illustrator など）や 3D の CG 処理 （Shade3D ） を す る の で ， 実 行 サ ー バ に は 1 台 に つ き 4GPU(NVIDIA GRID K1)を 2 基搭載している．一般系と芸 術系で1 コアあたりそれぞれ 4 台の VDT と 2 台の VDT を 稼働するようにサイジングされ，障害を起こした場合も一 それぞれハイパバイザが1 台で必要な VDT を稼働できる． 全プールでWindows7 が動作し，加えて，一般系のうち 実 習 室 用 と 自 習 用 で は Ubuntu が 動 作 す る ． Ubuntu は Windows 上のエミュレートソフト（VMWare Player）を用 いて動作する．上述のプール以外にも事務局や図書館の管 理業務用のプールで18 台の VDT が稼働している．また， 事務局用の80 台の VDT は教育用とは別の実行サーバで稼 働している．
図1 全体システム構成図 Figure 1 Total System Configuration
図2 VDI を用いた教育システム構成図 Figure 2 Education System Configuration using VDI
3.5 パ ブ リ ッ ク ク ラ ウ ド 利 用 ネットワークサービスや教育・研究支援のシステムのサ ーバはDC に設置され，プライベートクラウドの形態で運 用されているが，メールセキュリティと学生のメールシス テムはパブリッククラウドを用いた． (1) メ ー ル セ キ ュ リ テ ィ 従来，メールのウィルス対策やスパムメール検知は学内 にメールセキュリティ用のサーバを設置して対応してきた が，表2 のとおりウィルス検知数は激減し，スパムメール が増加，またこれらの検知システムを通過する標的型メー ルの数が増加している．しかし，リース契約で導入したシ ステムではこのような動向の変化に対応できないため，メ ー ル セ キ ュ リ テ ィ は パ ブ リ ッ ク ク ラ ウ ド サ ー ビ ス （Symantec 社 Symantec.cloud）を使用することとした． 本学宛のメールはこのサービスのSMTP サーバで受信し， そこから教職員宛は本学のメールルータに，学生宛は後述 のパブリッククラウドサービスのメールサーバに配送され る．大学からの送信メールもいったんこのクラウドを経由 して送信される． (2) 学 生 メ ー ル シ ス テ ム メールサービスは既にパブリッククラウドで運用する大 学が多々あり，本学も今回の更新にあわせて，学生のメー ルシステムとして Microsoft 社の Office 365 を使うことと した．また，同サービスで提供されているストレージサー ビスも利用する．
4. 運 用 状 況
構築期間が約3 ヶ月で 10 月から新システムが稼働してい る．システムの更新前後で変化のあった項目について以降 で述べる． 4.1 使 用 電 力 量 の 変 化 大学のサーバ室に残っているのは L2 のスイッチの他， 数台のサーバ（電気錠システムの管理用と監視カメラの画 像レコーダ）である．表3 に使用電力量の変化を示す．サ ーバ室は更新により消費電力を自動的に測定・収集する機 器が撤去されたので，サーバ室の更新後の測定値は10 回の 測定値の平均値を示す．実習室の機器類やDC の値はカタ ログのピーク値から計算したものである． 更新後にサーバ室の電力量は表3 のとおり当然小さくな っているが，DC の４ラックの機器の消費電力を加えても 37.0kW で，更新前の約 53%になっている．機器が 5 年前 に比べ，低消費電力になっていることも要因の１つだが， サーバの仮想化も消費電力の抑制には効果的であった． 実習室は更新後にゼロクライアントにしたことでかなり 電力量が削減されている． 4.2 VDI の 端 末 操 作 性 教育用，事務業務用ともにVDI で，しかも遠隔地で構築 したので，利用者の操作性に対する影響を調べた． (1) DC ま で の 転 送 遅 延 まず，DC までの転送遅延による影響がないかを調べた． 表4 は端末の起動等にかかる時間の更新前後の比較である． Windows の利用できるまでの時間は更新前に比べて早くな っているものの，Linux は Windows 上のエミュレーション ソフトで動作しているため，Windows の起動完了後に Linux の使用までの時間が追加で必要となる．ただし，Windows の起動が早くなっているので，利用開始までの待ち時間に 大きな差は出ていない． ファイルサーバの端末からの利用は両者がサーバ内か DC かの違いであり，更新前後でほとんど変化はない．た だし，Linux からの利用はやはり遅くなっている．一方， 情報科学部演習室の 160 余台は今回の更新対象でなく， VDI でないので，ファイルサーバをネットワーク越しに NFS で使用している．そのため転送遅延の影響を受けるが， 現在にところ支障は起きていない． 事務用 VDI もそのためのサーバ類を今回の更新に伴い， DC に移設したが，端末の操作性の問題は生じていない． 表2 ウィルスとスパムの検知数Table 2 The Number of Detection of Virus and Spam Mails. ウィルス検知数 スパム検知数 2004 年 164,599 - 2005 年 89,231 - 2006 年 34,160 - 2007 年 22,556 - 2008 年 141,059 - 2009 年(除 8,9 月) 203,182 445,048 2010 年 1,358 639,402 2011 年 349 267,346 2012 年 81 241,198 2013 年 123 254,934 2014 年(〜8 月) 58 149,766 2014 年(9〜12 月) 538 33,072 表3 電力量の変化 Table 3 Variation in Electric Power
更新前（kW） 更新後（kW） サーバ室 68.8*1 37.0 (8.1*2+28.9 (DC)) 実習室 端末 21.9 4.7 プリンタ 5.6 6.0 *1 : ４ヶ月（4〜7 月）平均値，*2：10 回測定の平均値 それ以外は機器のカタログの最大値から換算 表4 起動，ログオン，シャットダウン等にかかる時間 Table 4 Time of Boot, Logon and Shutdown
更新前 更新後 起動 Windows 67〜87s 25〜30s＋プール選択 2〜4s Linux 55〜59s ログオン Windows 38〜45s 20〜25s ・・・(a) Linux 11〜14s (a)に加え Linux 起動: 30〜50s Linux ログオン: 20〜25s シャットダ ウン Windows 16〜25s 7〜10s Linux 7〜8s 10〜15s 端末⇔ファ イルサーバ Windows １ms 未満 １ms 未満 Linux 0.25ms 0.79ms
(2) リ ソ ー ス 配 分 更新システムの検討時に VDT のプールごとに検討して サイジングをしたが，実際に講義で支障は起きていないか を確認した．図3 に教育用の VDT の実行サーバの CPU 消費量を示す．図 3 中の VDT 数は同時に稼働している台 数である．実行サーバは一般系（情報処理科目，プログラ ミングなどの講義実施）用に7 台，芸術系（グラフィック ス処理など）用に2 台が使われているが，いずれも同様の CPU の使用量を示していた．例えば，図 3（a）で同時 100 余台を使うときは7 台ともピークで 25〜30%を使っている． このことから，最大550 台を使用しても講義の実施は可能 と予想している． 芸術系でも2 台の実行サーバは約 50 台の VDT が同時に 動作しても最大30％の使用率（このとき，GPU へオフロー ドされているかどうかは調査できていない）である．操作 性に対するクレームもないことからリソース配分に支障は ないと考えている． 4.3 パ ブ リ ッ ク ク ラ ウ ド へ の 移 行 メールセキュリティのパブリッククラウド移行は，同じ Symantec 社のアプライアンスからの移行だったので円滑 に進むと予想していたが，実際にはアプライアンスでの検 知エンジンや検知した際のメールの処理の違いが移行後に 発覚したものもあり，当初は混乱した．例えば，暗号化さ れた添付ファイルの扱いが更新前は検知処理ができないこ とがメール本文中に記載されていたが，クラウド移行後は それができず，利用者にはウィルス検知ができたのか否か が判断しにくい状況となった．対処方法を依頼して，利用 に支障がない状況にはなっているが，当初は混乱した．標 的型メールの検知も対象になったが，それで利用者の混乱 が生じている例は今のところはない． 学生のメールシステムの Office365 への移行では，大学 のメールアドレスとの共用ができなかったため，専用のド メイン名を作った．そのため，学生は夏休みの前後でメー ルアドレスが変更となり，そのための対応が必要であった． 更新前に使用していた Web メールのスプールを移行した り，当分の間は旧アドレス宛のメールを転送したりして大 きな混乱が生じないようにした． 4.4 バ ッ ク ア ッ プ 更新前のバックアップはローカルディスクにとるのみだ ったが，更新後は別のDC にもバックアップをとるように した．両者とも同じ製品でブロック単位での差分バックア ップが可能なので，毎日，差分バックアップを行っている． 差分バックアップのデータ転送容量は日ごとに変動するが, 講義が多い日や VDT のマスタイメージの更新があるよう な日を含めても約200GB で，データ容量 8.5TB（2015 年 1 月末現在）の約 2%である．バックアップは AM2:00 から 30 分ごとに領域ごとに転送するように設定されており，図 4 の通り短い時間で終わっている． 4.5 教 育 シ ス テ ム 環 境 の 保 守 VDI になっても端末へのセキュリティパッチの適用やイ メージの配布など教育用システムの環境の保守は必要であ る．このような保守作業が更新前後でどのように変化した かを表5 にまとめた．Linux や Windows の保守は OS や導 入ソフトウェアのパッチやバージョンアップである．更新 前は PC のマスタイメージの準備やイメージの配布サーバ の準備に時間がかかっており，その部分についてはVDI で (a) 一般系プール実行サーバ (b) 芸術系プール用実行サーバ 図3 VDT の実行サーバ 1 台分の CPU 消費量 Figure 3 CPU Consumption of Each Execution Server
表5 保守作業時間 Table 5 Maintenance Time.
更新前（時間） 更新後（時間） Linux の保守* 0.5 1 Windows の保守* 0.5 1 更新前：マスタイメージ準備 更新後:スナップショット作成 4 0.5 イメージ配布サーバ準備 7.5 - イメージ配布 7 6 予備機で動作確認* 0.5 - 最終動作確認* 3 0.5 ウィルススキャン処理 − 3.5 計 23 12.5 *は手作業 図4 バックアップデータ転送量 Figure 4 Backup Data Traffic
は不要になった． ウィルススキャンは実機でも VDT でも端末個々に動作 するが，VDT の場合は同じ実行サーバで一斉にスキャンが 動作するので，サーバの負荷軽減が必要である．そのため にマスタイメージでのスキャン結果をもとに各 VDT のス キャン対象を絞るなどサーバの保守作業が追加で必要とな った． 全体に要する時間はVDI になって半減しているが，手作 業の時間は大きな変化はない．
