VirtualBox 環境における事前の環境準備 2018 年 8 月 28 日日本電気株式会社

(1)

VirtualBox 環境における事前の環境準備

2018 年 8 月 28 日

(2)

動作環境 ... 3 Sandbox インストール ... 4 VirtualBox 環境用の Sandbox のダウンロード ... 4 VirtualBox 環境用の Sandbox のインストール ... 4 ツールのインストール... 6 Step3 で利用するツール ... 6 ツールのインストール ... 6 データの確認 ... 7 Step1 で利用するサンプルデータ ... 7 Step2 で利用するサンプルデータ： ... 8 ※本資料中に記載される商品名、OSS 名、会社名、ロゴ、トレードマークはそれぞれ各社、各団体の商標または登録商標です。

(3)

動作環境

 Oracle VM VirtualBox（バージョン 5.1 またはそれ以降）  最低 12GB の RAM を搭載

(4)

Sandbox インストール

VirtualBox 環境用の Sandbox のダウンロード

VirtualBox 環境用の SandBox をダウンロードします。ファイルサイズが大きいため、時間に余裕を持ってダウンロードすることをおすすめします。 VirtualBox 環境用： https://downloads-hortonworks.akamaized.net/sandbox-hdp-2.6.5/HDP_2.6.5_virtualbox_180626.ova （ファイルサイズ：15.0 GB）

VirtualBox 環境用の Sandbox のインストール

下記のインストール手順に従って Sandbox をインストールしてください。

1.VirtualBox を起動し、メニューから"File -> Import Appliance" を選択します。

ダウンロードした Sandbox のイメージファイルを選択し、"Open"(開く)をクリックすると以下の画面が表示されます。

ここで RAM の部分をダブルクリックし、仮想マシンへのメモリ割り当て量を "12288MB" に変更してください。

(5)

2."Import"(インポート)をクリックし、Virtualbox に Sandbox をインポートを開始します。インポートが完了するまで、しばらくお待ちください。

3.Sandbox のインポートが完了したら、その Sandbox 選択し、VirtualBox メニューの“Start"(開始)を クリックします。

コンソールウィンドウが開き、起動プロセスを表示します。このプロセスには数分かかります。 以下の画面が表示されたら、Sandbox の使用を開始していただけます。

"For VMware: Welcome Screen:" に表示された URL を Web ブラウザで開くことで Sandbox の使用 を開始することができます。

(6)

ツールのインストール

本チュートリアルでは以下のツールを利用します。

事前に全てインストールするか、Step3 で利用する直前にインストールしてください。

Step3 で利用するツール

Spark MLlib を Python で扱うためのツールをインストールします。

 python-devel：Python の開発に必要なヘッダファイルやライブラリファイルなどが含まれている開発用ツール  python-pip：Python で書かれたパッケージソフトウェアをインストール/管理する  pandas：Python にてデータ解析を支援する機能を提供するライブラリ  matplotlib：Python および NumPy のためのグラフ描画ライブラリ

ツールのインストール

python-devel / python-pip / pandas / matplotlib について、以下の手順でインストールしてください。

1.Web ブラウザで Sandbox インストールサーバの IP アドレス（SSH）にアクセスし、WebConsole から Sandbox にログインします。 IP アドレス http://<Sandbox インストールサーバの IP アドレス（SSH）>:4200 Username root Password 設定されたパスワード(*) (*) 初回ログイン時は「hadoop」となっています。 2.下記のコマンドを実行し、ライブラリをインストールします。 ※ライブラリをインストールするために、Sandbox 内からインターネットへのアクセスが必要です # yum install python-devel python-pip gcc

# pip install pandas==0.23.3 # pip install matplotlib==2.2.2

(7)

データの確認

下記にてチュートリアルで使用するデータをご確認ください。データは Hadoop チュートリアルの Web ページからダウンロードしてください。 Web ページの URL は登録時に送付したメールに記載してあります。

Step1 で利用するサンプルデータ

購買記録データと顧客データ データの内訳： 項番項目名項目 ID 1 顧客 ID customerid 2 氏名 name 3 フリガナ namekana 4 郵便番号 zipcode 5 住所 address 6 電話番号 phonenumber 7 メールアドレス emailaddress 8 性別 sex 9 年齢 age 10 購買回数 frequency 11 最終購買日 visitedday データの内容： 1000,植松智恵理,ウエマツチエリ,301-0005,茨城県龍ケ崎市,0299824632,[email protected],女,47,15,2018-07-15 1001,日下部英雄,クサカベヒデオ,370-1602,群馬県多野郡神流町,0273306738,[email protected], 男,27,21,2018-06-12 1002,露木正則,ツユキマサノリ,323-0157,栃木県小山市,0285258849,[email protected],男,34,5,2018-04-29 1003,木内明日香,キウチアスカ,350-1115,埼玉県川越市,0487681989,[email protected],女,42,3,2018-05-14

(8)

1004,篠原桃歌,シノハラモモカ,162-0855,東京都新宿区,0304499689,[email protected],女,44,12,2018-02-23 1005,宮崎忠雄,ミヤザキタダオ,350-0128,埼玉県比企郡川島町,0481410308,[email protected],男,35,17,2018-06-30

Step2 で利用するサンプルデータ：

Web アクセスログ本チュートリアルでは、非構造データとして以下のようなテキスト形式の Web アクセスログが格納されたサンプルファイル(access.log)を利用します。 222.99.22.236 - - [2017-02-13 12:35:20 +0900] "GET https://www.a-shop.com/news/news-0087.html HTTP/1.1" 200 517 "-" "Mozilla/5.0 (Linux; Android 4.4.4; 401SO Build/23.0.H.0.302) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/34.0.0.0 Mobile Safari/537.36" "1590"

222.99.22.236 - - [2017-02-13 12:35:29 +0900] "GET https://www.a-shop.com/news/news-0001.html HTTP/1.1" 200 487 "https://www.a-shop.com/news/news-0087.html" "Mozilla/5.0 (Linux; Android 4.4.4; 401SO Build/23.0.H.0.302) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/34.0.0.0 Mobile Safari/537.36" "1590"

以上で事前準備は完了となります。

チュートリアルへとお進みください。ファイル名は

VirtualBox 環境における事前の環境準備 2018 年 8 月 28 日 日本電気株式会社