データ管理 ( アーカイブ インポート ) この資料資料は Torrent Suite 5.0/5.2 の仕様に基づいています サーモフィッシャーサイエンティフィックライフテクノロジーズジャパンテクニカルサポート The world leader in serving science

The world leader in serving science

2017-03

サーモフィッシャーサイエンティフィック ライフテクノロジーズジャパン テクニカルサポート

データ管理（アーカイブ、インポート）

データ管理（アーカイブ、インポート）

データ管理（アーカイブ、インポート）

データ管理（アーカイブ、インポート）

この

この

この

この資料

資料

資料

資料は

は

は

は

Torrent Suite 5.0/5.2

の仕様に基づいています

の仕様に基づいています

の仕様に基づいています

の仕様に基づいています。

。

。

。

目次

データ管理の概要

•

データ管理

概要図

•

用語の説明

•

使用頻度の高い

Linux

コマンド

データ管理の前準備

•PuTTy

を用いた

Torrent Server

への接続

•

ハードディスクの接続と確認

•

自動マウントの確認とアンマウント

•

パーティションの確認と作成

•

ハードディスクのフォーマットとマウント

データ管理機能の操作方法

•

自動データ管理機能の設定

•

手動データ管理機能

•

データのインポート機能

ハードディスクの取り外し

•

ハードディスクのアンマウント

補足

ページ

-4-

-5-

-6-

-10-

-13-

-14-

-15-

-17-

-20-

-21-

-22-

-26-3

データ管理の概要

データ管理の概要

データ管理の概要

データ管理の概要

データ管理

概要図

外付けハードディスクデバイス（数

TB

）

Torrent Server

データのアーカイブ（退避）、エクスポート（コピー） データのアーカイブ（退避）、エクスポート（コピー） データのアーカイブ（退避）、エクスポート（コピー） データのアーカイブ（退避）、エクスポート（コピー） データのインポート（戻し） データのインポート（戻し） データのインポート（戻し） データのインポート（戻し） （複数接続も可）

別の

Torrent Server

PC

トレントブラウザのData Management 画面で操作・管理が可能 LAN経由で接続

5

・

ext4

Linux

向けファイルシステムの一種

(

パーティションを

”

フォーマット

”

する方式

)

・マウント

フォーマットされたパーティションを、特定のディレクトリに結びつけて参照

や書き込みができるようにします。

Linux

では手動での実行が必要な場合

があります。

NTFS

FAT32

C:

ドライブ

D:

ドライブ

…

Windows

では

用語の説明

マウントは基

本的に自動で

行われる

トレントサーバ（

Linux OS

）では

・ディレクトリ

複数のファイルを格納し、ファイルを分類・整理することができる保管場所

のこと

フォルダ

・パーティション

ハードディスクの内のデータの仕切りのこと

/dev/sdb2

/dev/sdb1

外付けHDDのパーティションが2つの場合

使用頻度の高い

Linux

コマンド

【一般的】

cd 作業ディレクトリ（フォルダ）の移動 ls ファイル・ディレクトリのリストを表示 vi ファイルの編集 less ファイル内容の閲覧 cat ファイルの連結 cp サーバ内のファイル・ディレクトリのコピー rm ファイル・ディレクトリの削除

【主にデータ管理】

df -HT ディスク・ドライブ使用量の表示 mkfs パーティションのフォーマット mkdir ディレクトリの作成 mount ファイル・システム（ハードディスク）のマウント umount ファイル・システム（ハードディスク）のアンマウント rsync -a サーバー間のファイルのコピー du -sm ディスク使用量の表示（メガバイト単位） chmod 権限変更（閲覧、上書き、削除などの許可）

7

データ管理のための前準備

データ管理のための前準備

データ管理のための前準備

データ管理のための前準備

ハードディスクがマウントされた状態の概念図

外付けハードディスクデバイスなど

Torrent Server

media

disk

…

/dev/sdx1

nfs

マウント

（マウントポイント） /media/disk マウントするとデータマネジメント画面に表示される （ext形式でフォーマット）

/ (

ルート

)

9

データ管理のための前準備ワークフロー

【前準備完了】

※この資料は、数ギガ～数テラバイトの外付けハードディスクを使用することを想定したものです。 外付けハードディスクをトレントサーバに接続 /dev/diskにマウント アンマウント 自分のPCからPuTTyなどでトレントサーバにログイン /dev/disk 以外のマウントポイントに 自動マウントされていないか？ ext4でフォーマットされているか？ ext4でフォーマット パーティションは1つか？ パーティションを1つ作成 Yes Yes Yes No No (無い、2つ以上) No (されている) 内は、Linuxのコマンド操作

目的：

「“

「“

「“

「“

ext

”でフォーマットされたパーティションが

”でフォーマットされたパーティションが

”でフォーマットされたパーティションが

”でフォーマットされたパーティションが“

“

“

“

1

つ”のハードディスクを“

つ”のハードディスクを“

つ”のハードディスクを“

つ”のハードディスクを“

/dev/disk

”にマウントする」

”にマウントする」

”にマウントする」

”にマウントする」

PuTTy

を用いた

Torrent Server

への接続（１）

①

PuTTy

実行ファイルまたはショートカットをダブルクリックして起動

②

Category(

カテゴリ

)

の欄から

Session(

セッション

)

を選択

③

Host Name(

ホスト名

)

の欄に下図のように

TorrentServer

の

IP

アドレスを設定し、

Connection type

(

接続タイプ

)

から

SSH

を選択

④

Saved Sessions(

セッション一覧

)

の欄にこの設定の名称を入力して、

Save(

保存

)

をクリック

※名称は任意です。下の例では、「

TorrentServer

」としています。

⑤

Open(

接続

)

をクリック

*

二回目以降は、③～⑤の代わりに、

Saved Sessions

の中から

TorrentServer

をダブルクリックします。

①

②

③

④

PuTTy

は、

Windows

からサーバーに接続しコマンドを実行するツールです。下記

URL

からダウン

ロードできます。この

URL

に接続できない場合は検索エンジンで

”PuTTy”

を検索して下さい。

http://www.chiark.greenend.org.uk/~sgtatham/putty/download.html

実行ファイル

(putty.exe)

をダウンロードするだけで使用できます。

11

⑥初めて接続する場合に、

Warning

が表示されたら

OK(

はい

)

をクリック

⑦ユーザー名：

ionadmin

とパスワードを入力してログイン

パスワードはサーバーを管理者に確認して下さい。（デフォルト設定は“

ionadmin

”）

【留意事項】

操作の前に必ずお読みください

*以下で赤太字赤太字赤太字赤太字は実行するコマンド、黒太字黒太字黒太字黒太字はコマンドラインに表示される内容です。 *sudoコマンドを実行した際、パスワードの入力を求められることがあります。 *コマンドの中の空白を、□で示します。 *各コマンドについて調べたい場合は、manコマンドをご使用下さい。 man parted コマンドの書式や処理内容、オプションなどの情報が表示されます。矢印キーで上下に移動でき、qキーで 終了します。

(1) PGM

、

Proton

、

S5XL

のそれぞれの解析サーバには内蔵ディスクがあります。

必ず次

ページの“既存ディスクの確認”を行い、これらの上にあるパーティション（

sda1

、

sdb1

、

sdc1

など）を操作しないで下さい。

誤ってフォーマット操作を行うと、全てのデータが消去

されます。

(2) Proton

では、生データが

/rawdata

、解析結果が

/results

以下に保存されます。

PGM

及び

S5XL

では、全てのデータが

/results

以下に保存されます。（コマンドによるデータ復旧時

に必要な情報となります。）

※資料中のコマンド操作は、以下のように記載されています。

・シーケンサの種類により、解析サーバの内蔵ディスクの構成が異なります。

資料中の“パーティションの作成”、または“フォーマット”を行うと、ハードディスク内のデータ

が全て消去されます。解析サーバの内蔵ディスクや、データ保存用ハードディスクに対して

は行わないようにしてください。

・ハードディスクの前準備にデータを全消去する操作が含まれます。

13

(1) トレントサーバーにハードディスクを接続する前に、既存のディスクを確認

ls□/dev/sd*

＜PGM（TS5.0）の場合＞

/dev/sda /dev/sda1 /dev/sda2

＜PGM（TS5.2）の場合＞

/dev/sda /dev/sda1 /dev/sdb /dev/sdb1

＜Protonの場合＞

/dev/sda /dev/sda1 /dev/sda2 /dev/sda3 /dev/sda4 /dev/sdb /dev/sdb1 /dev/sdb2

＜S5XLの場合＞

/dev/sda /dev/sda1 /dev/sdb /dev/sdb1 /dev/sdc /dev/sdc1

⇒上記は、USBを何も接続していないときの状態です。上記のパーティション対して、マウントやフォーマット

などの操作をしないで下さい。

(2) 外付けハードディスクをサーバのUSBポートに接続

(3) 外付けハードディスクが認識されたことを確認 （下記の例は、PGM（TS5.2）またはProtonを想定）

ls□/dev/sd*

/dev/sda /dev/sda1 /dev/sda2 … /dev/sdb2 /dev/sdc /dev/sdc1

⇒(1) と比べて、追加されている“/dev/sdc”が接続したディスクのデバイス名、“/dev/sdc1”がディスク上の パーティション名です。 複数のディスクを接続する場合 複数のディスクを接続する場合複数のディスクを接続する場合 複数のディスクを接続する場合は、新しく「/dev/sd○（○はアルファベットが順番に付けられる）」が追加され ます。例えば、2つ目のディスクを追加すると、以下のように表示されます。 ls□/dev/sd*

/dev/sda /dev/sda1 /dev/sda2 … /dev/sdb2 /dev/sdc /dev/sdc1 /dev/sdd /dev/sdd1

ハードディスクの接続と確認

(1) 自動マウントされていないことの確認 df□-HT□/media/* 出力内容の中に、下記のように接続したディスク上のパーティション名（/dev/sdc1）が表示されていなければ、 次ページの操作に進んで下さい。 自動マウントされた場合などは、下記のようにマウントポイントが/media/diskではないことがあります。もし、 このような表示がある場合は、アンマウントの操作に進んで下さい。 （“/dev/sdc1”が“/media/HD-LBU2”に自動マウントされている場合）

/dev/sdc1 vfat 2.0T 20.0M 1.9T 0% /media/HD-LBU2

(2) アンマウント

マウントポイントが、 /media/HD-LBU2の場合のコマンドは下記となります。

sudo□umount□/media/HD-LBU2

※パスワードを聞かれたら、ログイン時のパスワードを入力して下さい。（デフォルトは、ionadmin） アンマウントには数分かかることもあります。コマンドプロンプト(“ionadmin@xxxxxxx:/media$”)が戻ったら、 アンマウントは完了しています。 (3) アンマウントの確認 df□-HT□/media/* 出力結果に(1)で表示されていた「/dev/sdc1～」の記述がなければ、アンマウントが正常に完了しています。 次ページの操作に進んで下さい。

自動マウントの確認とアンマウント

マウントポイント

15

パーティションの確認と作成（１）

(1) 外付ハードディスクのパーティションの状態を確認

ls□/dev/sd*

接続したハードディスク“/dev/sdc”が以下のように表示される場合に、パーティションの作成を行います。

パーティション無し：/dev/sda /dev/sda1 /dev/sda2 … /dev/sdb2 /dev/sdc

パーティション２つ： /dev/sda /dev/sda1 /dev/sda2 … /dev/sdb2 /dev/sdc /dev/sdc1 /dev/sdc2 ※“/dev/sdc /dev/sdc1”（パーティション１つ）となっていた場合は、フォーマット作業へ進んで下さい。

(2) 外付ハードディスクsdc上のパーティションを操作するプログラムを開始

sudo□parted□/dev/sdc GNU Parted 2.2

Using /dev/sdc

Welcome to GNU Parted! Type 'help' to view a list of commands.

※パスワードを聞かれたら、ログイン時のパスワードを入力して下さい。（デフォルトは、ionadmin）

(3) sdc上に既に有るパーティションを確認

(parted) print

sdc上にパーティションが無い場合は、下記のようなメッセージが表示されます。

Error: /dev/sdc: unrecognised disk label

この場合は、次ページの(4)に進んで下さい。

“パーティション”とは、ハードディスクの内のデータの仕切りのことです。

2TB

を超えるディ

スクなどは、パーティションが

2

つ以上になっていることがあり、これを

1

つにするための作

業を行います。（始めから

1

つの場合は、操作不要）

(3) つづき

sdc上に複数（例では2つ）パーティションが有る場合は、下記のように表示されます。

Model: HitachiG ST (scsi) Disk /dev/sdc: 4001GB

Sector size (logical/physical): 512B/4096B Partition Table: gpt

Number Start End Size File system Name Flags

1 17.4kB 134MB 134MB Microsoft reserved partition msftres 2 135MB 4001GB 4001GB ntfs Basic data partition

この場合は、下記のコマンドで既存のパーティションを削除します。 (parted) rm□1 (parted) rm□2 パーティションが3つ以上の場合も、上の例のように全てのパーティションを削除して下さい。 (4) 外付ハードディスクsdc上にパーティションを作成（ディスク内のデータは全て消去されます。） (parted) mktable□gpt

Warning: The existing disk label on /dev/sdc will be destroyed and all data on this disk will be lost. Do you want to continue?

Yes/No? Y

(parted) mkpart□primary□2048s□-1

Warning: You requested a partition from 2048s to 7814035451s. The closest location we can manage is 2048s to 7814035418s. Is this still acceptable to you?

Yes/No? Y (parted) quit

Information: You may need to update /etc/fstab. (1)

17

(1) パーティションのフォーマット

/dev/sdc1というパーティションをext3又はext4ファイルシステムでフォーマットします。このパーティションに含

まれるデータは全て失われます。

sudo□mkfs□-t□ext4□/dev/sdc1

※パスワードを聞かれたら、ログイン時のパスワードを入力して下さい。（デフォルトは、ionadmin）

※完了するとプロンプト(ionadmin@XXXXXXX:~$)に戻ります。1時間以上かかることがあります。

(2) マウント用のディレクトリ（マウントポイント）を作製

マウントポイント /media/diskを作成します。既に存在する場合は(3)に進みます。ただし、複数のハードディス

クを同時に使用する場合は、別の名前の複数のマウントポイントが必要です。（disk2、disk3など）

sudo□mkdir□/media/disk

(3) ハードディスクをマウント

sudo□mount□/dev/sdc1□/media/disk

(4) マウントの確認

df□-HT□/media/*

Filesystem Type Size Used Avail Use% Mounted on

/dev/mapper/ion--torrent--server-root ext3 8.1G 4.1G 3.7G 53% /

出力内容の中に

/dev/sdc1 ext4 500.0G 0.0G 500.0G 0% /media/disk

のような行が含まれていれば、ディスクはマウントされています。

(5) 読み書き権限の変更

sudo□chmod□777□/media/disk

（このコマンドは実行後何も表示されません。）

新しいハードディスクを初めて使う時に実施

※(1)の操作は、特に注意して下さい。

/media/disk

に初めてマウントする時のみ実施

データ管理機能の操作方法

データ管理機能の操作方法

データ管理機能の操作方法

データ管理機能の操作方法

19

Data Management

画面：データ管理

ディスク使用容量を表示

自動アーカイブ機能の設定 処理の実行状況（自動・手動） 各種ファイルの管理統計情報 手動アーカイブの実施

自動データ管理機能（アーカイブ・削除）の設定

データのカテゴリー毎に設定 Archive/Delete /Disable 自動実行 までの日数 ディスク使用量がこの値を 越えるまで削除しない アーカイブ先 /media/disk

(2) Data Management Configuration

の欄で、ファイルの種類毎にアーカイブ、削除などの設定

カテゴリー

カテゴリー

カテゴリー

カテゴリー

PGM

で再解析に必要

で再解析に必要

で再解析に必要

で再解析に必要

Proton

で再解析に必要

で再解析に必要

で再解析に必要

で再解析に必要

_{解析結果参照}

_{解析結果参照}

_{解析結果参照}

_{解析結果参照}

Signal Processing Input 〇〇〇〇 〇〇〇〇(サムネイル解析サムネイル解析サムネイル解析サムネイル解析)

Basecalling Input 〇〇〇〇(フル解析フル解析フル解析フル解析/3.6.2以降以降以降以降)

Output Files 〇〇〇〇

Intermediate Files *(フル解析フル解析フル解析フル解析/3.6)

*Torrent Suite 3.6では、Protonで再解析を実施するのに必要な1.wellsファイルが”Intermediate Files”に

(1) Configure

をクリック

21

Data Management

画面下部で、ラン・解析ごとのアーカイブ状況の確認と操作が可能

操作したいファイルの種類のチェックボック

スをオンにして、下のいずれかの操作のボ

タンをクリック

例) “Signal Processing Input”のチェック ボックスだけをオンにしてArchive Selected のボタンをクリックすると、生データだけが外 付けディスクに移動します。 Delete またはArchiveをしたい場合は、チェックを外す

Archive Selected:

外付けディスクにデータが移され、サーバー上のファイルは削除

Export Selected :

外付けディスクにデータがコピーされ、サーバー上にもファイルが残る

ボタンをクリック後、

Comment

欄に必ず何か入力して

Confirm

をクリックします。

手動データ管理機能

✔

カテゴリー

カテゴリー

カテゴリー

カテゴリー

ハードディスク内のパス

ハードディスク内のパス

ハードディスク内のパス

ハードディスク内のパス

Signal Processing Input /media/ (マウント用のディレクトリ) / (ラン名のディレクトリ) /

Basecalling Input & Report /media/ (マウント用のディレクトリ) / archivedReports / (解析名のディレクトリ) /

(1) Data Import

の欄の

Import

ボタンをクリックし、ポップアップ画面の下向き矢印をクリック

目的のデータをアーカイブしたハードディスクの マウント用ディレクトリ名をクリック

【インポートできるデータの種類と格納場所】

解析名やデータの種類で絞り込みが可能

データのインポート機能（１）

アーカイブまたはエクスポートした

解析名が表示される

23

データのインポート機能（２）

(2)

インポート（およびサーバへのコピー）をしたいデータにチェックを入れる

下記は、Report（BAMファイル、プラグイン結果など）とBaseCallingInput（再解析用データ）を選択した例

(3) 目的のデータにチェックが入っていることを確認し、Importをクリック

(4) Dataタブからインポートされたデータを確認

・チェックを入れた場合は、データをトレントサーバへコピー

インポートデータでのプラグイン実行エラー

“

Report”（BAMファイル、プラグイン結果など）をインポートしてプラグインを実行すると、以下のようなエラーが 表示され、プラグインが実行できない場合があります。（生データを再解析した場合には表示されません。） このような場合には、以下のコマンド操作によりプラグインの実行が可能になります。 (1) Puttyなどでトレントサーバへログインし、インポートしたデータのディレクトリ（解析名）があることを確認 cd□/results/analysis/output/Home ls ⇒表示された解析名の一覧にインポートしたデータの名前があることを確認してください。 (2) プラグイン出力ディレクトリの権限変更 chmod□777□./解析名解析名解析名解析名/plugin_out (3) トレントブラウザから再度プラグインを実行し、ステータスが“Started”になっていればプラグインが正常に実行 されています。

25

ハードディスクの取り外し

ハードディスクの取り外し

ハードディスクの取り外し

ハードディスクの取り外し

ハードディスクのアンマウントと取り外し

ハードディスクを取り外す際や、フォーマット・パーティションの作成時にアンマウントを行います。 (1) ディレクトリの移動 cd□/media (2) アンマウント /media/disk にマウントされている場合は、下記のコマンドを実行します。 ※パスワードを聞かれたら、ログイン時のパスワードを入力して下さい。（デフォルトは、ionadmin）

sudo□umount□disk

アンマウントには数分かかることもあります。コマンドプロンプト(“ionadmin@xxxxxxx:/media$”)が戻ったら、

アンマウントは完了しています。

(3) アンマウントの確認

df□-HT□/media/*

出力結果に下記のような記述がなければ、アンマウントが正常に完了しています。

/dev/sdc1 ext4 500.0G 0.0G 500.0G 0% /media/disk

27

補足

補足

補足

補足

コマンドによるデータの復元（１）

※PGMをご使用で、保存先ディスクが/media/diskにマウントされているものとします。“☐”は半角スペースの意味。 Protonの場合は、弊社テクニカルサポートまでお問い合わせ下さい。 (1) サーバー上のディレクトリの確認 サーバーの/resultsというディレクトリの中に、PGM本体から転送された生データを格納するディレクトリがあり ます。下記のコマンドでその名前を確認します。 ls□/results

analysis pgm PGM_test plugins referenceLibrary uploads lost+found PGM_config pluginMedia publisherssn11c071419

上記の例では“sn11c071419”がデータディレクトリです。これはPGM本体に付けられた名前で、施設毎に異 なります。 (2) ディスク空き容量の確認 df□–H□/results サーバー上のハードディスクの総容量、使用容量、残容量が表示されます。 (3) データの確認 /media/disk以下にどのようなディレクトリ（ランデータ）があるかは、下記のコマンドで確認できます。 cd□/media/disk ls R_2011_04_28_06_57_36_user_JP2-45 表示された一覧に、復元したいラン名「R_～」があるかを確認します。 (4) データ容量の確認 du□–sm□/media/disk/R_2011_04_28_06_57_36_user_JP2-45 21267 /media/disk/R_2011_04_28_06_57_36_user_JP2-45 左の数字が、Mバイト単位でのデータ容量です。 後ほど、コピー後のデータ量と比較します。

29

コマンドによるデータの復元（２）

(5) 生データのコピー “/”の有無は重要です。省略せずに入力してください。 下記の“sn11c071419”は(1)で確認したPGM本体の名前です。 mkdir☐/results/sn11c071419/temp chmod□777□/results/sn11c071419/temp

rsync□-a□R_2011_04_28_06_57_36_user_JP2-45□/results/sn11c071419/temp/

これらの操作の中で、「Permission denied～」などの警告が出ましたら、コマンドの先頭に「sudo☐」を付加し

てください。パスワードを入力する際は、ionadminとなります。 (6) コピー後データの確認 cd□/results/sn11c071419/temp ls R_2011_04_28_06_57_36_user_JP2-45 (5)でコピーしたラン名があるかを確認します。 (7) データ容量の確認 du□–sm□R_2011_04_28_06_57_36_user_JP2-45 21267 /media/disk/R_2011_04_28_06_57_36_user_JP2-45 (4)で確認したデータ容量とほぼ同じであることを確認します。若干異なる場合もあります。 (8) 再解析の開始 下記のコマンドを実行すると、再解析が始ります。 mv□R_2011_04_28_06_57_36_user_JP2-45□../

Technical Support

Call 0120-477-392

[email protected]

営業時間：午前

9

時から午後

6

時まで

The Chip is the Machine™

ご不明な点がございましたら

弊社テクニカルサポートまで

31

For Research Use Only. Not for use in diagnostic procedures.