データアーカイブ

サーモフィッシャーサイエンティフィック

ライフテクノロジーズジャパン テクニカルサポート

jptech@thermofisher.com

2016年2月

この資料は、Torrent Suite 5.0 の仕様に基づいています。

データ管理（アーカイブ、インポート）

2

目次

データ管理の概要

•データ管理 概要図

•用語の説明

•使用頻度の高いLinuxコマンド

データ管理の前準備

•PuTTyを用いたTorrent Serverへの接続

•ハードディスクの接続と確認

•自動マウントの確認とアンマウント

•パーティションの確認と作成

•ハードディスクのフォーマットとマウント

•ハードディスクのアンマウント

データ管理機能の操作方法

•自動データ管理機能の設定

•手動データ管理機能

•データのインポート機能

補足

-4-

-5-

-6-

-9-

-12-

-13-

-14-

-16-

-17-

-20-

-21-

-22-

4

データ管理 概要図

外付けハードディスクデバイス（数TB）

Torrent Server

データのアーカイブ（退避）、エクスポート（コピー） データのインポート（戻し） （複数接続も可）

別のTorrent Server

PC

トレントブラウザのData Management 画面で操作・管理が可能 LAN経由で接続

・ext4

Linux向けファイルシステムの一種 (パーティションを”フォーマット”する方式)

・マウント

フォーマットされたパーティションを、特定のディレクトリに結びつけて参照

や書き込みができるようにします。Linuxでは手動での実行が必要な場合

があります。

NTFS

FAT32

C:ドライブ

D:ドライブ

…

Windowsでは

用語の説明

マウントは基

本的に自動で

行われる

トレントサーバ（Linux OS）では

・ディレクトリ

複数のファイルを格納し、ファイルを分類・整理することができる保管場所

のこと

フォルダ

・パーティション

ハードディスクの内のデータの仕切りのこと

/dev/sdb2

/dev/sdb1

外付けHDDのパーティションが2つの場合

6

使用頻度の高いLinuxコマンド

【一般的】

cd 作業ディレクトリ（フォルダ）の移動 ls ファイル・ディレクトリのリストを表示 vi ファイルの編集 less ファイル内容の閲覧 cat ファイルの連結 cp サーバ内のファイル・ディレクトリのコピー rm ファイル・ディレクトリの削除

【主にデータ管理】

df -HT ディスク・ドライブ使用量の表示 mkfs パーティションのフォーマット mkdir ディレクトリの作成 mount ファイル・システム（ハードディスク）のマウント umount ファイル・システム（ハードディスク）のアンマウント rsync -a サーバー間のファイルのコピー du -sm ディスク使用量の表示（メガバイト単位） chmod 権限変更（閲覧、上書き、削除などの許可）

8

データ管理のための前準備ワークフロー

【前準備完了】

※この資料は、数ギガ～数テラバイトの外付けハードディスクを使用することを想定したものです。 外付けハードディスクをトレントサーバに接続 /dev/disk にマウント アンマウント 自分のPCからPuTTyなどでトレントサーバにログイン /dev/disk 以外のマウントポイントに 自動マウントされていないか？ ext3またはext4で フォーマットされているか？ ext4でフォーマット パーティションは1つか？ パーティションを1つ作成 Yes Yes Yes No No (無い、2つ以上) No (されている) 内は、Linuxのコマンド操作

目的：

「“ext”でフォーマットされたパーティションが“ 1つ”のハードディスクを“/dev/disk”にマウントする」

PuTTyを用いたTorrent Serverへの接続（１）

① PuTTy実行ファイルまたはショートカットをダブルクリックして起動

② Category(カテゴリ)の欄からSession(セッション)を選択

③ Host Name(ホスト名)の欄に下図のようにTorrentServerのIPアドレスを設定し、Connection type

(接続タイプ)からSSHを選択

④ Saved Sessions(セッション一覧)の欄にこの設定の名称を入力して、Save(保存)をクリック

※名称は任意です。下の例では、「TorrentServer」としています。

⑤ Open(接続)をクリック

* 二回目以降は、③～⑤の代わりに、Saved Sessionsの中からTorrentServerをダブルクリックします。

①

②

③

④

PuTTyは、Windows からサーバーに接続しコマンドを実行するツールです。下記URLからダウンロ

ードできます。このURLに接続できない場合は検索エンジンで”PuTTy”を検索して下さい。

http://www.chiark.greenend.org.uk/~sgtatham/putty/download.html

実行ファイル(putty.exe)をダウンロードするだけで使用できます。

10

⑥初めて接続する場合に、Warningが表示されたらOK(はい)をクリック

⑦ユーザー名：ionadminとパスワードを入力してログイン

パスワードはサーバーを管理者に確認して下さい。（デフォルト設定は“ionadmin”）

【留意事項】 操作の前に必ずお読みください

*以下で赤太字は実行するコマンド、黒太字はコマンドラインに表示される内容です。 *sudoコマンドを実行した際、パスワードの入力を求められることがあります。 *コマンドの中の空白を、□で示します。 *各コマンドについて調べたい場合は、manコマンドをご使用下さい。 man parted コマンドの書式や処理内容、オプションなどの情報が表示されます。矢印キーで上下に移動でき、qキーで 終了します。

(1) PGMには1つ（ /dev/sda ）、Protonには2つ（ /dev/sda と/dev/sdb ）の内蔵ディスクが

あります。これらの上にあるパーティション（sda1、sdb1など）を操作しないで下さい。

(2) Protonでは、生データが/rawdata、解析結果が/results以下に保存されます。PGMで

は全てのデータが/results以下に保存されます。（コマンドによるデータ復旧時に必要な

情報となります。）

※資料中のコマンドは、

Proton Torrent Server

の例を記載しています。

PGMとProtonで解析サーバの内蔵ディスクの構成が異なります。

資料中の“パーティションの作成”、または“フォーマット”を行うと、ハードディスク内のデー

タが全て消去されます。解析サーバの内蔵ディスクや、データ保存用ハードディスクに対

しては行わないようにしてください。

12

(1) トレントサーバーにハードディスクを接続する前に、既存のディスクを確認 ls□/dev/sd*

＜PGMの場合＞

/dev/sda /dev/sda1 /dev/sda2 ＜Protonの場合＞

/dev/sda /dev/sda1 /dev/sda2 /dev/sda3 /dev/sda4 /dev/sdb /dev/sdb1 /dev/sdb2

⇒上記は、USBを何も接続していないときの状態です。PGMの場合は/dev/sdaのみが、Protonの場合は

/dev/sda と /dev/sdbが内蔵ディスクです。上記のパーティション対して、マウントやフォーマットなどの操作を

しないで下さい。

(2) 外付けハードディスクをサーバのUSBポートに接続

(3) 外付けハードディスクが認識されたことを確認 （下記の例は、Protonを想定）

ls□/dev/sd*

/dev/sda /dev/sda1 /dev/sda2 … /dev/sdb2 /dev/sdc /dev/sdc1

⇒(1) と比べて、追加されている“/dev/sdc”が接続したディスクのデバイス名、“/dev/sdc1”がディスク上のパ

ーティション名です。（PGMでは、「/dev/sdb /dev/sdb1」が追加されます。）

複数のディスクを接続する場合は、新しく「/dev/sd○（○はアルファベットが順番に付けられる）」が追加され ます。例えば、Protonに2つ目のディスクを追加すると、以下のように表示されます。

ls□/dev/sd*

/dev/sda /dev/sda1 /dev/sda2 … /dev/sdb2 /dev/sdc /dev/sdc1 /dev/sdd /dev/sdd1

ハードディスクの接続と確認

(1) 自動マウントの確認 df□-HT□/media/*

出力内容の中に、下記のように接続したディスク上のパーティション名が表示されてなければ、次ページの操 作に進んで下さい。

（“/dev/sdc1”が“/media/HD-LBU2”に自動マウントされている場合）

/dev/sdc1 vfat 2.0T 20.0M 1.9T 0% /media/HD-LBU2

自動マウントされた場合などは、上記のようにマウントポイントが/media/diskではないことがあります。もし、 このような表示がある場合は、アンマウントの操作に進んで下さい。

(2) アンマウント

マウントポイントが、 /media/HD-LBU2 の場合のコマンドは下記となります。 sudo□umount□/media/HD-LBU2

※パスワードを聞かれたら、ログイン時のパスワードを入力して下さい。（デフォルトは、ionadmin） アンマウントには数分かかることもあります。コマンドプロンプト(“ionadmin@xxxxxxx:/media$”)が戻ったら、 アンマウントは完了しています。 (3) アンマウントの確認 df□-HT□/media/* 出力結果に(1)で表示されていた「/dev/sdc1～」の記述がなければ、アンマウントが正常に完了しています。 次ページの操作に進んで下さい。

自動マウントの確認とアンマウント

マウントポイント

14

パーティションの確認と作成（１）

(1) 外付ハードディスクのパーティションの状態を確認 ls□/dev/sd*

接続したハードディスク“/dev/sdc”が以下のように表示される場合に、パーティションの作成を行います。

パーティション無し： /dev/sda /dev/sda1 /dev/sda2 … /dev/sdb2 /dev/sdc

パーティション２つ： /dev/sda /dev/sda1 /dev/sda2 … /dev/sdb2 /dev/sdc /dev/sdc1 /dev/sdc2

※ “/dev/sdc /dev/sdc1”（パーティション１つ）となっていた場合は、フォーマット作業へ進んで下さい。

(2) 外付ハードディスクsdc上のパーティションを操作するプログラムを開始

sudo□parted□/dev/sdc GNU Parted 2.2

Using /dev/sdc

Welcome to GNU Parted! Type 'help' to view a list of commands.

※パスワードを聞かれたら、ログイン時のパスワードを入力して下さい。（デフォルトは、ionadmin） (3) sdc上に既に有るパーティションを確認

(parted) print

sdc上にパーティションが無い場合は、下記のようなメッセージが表示されます。 Error: /dev/sdc: unrecognised disk label

この場合は、次ページの(4)に進んで下さい。

“パーティション”とは、ハードディスクの内のデータの仕切りのことです。2TBを超えるディ

スクなどは、パーティションが2つ以上になっていることがあり、これを1つにするための作

業を行います。（始めから1つの場合は、操作不要）

(3) つづき

sdc上に複数（例では2つ）パーティションが有る場合は、下記のように表示されます。 Model: HitachiG ST (scsi)

Disk /dev/sdc: 4001GB

Sector size (logical/physical): 512B/4096B Partition Table: gpt

Number Start End Size File system Name Flags

1 17.4kB 134MB 134MB Microsoft reserved partition msftres 2 135MB 4001GB 4001GB ntfs Basic data partition

この場合は、下記のコマンドで既存のパーティションを削除します。 (parted) rm□1 (parted) rm□2 パーティションが3つ以上の場合も、上の例のように全てのパーティションを削除して下さい。 (4) 外付ハードディスクsdc上にパーティションを作成（ディスク内のデータは全て消去されます。） (parted) mktable□gpt

Warning: The existing disk label on /dev/sdc will be destroyed and all data on this disk will be lost. Do you want to continue?

Yes/No? Y

(parted) mkpart□primary□2048s□-1

Warning: You requested a partition from 2048s to 7814035451s. The closest location we can manage is 2048s to 7814035418s. Is this still acceptable to you?

Yes/No? Y (parted) quit

16

(1) パーティションのフォーマット

/dev/sdc1というパーティションをext3又はext4ファイルシステムでフォーマットします。このパーティションに含 まれるデータは全て失われます。

sudo□mkfs□-t□ext4□/dev/sdc1

※パスワードを聞かれたら、ログイン時のパスワードを入力して下さい。（デフォルトは、ionadmin） ※完了するとプロンプト(ionadmin@XXXXXXX:~$)に戻ります。1時間以上かかることがあります。 (2) マウント用のディレクトリ（マウントポイント）を作製

マウントポイント /media/disk を作成します。既に存在する場合は(3)に進みます。ただし、複数のハードディス クを同時に使用する場合は、別の名前の複数のマウントポイントが必要です。（disk2、disk3など）

sudo□mkdir□/media/disk (3) ハードディスクをマウント

sudo□mount□/dev/sdc1□/media/disk (4) マウントの確認

df□-HT□/media/*

Filesystem Type Size Used Avail Use% Mounted on

/dev/mapper/ion--torrent--server-root ext3 8.1G 4.1G 3.7G 53% / 出力内容の中に

/dev/sdc1 ext4 500.0G 0.0G 500.0G 0% /media/disk

のような行が含まれていれば、ディスクはマウントされています。 (5) 読み書き権限の変更

sudo□chmod□777□/media/disk

（このコマンドは実行後何も表示されません。）

新しいハードディスクを初めて使う時に実施

※(1)の操作は、特に注意して下さい。

/media/diskに初めてマウントする時のみ実施

ハードディスクのアンマウント

ハードディスクを取り外す際や、フォーマット・パーティションの作成時にアンマウントを行います。 (1) ディレクトリの移動 cd□/media (2) アンマウント /media/disk にマウントされている場合は、下記のコマンドを実行します。 ※パスワードを聞かれたら、ログイン時のパスワードを入力して下さい。（デフォルトは、ionadmin） sudo□umount□disk

アンマウントには数分かかることもあります。コマンドプロンプト(“ionadmin@xxxxxxx:/media$”)が戻ったら、 アンマウントは完了しています。

(3) アンマウントの確認 df□-HT□/media/*

出力結果に下記のような記述がなければ、アンマウントが正常に完了しています。 /dev/sdc1 ext4 500.0G 0.0G 500.0G 0% /media/disk この状態になれば、USBディスクを取り外すことができます。

18

Data Management画面：データ管理

ディスク使用容量を表示

自動アーカイブ機能の設定 処理の実行状況（自動・手動） 各種ファイルの管理統計情報 手動アーカイブの実施

20

自動データ管理機能（アーカイブ・削除）の設定

データのカテゴリー毎に設定 Archive/Delete /Disable 自動実行 までの日数 ディスク使用量がこの値を 越えるまで削除しない アーカイブ先 /media/disk

(2) Data Management Configurationの欄で、ファイルの種類毎にアーカイブ、削除などの設定

カテゴリー

PGMで再解析に必要

Protonで再解析に必要

解析結果参照

Signal Processing Input 〇 〇(サムネイル解析)

Basecalling Input 〇(フル解析/3.6.2以降)

Output Files 〇

Intermediate Files *(フル解析/3.6)

*Torrent Suite 3.6では、Protonで再解析を実施するのに必要な1.wellsファイルが”Intermediate Files”に 含まれます。3.6と3.6.2以降で動作が異なりますのでご注意ください。

(1) Configureをクリック

Data Management画面下部で、ラン・解析ごとのアーカイブ状況の確認と操作が可能

操作したいファイルの種類のチェックボック スをオンにして、下のいずれかの操作のボ タンをクリック

例) “Signal Processing Input”のチェックボ ックスだけをオンにしてArchive Selectedの ボタンをクリックすると、生データだけが外付 けディスクに移動します。 Delete またはArchiveをしたい場合は、チェックを外す

Archive Selected: 外付けディスクにデータが移され、サーバー上のファイルは削除

Export Selected : 外付けディスクにデータがコピーされ、サーバー上にもファイルが残る

手動データ管理機能

✔

22

カテゴリー

ハードディスク内のパス

Signal Processing Input /media/ (マウント用のディレクトリ) / (ラン名のディレクトリ) /

Basecalling Input & Report /media/ (マウント用のディレクトリ) / archivedReports / (解析名のディレクトリ) /

(1) Data Importの欄のImport ボタンをクリックし、ポップアップ画面の下向き矢印をクリック

目的のデータをアーカイブしたハードディスクの マウント用ディレクトリ名をクリック

【インポートできるデータの種類と格納場所】

解析名やデータの種類で絞り込みが可能

データのインポート機能（１）

アーカイブまたはエクスポートした

解析名が表示される

(2) インポート（およびサーバへのコピー）をしたいデータにチェックを入れる

下記は、Report（BAMファイル、プラグイン結果など）とBaseCallingInput（再解析用データ）を選択した例 (3) 目的のデータにチェックが入っていることを確認し、Importをクリック (4) Dataタブからインポートされたデータを確認 ・チェックを入れた場合は、データをトレントサーバへコピー ・チェックを入れない場合は、アーカイブ済みデータを外部HDDに保存したまま再解析やプラグインの実行が可能になる

データのインポート機能（２）

24

“

Report”（BAMファイル、プラグイン結果など）をインポートしてプラグインを実行すると、以下のようなエラーが 表示され、プラグインが実行できない場合があります。（生データを再解析した場合には表示されません。）

インポートデータでのプラグイン実行エラー

このような場合には、以下のコマンド操作によりプラグインの実行が可能になります。 (1) Puttyなどでトレントサーバへログインし、インポートしたデータのディレクトリ（解析名）があることを確認 cd□/results/analysis/output/Home ls ⇒表示された解析名の一覧にインポートしたデータの名前があることを確認してください。 (2) プラグイン出力ディレクトリの権限変更 chmod□777□/解析名/plugin_out (3) トレントブラウザから再度プラグインを実行し、ステータスが“Started”になっていればプラグインが正常に実行 されています。

26

コマンドによるデータの復元（１）

※PGMをご使用で、保存先ディスクが/media/diskにマウントされているものとします。“☐”は半角スペースの意味。 Protonの場合は、弊社テクニカルサポートまでお問い合わせ下さい。 (1) サーバー上のディレクトリの確認 サーバーの/resultsというディレクトリの中に、PGM本体から転送された生データを格納するディレクトリがあり ます。下記のコマンドでその名前を確認します。 ls□/results

analysis pgm PGM_test plugins referenceLibrary uploads lost+found PGM_config pluginMedia publishers sn11c071419

上記の例では“sn11c071419”がデータディレクトリです。これはPGM本体に付けられた名前で、施設毎に異 なります。 (2) ディスク空き容量の確認 df□–H□/results サーバー上のハードディスクの総容量、使用容量、残容量が表示されます。 (3) データの確認 /media/disk以下にどのようなディレクトリ（ランデータ）があるかは、下記のコマンドで確認できます。 cd□/media/disk ls R_2011_04_28_06_57_36_user_JP2-45 表示された一覧に、復元したいラン名「R_～」があるかを確認します。 (4) データ容量の確認 du□–sm□/media/disk/R_2011_04_28_06_57_36_user_JP2-45 21267 /media/disk/R_2011_04_28_06_57_36_user_JP2-45 左の数字が、Mバイト単位でのデータ容量です。 後ほど、コピー後のデータ量と比較します。

コマンドによるデータの復元（２）

(5) 生データのコピー “/”の有無は重要です。省略せずに入力してください。 下記の“sn11c071419”は(1)で確認したPGM本体の名前です。 mkdir☐/results/sn11c071419/temp chmod□777□/results/sn11c071419/temp

rsync□-a□R_2011_04_28_06_57_36_user_JP2-45□/results/sn11c071419/temp/

これらの操作の中で、「Permission denied～」などの警告が出ましたら、コマンドの先頭に「sudo☐」を付加し

てください。パスワードを入力する際は、ionadminとなります。 (6) コピー後データの確認 cd□/results/sn11c071419/temp ls R_2011_04_28_06_57_36_user_JP2-45 (5)でコピーしたラン名があるかを確認します。 (7) データ容量の確認 du□–sm□R_2011_04_28_06_57_36_user_JP2-45 21267 /media/disk/R_2011_04_28_06_57_36_user_JP2-45 (4)で確認したデータ容量とほぼ同じであることを確認します。若干異なる場合もあります。 (8) 再解析の開始 下記のコマンドを実行すると、再解析が始ります。 mv□R_2011_04_28_06_57_36_user_JP2-45□../

28

Technical Support

Call 0120-477-392

jptech@thermofisher.com

営業時間：午前9時から午後6時まで

The Chip is the

Machine™

ご不明な点がございましたら

弊社テクニカルサポートまで

お問い合わせください

For Research Use Only. Not intended for any animal or human therapeutic

or diagnostic use.

© 2015 Life Technologies Corporation. All rights reserved.

The trademarks mentioned herein are the property of Life Technologies Corporation or their respective owners. MS 3 digital is a registered trademark of IKA Werke GMBH & Co.