自分のための備忘録的なブログです。

Ubuntu14.04LTS を使って、ディープラーニングの勉強をしています。
記載されているコードは、他の OS には互換性がない可能性があります。


DNN:
マシン性能別 学習速度の比較, TFチュートリアルをmodifyする

python3:
オブジェクト指向プログラミングとは, モジュールとインポート、パスを通す, システムコマンド(os), ファイル・フォルダ名取得, 画像の前処理,

Ubuntu14 の初期設定:
Ubuntu14初期設定, 初期設定-2, cudaなども, 初期設定-3

憧れの NAS と現実

憧れの NAS を買いました。

Synology の 216j.

2ドライブの入門機です。

 

www.synology.com

 

数ヶ月運用したので感想。

 

まず、購入した目的は、複数 PC でのデータ共有でした。

 

これまで、複数 PC でのデータ共有は、

Dropbox の無料容量で頑張ってきました。

 

PC母艦は家に置いてあります。

外でノートでちゃっちゃとコード書いたり、処理を試すこともあり。

 

データのやりとりが必要。

で、メインで使ってる Dropbox では足りなくなってきたと。

 

Onedrive や GoogleDrive を併用しても良かったのですが、

それほど容量が増えるわけではないし。

 

複数のソフトを常駐させると、

  遅くなったり、

  消費電力が増えたり

しそうだから嫌。

 

OneDrive は Ubuntu で使えないし(使い方が分からない)。

 

MicrosoftGoogle は、Dropbox と比べ、

プライバシーに不安もありました。

 

アップルはテロリスト(疑い)の個人情報を守りましたし、

アップルなら信頼しますけど。

 

一部の企業は、サービス最適化のため、

顧客データで機械学習とか回してるでしょうしね。

 

ディープラーニングは「研究」でやってるんで、

虎の子の「データ」を、企業に渡すわけにはいかんのです。

 

で、クラウド上でデータやりとりするために、

憧れの NAS を導入しました。

 

(ホントにデータを守りたければ、クラウドなんか使っちゃダメで、

全部ローカルで管理しなきゃなんですけどね。)

 

 

RAID で冗長性確保。

データをロスする危険も減ってウハウハ!!

 

 

かと思っていたら!!

 

まず、Dropbox の様に使おうと思い、Synology-Cloud-Station-Drive と言うソフトを各 PC に導入、常時同期をやっていました。するといくつか問題が。。。

 

問題点

1.遅い

 LAN ケーブル1本、RAID 1 ですから、書き込みがめっちゃ遅い。

 しかも複数の PC で常時同期してるので、遅い、遅い。

 

2.時々同期されなかったり。

 いつまで待っても同期されなかったり。

 PC再起動、NAS再起動したりして、なんとか同期してくれました。

 

 けど、まぁ不安ですわね。

 「データを保存してるつもり」で「保存されてないかもしれない」訳ですから!

 

 

で、Dropbox って本当に優秀なんだと、今更気付きました。

高速

複数 PC からも常時同期。

世代管理で以前のファイルを復活

 など

 

良いんですけど、おかげさまでお値段も良い訳です。

当然ですね。

1TB で月々1000円という。

navi.dropbox.jp

1TB っていうのは、ちょっと少ないですね。

日常的に使う分なら十分ですけど、ビッグデータとなると足りないですね。

悩ましい。。。 

 

 

ビジネスのスタンダードとか言うサービスなら、2TB あるいはそれ以上使えるんですけど、「5名様から」なので、お値段は75ドル/月からですか。高いですね。

Dropbox plan comparison - Dropbox Business

 

 

 

でも、Dropbox の 1TB 有料プランって、本当に高いのでしょうか?

今回の NAS 導入費用はざっくり 4万円, で 3TB です。

4万円あれば Dropbox 1TB のでも 3年以上使えますね。

 

でも目的は、ディープラーニングビッグデータ管理。

1TB では足りません。

 

 

 

で、札束で殴って、

NAS を高速化することを考えてみます。

 

 

ボトルネック

データの入出力の LAN ケーブル

データ書き込みの HDD

なので、これらを複数帯域確保すれば、速くなるでしょう、と。

 

 

実際の RAID の速度比較 については

こちらのサイトを参照。

https://hikaku.cman.jp/raid/

 

 

例えば 5本差しの RAID 6

  (5本のうち2本が壊れても大丈夫)

  ざっと2-3倍に高速化するようです。

 

 

Synology は 5本モデルからは LAN の差し込み口が4本。

  LAN を複数挿せますし、

  PC とダイレクト接続もできますね。

  ルーターを介さず、ダイレクトの方が速いんでしょう。

 

 

しかしまあ、5本差しモデルというと、本体 10万円くらいになっちゃうし。

HDD も 3 本、買い足さないと。

なんか「沼」にハマる感じ。

 

DS1517 とか、DS 1517+ とか言う機種を考えてたんですけど

(これらは 5ベイだけど、拡張ユニットで 15 ベイまで増やせる)

 

カカクコムのレビューなんか見ると、

  「CPU は性能低い」

とかディスられてたりもして。

うーむ。悲しい。

 

自分に知識があれば、Ubuntu でデータサーバー組むんだけどなぁ。。。

 

と、妄想しています。

 

とりあえず、現状、運用方法を変えてます。

 

NAS はデータのバックアップのみで使用。

 

1.メインのノートパソコンのクラウドバックアップ

 

2.ディープラーニングの大量データ保存。

  常時同期はやめる。

  データバックアップは、FTP? みたいに、

   ブラウザ上でアップロード・ダウンロード。

  重いデータは USBメモリとか、外付け HDD でやりとり

 

という感じ。

 

メインの PC のバックアップは、不安なんですけどね。

NAS にうまく同期されてないことがありましたし。

一応 外付け HDD にも時々保存しています。

 

 

現状に不満あって。

なんと言っても、転送が遅いので。

 

今から思えば、

ふつーに 2.5 か 3.5 の HDD を裸で買って

USB でつないで外付け HDD 風に使う

 

のが、一番ストレスなかったかもです。