自分のための備忘録的なブログです。

Ubuntu14.04LTS を使って、ディープラーニングの勉強をしています。
記載されているコードは、他の OS には互換性がない可能性があります。


DNN:
マシン性能別 学習速度の比較, TFチュートリアルをmodifyする

python3:
オブジェクト指向プログラミングとは, モジュールとインポート、パスを通す, システムコマンド(os), ファイル・フォルダ名取得, 画像の前処理,

Ubuntu14 の初期設定:
Ubuntu14初期設定, 初期設定-2, cudaなども, 初期設定-3

拡張性を考えてディープラーニング用パソコンを組むときに重視したいポイント(ネットや本で見なかった意見)

ディープラーニングの勉強を初めて1年程度たち、ディープラーニング用パソコンを組んでから半年程度立ちました。二台のパソコンを組みましたが、パーツ交換・買い替えや、二台の間でのパーツ交換、OS 再インストールなど何度も行いました。 最近、自分の使っ…

ディープラーニングで暖房いらず

画像を使ったディープラーニングをしています。 が、 発熱とメモリ消費がすごい。 70℃ 37℃ 発熱は、 赤いのが CPU core i5K 青いのが GPU 1070 黒いのが GPU 1080ti 見た感じ 黒いの が冷えてますけど、こやつが曲者。 簡易水冷なので冷えてるだけで、発熱が…

ヒストグラム比較に使ったコード

うろ覚え import numpy as npimport matplotlib.pyplot as pltimport argparse parser= argparse.ArgumentParser()parser.add_argument("-infile", nargs = 1) try: decoded = args.infile[0]except: decoded = "保存ファイル.npy" a = numpy.load(decoded)b…

labeling_for_object_detection の使い方

faster R-CNN, YOLO, SSD 等で用いる、学習データの生成ツール? labeling_for_object_detection セットアップに苦労しました。 ので、まとめておきます。 コードはこちら github.com セットアップの際に参考にしたサイトです。 ほとんど、このサイトの記載…

ディープラーニング用GPUの選択 - リライト

本記事は、ページビューを集めている記事のリライト、修正版です。 リライト前の記事: pmonty.hatenablog.com 2種類のCPU, 2種類のGPUの速度比較した記事: pmonty.hatenablog.com ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・…

憧れの NAS と現実

憧れの NAS を買いました。 Synology の 216j. 2ドライブの入門機です。 www.synology.com 数ヶ月運用したので感想。 まず、購入した目的は、複数 PC でのデータ共有でした。 これまで、複数 PC でのデータ共有は、 Dropbox の無料容量で頑張ってきました。 …

Keras を使って驚いたこと:インストールの不具合に気付く。

と言うわけで、Keras を始めて約 1日が過ぎました。 Keras は簡単で良いですね。 できたこと 1.VGG 風の簡単なモデルを試す。 2.Keras に実装済みモデルを使う:Xception 3.Imagenet 学習済みモデルの転移学習を試す。 結果:これまで 精度 0.90 まで…

Keras のインストール

というわけで、Keras に挑戦することに相成りました。 Keras Documentation バックエンドに TensorFlow, CNTK または Theano を使い、 フロントエンドでディープラーニングを楽にしてくれるものらしい。 Tensorflow はインストール済み。 CNTK も Theano も…

apt で公開鍵登録

sudo apt-get update で、 パッケージリストを読み込んでいます... 完了W: 署名照合中にエラーが発生しました。リポジトリは更新されず、過去のインデックスファイルが使われます。GPG エラー: http://dl.google.com stable Release: 公開鍵を利用できな…

pip-review で python パッケージ一発アップグレード

pip-reviewのインストール pip install pip-review pip でインストールされているパッケージ検索 pip freeze アップデートの有無を確認 pip list -o または pip-review 一括アップデート pip-review --auto 依存関係が壊れていないかを確認 pip check もしも…

日記、最近の進捗

このところ、 CNN を使った画像分類の勉強をしていました。 Qiita のコードを参考に 2クラス分類を Tensorflow で実装。 医用画像で 85% の accuracy ・・・せめて 90% 欲しいのに。 Data augmentation や、層を深くするなど試したけど、どれもこれもダメで…

deep learning でよく使うimport文を保存しておく(python)

スクリプト・コピペ用 def main(): import chainer, cv2, dicom, glob, os, pickle, shutil, sys, time from chainer import cuda, Function, gradient_check, \ optimizers, serializers, utils, Variable from PIL import Image import chainer.functions …

dicom を匿名化 (python, pydicom, pycrypto)

python で、pydicom と pycrypto を使って dicom ファイルを匿名化・暗号化します。 暗号化については、pycrypto というライブラリを使い、AES 方式で暗号化する方法がネットに上がっておりましたので、それを利用しました。 pycrypto の使い方は 暗号化ライ…

ディープラーニング準備 Ubuntu14 インストールから cuda 導入トラブルシュート

導入トラブルとトラブルシュート 1.Ubuntu は DVD ではなく、USB からインストールする。 DVD player が対応していないと、drubのインストールに失敗する(起動できなくなる!)ことがある。もし DVD でインストールを試して「致命的なエラー」が出たら、U…

Ubuntu14.04初期設定

またトラブって10回くらい再インストールした(してる)ので、自分のためのコピペまとめ。 つらいぜ・・・ いつも Ubuntu 14.04 LTSをインストールした直後に行う設定 & インストールするソフト を参考にしてたのだけど、 その中でも自分がいつも使うものを …

python で再帰的にファイルを作成してみるぞ。

カレントディレクトリを確認。 作成 直下の全てのディレクトリに、同一名のファイル作成。 直下の全てのディレクトリに、同一名のディレクトリ作成。 ファイルの名称変更。 ディレクトリ名 + ファイル名に。 カレントディレクトリを確認。 import os os.pat…

pydicom の基本的な使い方

DICOM ファイルを python で扱いたいとき、まず触るのが pydicom でしょう。 科学技術分野に強いプログラミング言語、 python で dicom を自由に扱えるようになれば、医用画像の研究にとても便利! もちろんディープラーニングにも。 しかし日本語ドキュメン…

data を漬物(pickle)にする。

※ unpickle して NN に戻すところがうまくいきません。 うまく言ったら update します。 ディープラーニングの前処理で、画像データは行列データに変換される。 自分の作成した CNN では、list になる。 どうも、この 画像データ → リスト化 部分に時間がか…

tensorboard を開く。

bash で tensorboard --logdir=/tmp/tensorflow_log をタイプする。 コンソールに返信があれば ブラウザで http://localhost:0.0.0.0.6006 とタイプ。 localhost://0.0.0.0:6006 云々は、コンソールに返信があるので覚えておかなくて大丈夫。 tensorboard の…

CNNディープラーニング前処理 画像をDL用に処理する。

主に Python 3 で、画像の前処理に関わるコードを集めたものです。 いわゆる「data augmentation」のコードが多いです。 なお、data augmentation については、ディープラーニングで使用するフレームワークに入ったコードを利用した方が簡便です。 ただしや…

Kindle を Ubuntu14 インストールできず、ついでに Ubuntu を破壊してしまった。

また しないようにメモ。 ディープラーニングを勉強するのに、Kindle 本を Ubuntu14 で読めると便利。 ググると、Wine というソフトを使うと、Kindleが使えるらしい。 (MS Office や ScanSnap が使えるならば、Ubuntu に完全移行できるので、結構期待大) …

Python3 モジュールのインポート, パスを通す

前書き モジュールとは モジュールのインポートとは 試してみる。 すべてのクラスと関数をインポートする。 別名によるインポート 一部の関数やクラスだけをインポートする パッケージを使う なぜパッケージを使うのか モジュール検索パス モジュールのある…

TensorFlow tutorial をちょこちょこ modify する。

Under construction です。 チュートリアルのダウンロード Modify VRAM使用量の制限 CPUonly で eval.py を実行する。 チュートリアルのダウンロード git をインストール sudo apt-get install git git を使って、チュートリアルをクローン(画像認識系のみ…

Python3 で ファイル・フォルダー名を列挙する。

環境は Win10, Python 3.5.2 普通に表示する。 import os os.listdir('.') # 最近の python 3.6 なら、 # 明示的に os.listdir('.') # と書かなくて # os.listdir() # で OK ! これだと '.bashrc.swp', '.swp', 'Anaconda3', 'AppData', 'Application Data',…

ディープラーニング向けパソコン自作(マザーボード編)

ディープラーニング向け自作には、いくつか押さえるべきポイントがあろうかと。 マザーボードは mini-ITX か ATX が良くて、 結論から言えば、 将来追加投資する気があるなら ATX:SLI対応 Z270マザーボード 20万円コース!! (将来の投資10-15万円を想定)…

日記 いろいろ一段落

と言うわけで どういうわけか ブログしばらく非公開にしていましたが、気が向いて再び公開設定にしました。 この間に DL用 コンピューターが届き、セットアップ。いろいろ気になったので部品交換をしたりして、思った以上にコストがかかってしまいました。 …

オブジェクト指向プログラミング(OOP)とは

記載されている年は基本的に登場年。 強調されてるところとか見ると違和感があるかもしれないけど、私は DNN のために Python を学び初めた初心者。普通のプログラミング初心者が躓かないところで躓いてると思われ、そっとしておいてください。 オブジェクト…

パソコンの稼働状況を確認する。

1.Win10:タスクマネージャー Win + X Win + T にて起動。 2.Ubuntu:システムモニター Super," system monitor" とタイプする。 3.UbuntuでGPUの使用状況を確認する。 NVIDIAなら ターミナルから nvidia-smi にて表示。 経時的に観察する場合、 nvid…

パソコン設定備忘録、デスクトップDNNマシン

1.Ubuntu 14をインストール パーティション自分で切っても良いが、「お任せ設定」でのインストールが方が楽だし失敗しない。 2.LANを認識しないので、インテルからファイルを落としてインストールする。 Download Intel® Network Adapter Driver for PCI…

TensorFlow、マシン性能/OS環境でどのくらいの差が出るか

目次 結果のまとめ MNIST TensorFlow, tutorial, MNIST laptop (No external GPU) ​desktop TensorFlow, tutorial, MNIST, CNN desktop Windows のせいで遅いのか CIFAR-10 TensorFlow, tutorial, CIFAR-10 自作のCNN SSD-Keras SLI 結果のまとめ 1.値段が…