自分のための備忘録的なブログです。

Ubuntu14.04LTS を使って、ディープラーニングの勉強をしています。
記載されているコードは、他の OS には互換性がない可能性があります。


DNN:
マシン性能別 学習速度の比較, TFチュートリアルをmodifyする

python3:
オブジェクト指向プログラミングとは, モジュールとインポート、パスを通す, システムコマンド(os), ファイル・フォルダ名取得, 画像の前処理,

Ubuntu14 の初期設定:
Ubuntu14初期設定, 初期設定-2, cudaなども, 初期設定-3

Keras を使って驚いたこと:インストールの不具合に気付く。

と言うわけで、Keras を始めて約 1日が過ぎました。 Keras は簡単で良いですね。 できたこと 1.VGG 風の簡単なモデルを試す。 2.Keras に実装済みモデルを使う:Xception 3.Imagenet 学習済みモデルの転移学習を試す。 結果:これまで 精度 0.90 まで…

Keras のインストール

というわけで、Keras に挑戦することに相成りました。 Keras Documentation バックエンドに TensorFlow, CNTK または Theano を使い、 フロントエンドでディープラーニングを楽にしてくれるものらしい。 Tensorflow はインストール済み。 CNTK も Theano も…

apt で公開鍵登録

sudo apt-get update で、 パッケージリストを読み込んでいます... 完了W: 署名照合中にエラーが発生しました。リポジトリは更新されず、過去のインデックスファイルが使われます。GPG エラー: http://dl.google.com stable Release: 公開鍵を利用できな…

pip-review で python パッケージ一発アップグレード

pip-reviewのインストール pip install pip-review pip でインストールされているパッケージ検索 pip freeze アップデートの有無を確認 pip list -o または pip-review 一括アップデート pip-review --auto 依存関係が壊れていないかを確認 pip check もしも…

日記、最近の進捗

このところ、 CNN を使った画像分類の勉強をしていました。 Qiita のコードを参考に 2クラス分類を Tensorflow で実装。 医用画像で 85% の accuracy ・・・せめて 90% 欲しいのに。 Data augmentation や、層を深くするなど試したけど、どれもこれもダメで…

deep learning でよく使うimport文を保存しておく(python)

スクリプト・コピペ用 def main(): import chainer, cv2, dicom, glob, os, pickle, shutil, sys, time from chainer import cuda, Function, gradient_check, \ optimizers, serializers, utils, Variable from PIL import Image import chainer.functions …

dicom を匿名化 (python, pydicom, pycrypto)

python で、pydicom と pycrypto を使って dicom ファイルを匿名化・暗号化します。 暗号化については、pycrypto というライブラリを使い、AES 方式で暗号化する方法がネットに上がっておりましたので、それを利用しました。 pycrypto の使い方は 暗号化ライ…

ディープラーニング準備 Ubuntu14 インストールから cuda 導入トラブルシュート

導入トラブルとトラブルシュート 1.Ubuntu は DVD ではなく、USB からインストールする。 DVD player が対応していないと、drubのインストールに失敗する(起動できなくなる!)ことがある。もし DVD でインストールを試して「致命的なエラー」が出たら、U…

Ubuntu14.04初期設定

またトラブって10回くらい再インストールした(してる)ので、自分のためのコピペまとめ。 つらいぜ・・・ いつも Ubuntu 14.04 LTSをインストールした直後に行う設定 & インストールするソフト を参考にしてたのだけど、 その中でも自分がいつも使うものを …

python で再帰的にファイルを作成してみるぞ。

カレントディレクトリを確認。 作成 直下の全てのディレクトリに、同一名のファイル作成。 直下の全てのディレクトリに、同一名のディレクトリ作成。 ファイルの名称変更。 ディレクトリ名 + ファイル名に。 カレントディレクトリを確認。 import os os.pat…

pydicom の基本的な使い方

DICOM ファイルを python で扱いたいとき、まず触るのが pydicom でしょう。 科学技術分野に強いプログラミング言語、 python で dicom を自由に扱えるようになれば、医用画像の研究にとても便利! もちろんディープラーニングにも。 しかし日本語ドキュメン…

data を漬物(pickle)にする。

※ unpickle して NN に戻すところがうまくいきません。 うまく言ったら update します。 ディープラーニングの前処理で、画像データは行列データに変換される。 自分の作成した CNN では、list になる。 どうも、この 画像データ → リスト化 部分に時間がか…

tensorboard を開く。

bash で tensorboard --logdir=/tmp/tensorflow_log をタイプする。 コンソールに返信があれば ブラウザで http://localhost:0.0.0.0.6006 とタイプ。 localhost://0.0.0.0:6006 云々は、コンソールに返信があるので覚えておかなくて大丈夫。 tensorboard の…

CNNディープラーニング前処理 画像をDL用に処理する。

フォルダ内のすべてのファイル取得(python) import globglob.glob('*') for FILENAME in glob.glob('*'): print(FILENAME) イマイチ違いがわかってない。 2.は for loop を回してるので遅いのかな? Bash for dir in $(ls .);do echo $dir; done 再帰的…

Kindle を Ubuntu14 インストールできず、ついでに Ubuntu を破壊してしまった。

また しないようにメモ。 ディープラーニングを勉強するのに、Kindle 本を Ubuntu14 で読めると便利。 ググると、Wine というソフトを使うと、Kindleが使えるらしい。 (MS Office や ScanSnap が使えるならば、Ubuntu に完全移行できるので、結構期待大) …

Python3 モジュールのインポート, パスを通す

前書き モジュールとは モジュールのインポートとは 試してみる。 すべてのクラスと関数をインポートする。 別名によるインポート 一部の関数やクラスだけをインポートする パッケージを使う なぜパッケージを使うのか モジュール検索パス モジュールのある…

TensorFlow tutorial をちょこちょこ modify する。

Under construction です。 チュートリアルのダウンロード Modify VRAM使用量の制限 CPUonly で eval.py を実行する。 チュートリアルのダウンロード git をインストール sudo apt-get install git git を使って、チュートリアルをクローン(画像認識系のみ…

Python3 で ファイル・フォルダー名を列挙する。

環境は Win10, Python 3.5.2 普通に表示する。 import os os.listdir('.') # 最近の python 3.6 なら、 # 明示的に os.listdir('.') # と書かなくて # os.listdir() # で OK ! これだと '.bashrc.swp', '.swp', 'Anaconda3', 'AppData', 'Application Data',…

ディープラーニング向けパソコン自作(マザーボード編)

ディープラーニング向け自作には、いくつか押さえるべきポイントがあろうかと。 マザーボードは mini-ITX か ATX が良くて、 結論から言えば、 将来追加投資する気があるなら ATX:SLI対応 Z270マザーボード 20万円コース!! (将来の投資10-15万円を想定)…

日記 いろいろ一段落

と言うわけで どういうわけか ブログしばらく非公開にしていましたが、気が向いて再び公開設定にしました。 この間に DL用 コンピューターが届き、セットアップ。いろいろ気になったので部品交換をしたりして、思った以上にコストがかかってしまいました。 …

オブジェクト指向プログラミング(OOP)とは

記載されている年は基本的に登場年。 強調されてるところとか見ると違和感があるかもしれないけど、私は DNN のために Python を学び初めた初心者。普通のプログラミング初心者が躓かないところで躓いてると思われ、そっとしておいてください。 オブジェクト…

パソコンの稼働状況を確認する。

1.Win10:タスクマネージャー Win + X Win + T にて起動。 2.Ubuntu:システムモニター Super," system monitor" とタイプする。 3.UbuntuでGPUの使用状況を確認する。 NVIDIAなら ターミナルから nvidia-smi にて表示。 経時的に観察する場合、 nvid…

パソコン設定備忘録、デスクトップDNNマシン

1.Ubuntu 14をインストール パーティション自分で切っても良いが、「お任せ設定」でのインストールが方が楽だし失敗しない。 2.LANを認識しないので、インテルからファイルを落としてインストールする。 Download Intel® Network Adapter Driver for PCI…

TensorFlow、マシン性能/OS環境でどのくらいの差が出るか

まとまりがないですが、下の方に、なるべく生データを記載しています。 結果のまとめとして 1.値段が高い CPU, GPU ほど速い でも値段が 2倍高くなって、2倍速くはならない 2.ネットワークによって CPU が重要なタスク、 GPU が重要なタスク があるらし…

ついに Deep Learning 用パソコンをオーダーしました。

表題通り。 基本スペック OS なし(Ubuntu14LTS or CentOS 7 予定) Core i5-7600K RAM 8GB (32GB追加予定) HDD 3TB (SSD 追加予定) GeForce GTX 1080Ti Chipset Z270 (2 way-SLI可能、RAM max 64GB) Cosair Carbite 300R 以上で約20万円。 さんざん悩ん…

Deep Learning 向けの PC/GPU その3(まだ買ってない)

Deep Learning 用の PC ですが。 結局「ゲーミングデスクトップPC」を買えばいい 値段と性能が比例するので、買える中で高いのを買っておけばいい というところで落ち着きました。 以前はいろいろネットで調べて、 消費電力の低い Quadro がいいんじゃないか…

突然のトラブル

Thinkpad の Ubuntu 14.04.5 にトラブルが起こり、急ぎ検証しました。 しばらくタッチパッドをオフにして、トラックポインタのみにしていました。あるときトラックポインタとボタンが効かなくなり、電源ボタンにてシャットダウンを余儀なくされました。 また…

Ubuntu 14.04初期設定

Thinkpad に Ubuntu 14 を入れて dual boot としました。 軽い OS で使いやすいですね。 Windows 側のパーティションは簡単にマウントできるため、Win10 のファイルも扱うことができます。逆に Windows 側からは Ubuntu 側が見えません。 このため、今後は U…

TensorFlow "高度な" MNISTチュートリアル2

DNN

前半はこちら。 pmonty.hatenablog.com ※前半(上記リンク先)のコードが入力されていないと、以下のコードは実行できません。ご注意ください。 ※最下部に、対話型環境で実行可能なコードをまとめています。コピペにて走ります。 原文はこちら Deep MNIST fo…

TensorFlow "高度な" MNISTチュートリアル1

DNN

原文:Deep MNIST for Experts | TensorFlow ディープラーニング・ディープニューラルネットワークの勉強のために、MNIST のチュートリアルの日本語訳(意訳・直訳のちゃんぽん+自分のコメントも時々まじる)を作成。今回前半部分のみ。 初心者なので誤りが…