自分のための備忘録的なブログです。

Ubuntu14.04LTS を使って、ディープラーニングの勉強をしています。
記載されているコードは、他の OS には互換性がない可能性があります。


DNN:
マシン性能別 学習速度の比較, TFチュートリアルをmodifyする
python3:
オブジェクト指向プログラミングとは, システムコマンド(os), ファイル・フォルダ名取得, 画像の前処理,
R lang:
R基本コマンド, Rデータ形式, RStudio文字化け(os), RStudio背景黒,
Ubuntu14 の初期設定:
Ubuntu14初期設定, 初期設定-2, cudaなども, 初期設定-3

R基本コマンド

自分のためのコマンドまとめ。 Bash でいう pwd, cd, ls, mv/cp/mkdir/rmなど。 基本コマンド shell でいうところの、cd, ls など 対話的環境が好きなので、Python でも os.path.abspath('.') や os.listdir('.') などよく使います。 まだ調べきれていないの…

RStudio 背景を黒くする

Tools Global Options Appearance Editor theme: [black theme: 例えば Tomorrow Night など] -> Apply この方法だと Editor と Console しか黒くならず、 Environment や Files タブのところは白いまま。全体を黒くするには RStudio の Server 版で daily b…

R データ形式の基本

参考: http://www.kabipan.com/computer/r/quick.html プログラマ向け? 参考図書: R による医療統計学, 丸善 RStudioで始める Rプログラミング入門 O'Reilly 準備 インストール 実践 データ形式 プログラミング言語としての R オブジェクトの最小単位 オ…

Python + NiBabel で nii ファイルを扱う

NiBabel は、神経画像のフォーマットである Analyze, NifTi などを扱うことができる Python ライブラリ。 Neuroimaging in Python — NiBabel 2.2.1 documentation このページに書いてあるのは上記リンク先の超訳(抄訳+個人の感想)なので、詳しくはリンク…

nifti ファイルを python で。

nifti ファイルを取り扱った経験が少なく、誤りに気づかれた場合、お教えください。 どうぞよろしくお願いいたします。 NifTi 概要 拡張子 NifTi-1, -2 の違い 要点 区別 NiBabel 概要 インストール 使い方 サポート NifTi 概要 NifTi は神経画像解析に係る…

拡張性を考えてディープラーニング用パソコンを組むとき

拡張性重視で組む時 重視したいポイント。 ネットや書籍で見なかった意見を中心に。 必要なパーツ ケース E-ATXマザーボード対応 静音ケース 長尺電源対応(22.5cmの電源が入ること) 水冷対応・五インチベイなし・HDDが分離配置。 拡張スロット八本(以上)…

ヒストグラム比較に使ったコード

うろ覚え import numpy as npimport matplotlib.pyplot as pltimport argparse parser= argparse.ArgumentParser()parser.add_argument("-infile", nargs = 1) try: decoded = args.infile[0]except: decoded = "保存ファイル.npy" a = numpy.load(decoded)b…

labeling_for_object_detection の使い方

faster R-CNN, YOLO, SSD 等で用いる、学習データの生成ツール? labeling_for_object_detection セットアップに苦労しました。 ので、まとめておきます。 コードはこちら github.com セットアップの際に参考にしたサイトです。 ほとんど、このサイトの記載…

ディープラーニング用GPUの選択 - 2017版

ディープラーニングを行うのに、GPU があると、すごく高速になります(GPUコンピューティング)。 GPU コンピューティングをするのに、「CUDA」というソフトを使うことが多いです。 CUDA :NVIDIA 社の GPU を,計算で使うためにプログラム CUDA - Wikipedia …

憧れの NAS と現実

憧れの NAS を買いました。 Synology の 216j. 2ドライブの入門機です。 www.synology.com 数ヶ月運用したので感想。 まず、購入した目的は、複数 PC でのデータ共有でした。 これまで、複数 PC でのデータ共有は、 Dropbox の無料容量で頑張ってきました。 …

Keras を使って驚いたこと:インストールの不具合に気付く。

と言うわけで、Keras を始めて約 1日が過ぎました。 Keras は簡単で良いですね。 できたこと 1.VGG 風の簡単なモデルを試す。 2.Keras に実装済みモデルを使う:Xception 3.Imagenet 学習済みモデルの転移学習を試す。 結果:これまで 精度 0.90 まで…

Keras のインストール

というわけで、Keras に挑戦することに相成りました。 Keras Documentation バックエンドに TensorFlow, CNTK または Theano を使い、 フロントエンドでディープラーニングを楽にしてくれるものらしい。 Tensorflow はインストール済み。 CNTK も Theano も…

apt で公開鍵登録

sudo apt-get update で、 パッケージリストを読み込んでいます... 完了W: 署名照合中にエラーが発生しました。リポジトリは更新されず、過去のインデックスファイルが使われます。GPG エラー: http://dl.google.com stable Release: 公開鍵を利用できな…

pip-review で python パッケージ一発アップグレード

pip-reviewのインストール pip install pip-review pip でインストールされているパッケージ検索 pip freeze アップデートの有無を確認 pip list -o または pip-review 一括アップデート pip-review --auto 依存関係が壊れていないかを確認 pip check もしも…

日記、最近の進捗

このところ、 CNN を使った画像分類の勉強をしていました。 Qiita のコードを参考に 2クラス分類を Tensorflow で実装。 医用画像で 85% の accuracy ・・・せめて 90% 欲しいのに。 Data augmentation や、層を深くするなど試したけど、どれもこれもダメで…

deep learning でよく使うimport文を保存しておく(python)

スクリプト・コピペ用 def main(): import chainer, cv2, dicom, glob, os, pickle, shutil, sys, time from chainer import cuda, Function, gradient_check, \ optimizers, serializers, utils, Variable from PIL import Image import chainer.functions …

dicom を匿名化 (python, pydicom, pycrypto)

python で、pydicom と pycrypto を使って dicom ファイルを匿名化・暗号化します。 暗号化については、pycrypto というライブラリを使い、AES 方式で暗号化する方法がネットに上がっておりましたので、それを利用しました。 pycrypto の使い方は 暗号化ライ…

ディープラーニング準備 Ubuntu14 インストールから cuda 導入トラブルシュート

導入トラブルとトラブルシュート 1.Ubuntu は DVD ではなく、USB からインストールする。 DVD player が対応していないと、drubのインストールに失敗する(起動できなくなる!)ことがある。もし DVD でインストールを試して「致命的なエラー」が出たら、U…

Ubuntu14.04初期設定

またトラブって10回くらい再インストールした(してる)ので、自分のためのコピペまとめ。 つらいぜ・・・ いつも Ubuntu 14.04 LTSをインストールした直後に行う設定 & インストールするソフト を参考にしてたのだけど、 その中でも自分がいつも使うものを …

python で再帰的にファイルを作成してみるぞ。

カレントディレクトリを確認。 作成 直下の全てのディレクトリに、同一名のファイル作成。 直下の全てのディレクトリに、同一名のディレクトリ作成。 ファイルの名称変更。 ディレクトリ名 + ファイル名に。 カレントディレクトリを確認。 import os os.pat…

pydicom の基本的な使い方

このページは比較的アクセスが多いようです。多分医療画像を解析されている方々がご覧になっていると思いますが、不備な点や「このような処理はできるのか」などありましたら、どうぞコメントお願いします。放射線医学系の学会によく参加していますので、ど…

tensorboard を開く。

bash で tensorboard --logdir=/tmp/tensorflow_log をタイプする。 コンソールに返信があれば ブラウザで http://localhost:0.0.0.0.6006 とタイプ。 localhost://0.0.0.0:6006 云々は、コンソールに返信があるので覚えておかなくて大丈夫。 tensorboard の…

CNNディープラーニング前処理 画像をDL用に処理する。

主に Python 3 で、画像の前処理に関わるコードを集めたものです。 いわゆる「data augmentation」のコードが多いです。 なお、data augmentation については、ディープラーニングで使用するフレームワークに入ったコードを利用した方が簡便です。 ただしや…

Kindle を Ubuntu14 インストールできず、ついでに Ubuntu を破壊してしまった。

また しないようにメモ。 ディープラーニングを勉強するのに、Kindle 本を Ubuntu14 で読めると便利。 ググると、Wine というソフトを使うと、Kindleが使えるらしい。 (MS Office や ScanSnap が使えるならば、Ubuntu に完全移行できるので、結構期待大) …

Python3 モジュールのインポート, パスを通す

前書き モジュールとは モジュールのインポートとは 試してみる。 すべてのクラスと関数をインポートする。 別名によるインポート 一部の関数やクラスだけをインポートする パッケージを使う なぜパッケージを使うのか モジュール検索パス モジュールのある…

TensorFlow tutorial をちょこちょこ modify する。

Under construction です。 チュートリアルのダウンロード Modify VRAM使用量の制限 CPUonly で eval.py を実行する。 チュートリアルのダウンロード git をインストール sudo apt-get install git git を使って、チュートリアルをクローン(画像認識系のみ…

Python3 で ファイル・フォルダー名を列挙する。

環境は Win10, Python 3.5.2 普通に表示する。 import os os.listdir('.') # 最近の python 3.6 なら、 # 明示的に os.listdir('.') # と書かなくて # os.listdir() # で OK ! これだと '.bashrc.swp', '.swp', 'Anaconda3', 'AppData', 'Application Data',…

ディープラーニング向けパソコン自作(マザーボード編)

ディープラーニング向け自作には、いくつか押さえるべきポイントがあろうかと。 マザーボードは mini-ITX か ATX が良くて、 結論から言えば、 将来追加投資する気があるなら ATX:SLI対応 Z270マザーボード 20万円コース!! (将来の投資10-15万円を想定)…

オブジェクト指向プログラミング(OOP)とは

オブジェクト指向プログラミング(Object oriented proglaming, OOP)とは 「オブジェクト」「クラス」等の説明 OOP の3つの特徴 として言われるのは、 OOP の定義には含まれないが、OOPL に一般に含まれるもの プログラミング言語の歴史 プログラム実行方式…

パソコンの稼働状況を確認する。

1.Win10:タスクマネージャー Win + X Win + T にて起動。 2.Ubuntu:システムモニター Super," system monitor" とタイプする。 3.UbuntuでGPUの使用状況を確認する。 NVIDIAなら ターミナルから nvidia-smi にて表示。 経時的に観察する場合、 nvid…