自分のための備忘録的なブログです。

Ubuntu14.04LTS および Win10 を使って、ディープラーニングの勉強をしています。記載されているコードは、他の OS には互換性がない可能性があります。


DNN:
マシン性能別 学習速度の比較, TFチュートリアルをmodifyする

python3:
オブジェクト指向プログラミングとは, モジュールとインポート、パスを通す, システムコマンド(os), ファイル・フォルダ名取得, 画像の前処理,

Ubuntu14 の初期設定:
Ubuntu14初期設定, 初期設定-2, cudaなども, 初期設定-3

dicom を匿名化するスクリプト (python, pydicom, pycrypto)

python で、pydicom と pycrypto を使って dicom ファイルを匿名化・暗号化します。 まず、pydicom はオールマイティのソフトではありません。TOSHIBAなど一部の機種の暗号化の解除ができず、一部の画像でデータを読み込めなかったりします。 pmonty.hatenab…

ディープラーニング準備 Ubuntu14 インストールから cuda 導入トラブルシュート

導入トラブルとトラブルシュート 1.Ubuntu は DVD ではなく、USB からインストールする。 DVD player が対応していないと、drubのインストールに失敗する(起動できなくなる!)ことがある。もし DVD でインストールを試して「致命的なエラー」が出たら、U…

Ubuntu14.04初期設定

またトラブって10回くらい再インストールした(してる)ので、自分のためのコピペまとめ。 つらいぜ・・・ いつも Ubuntu 14.04 LTSをインストールした直後に行う設定 & インストールするソフト を参考にしてたのだけど、 その中でも自分がいつも使うものを …

python で再帰的にファイルを作成してみるぞ。

カレントディレクトリを確認。 作成 直下の全てのディレクトリに、同一名のファイル作成。 直下の全てのディレクトリに、同一名のディレクトリ作成。 ファイルの名称変更。 ディレクトリ名 + ファイル名に。 カレントディレクトリを確認。 import os os.pat…

pydicom の基本的な使い方

DICOM ファイルを python で扱いたいとき、まず触るのが pydicom でしょう。 科学技術分野に強いプログラミング言語、 python で dicom を自由に扱えるようになれば、医用画像の研究にとても便利! もちろんディープラーニングにも。 しかし日本語ドキュメン…

data を漬物(pickle)にする。

※ unpickle して NN に戻すところがうまくいきません。 うまく言ったら update します。 ディープラーニングの前処理で、画像データは行列データに変換される。 自分の作成した CNN では、list になる。 どうも、この 画像データ → リスト化 部分に時間がか…

tensorboard を開く。

bash で tensorboard --logdir=/tmp/tensorflow_log をタイプする。 コンソールに返信があれば ブラウザで http://localhost:0.0.0.0.6006 とタイプ。 localhost://0.0.0.0:6006 云々は、コンソールに返信があるので覚えておかなくて大丈夫。 tensorboard の…

CNNディープラーニング前処理 画像をDL用に処理する。

フォルダ内のすべてのファイル取得(python) import globglob.glob('*') for FILENAME in glob.glob('*'): print(FILENAME) イマイチ違いがわかってない。 2.は for loop を回してるので遅いのかな? Bash for dir in $(ls .);do echo $dir; done 再帰的…

Kindle を Ubuntu14 インストールできず、ついでに Ubuntu を破壊してしまった。

また しないようにメモ。 ディープラーニングを勉強するのに、Kindle 本を Ubuntu14 で読めると便利。 ググると、Wine というソフトを使うと、Kindleが使えるらしい。 (MS Office や ScanSnap が使えるならば、Ubuntu に完全移行できるので、結構期待大) …

Python3 モジュールのインポート, パスを通す

前書き モジュールとは モジュールのインポートとは 試してみる。 すべてのクラスと関数をインポートする。 別名によるインポート 一部の関数やクラスだけをインポートする パッケージを使う なぜパッケージを使うのか モジュール検索パス モジュールのある…

TensorFlow tutorial をちょこちょこ modify する。

Under construction です。 チュートリアルのダウンロード Modify VRAM使用量の制限 CPUonly で eval.py を実行する。 チュートリアルのダウンロード git をインストール sudo apt-get install git git を使って、チュートリアルをクローン(画像認識系のみ…

Python3 で ファイル・フォルダー名を列挙する。

環境は Win10, Python 3.5.2 普通に表示する。 import os os.listdir('.') # 最近の python 3.6 なら、 # 明示的に os.listdir('.') # と書かなくて # os.listdir() # で OK ! これだと '.bashrc.swp', '.swp', 'Anaconda3', 'AppData', 'Application Data',…

ディープラーニング向けパソコン自作(マザーボード編)

当ブログは(現状)アフィなしです。よろしくお願いします。 ディープラーニング向け自作には、いくつか押さえるべきポイントがあろうかと。 マザーボードは mini-ITX か ATX が良くて、 結論から言えば、 将来追加投資する気があるなら ATX:SLI対応 Z270マ…

日記 いろいろ一段落

と言うわけで どういうわけか ブログしばらく非公開にしていましたが、気が向いて再び公開設定にしました。 この間に DL用 コンピューターが届き、セットアップ。いろいろ気になったので部品交換をしたりして、思った以上にコストがかかってしまいました。 …

オブジェクト指向プログラミング(OOP)とは

記載されている年は基本的に登場年。 強調されてるところとか見ると違和感があるかもしれないけど、私は DNN のために Python を学び初めた初心者。普通のプログラミング初心者が躓かないところで躓いてると思われ、そっとしておいてください。 オブジェクト…

パソコンの稼働状況を確認する。

1.Win10:タスクマネージャー Win + X Win + T にて起動。 2.Ubuntu:システムモニター Super," system monitor" とタイプする。 3.UbuntuでGPUの使用状況を確認する。 NVIDIAなら ターミナルから nvidia-smi にて表示。 経時的に観察する場合、 nvid…

パソコン設定備忘録、デスクトップDNNマシン

1.Ubuntu 14をインストール パーティション自分で切っても良いが、「お任せ設定」でのインストールが方が楽だし失敗しない。 2.LANを認識しないので、インテルからファイルを落としてインストールする。 Download Intel® Network Adapter Driver for PCI…

TensorFlow、マシン性能/OS環境でどのくらいの差が出るか

2017/5/5 update CIFAR-10 を追加。 目次 MNIST TensorFlow, tutorial, MNIST laptop (No external GPU) desktop TensorFlow, tutorial, MNIST, CNN laptop (No external GPU) desktop 参考:CPU と GPU の組み合わせ比較。 Windows のせいで遅いのか CIFAR-…

ついに Deep Learning 用パソコンをオーダーしました。

表題通り。 基本スペック OS なし(Ubuntu14LTS or CentOS 7 予定) Core i5-7600K RAM 8GB (32GB追加予定) HDD 3TB (SSD 追加予定) GeForce GTX 1080Ti Chipset Z270 (2 way-SLI可能、RAM max 64GB) Cosair Carbite 300R 以上で約20万円。 さんざん悩ん…

Deep Learning 向けの PC/GPU その3(まだ買ってない)

Deep Learning 用の PC ですが。 結局「ゲーミングデスクトップPC」を買えばいい 値段と性能が比例するので、買える中で高いのを買っておけばいい というところで落ち着きました。 以前はいろいろネットで調べて、 消費電力の低い Quadro がいいんじゃないか…

突然のトラブル

Thinkpad の Ubuntu 14.04.5 にトラブルが起こり、急ぎ検証しました。 しばらくタッチパッドをオフにして、トラックポインタのみにしていました。あるときトラックポインタとボタンが効かなくなり、電源ボタンにてシャットダウンを余儀なくされました。 また…

Ubuntu 14.04初期設定

Thinkpad に Ubuntu 14 を入れて dual boot としました。 軽い OS で使いやすいですね。 Windows 側のパーティションは簡単にマウントできるため、Win10 のファイルも扱うことができます。逆に Windows 側からは Ubuntu 側が見えません。 このため、今後は U…

TensorFlow "高度な" MNISTチュートリアル2

DNN

前半はこちら。 pmonty.hatenablog.com ※前半(上記リンク先)のコードが入力されていないと、以下のコードは実行できません。ご注意ください。 ※最下部に、対話型環境で実行可能なコードをまとめています。コピペにて走ります。 原文はこちら Deep MNIST fo…

TensorFlow "高度な" MNISTチュートリアル1

DNN

原文:Deep MNIST for Experts | TensorFlow ディープラーニング・ディープニューラルネットワークの勉強のために、MNIST のチュートリアルの日本語訳(意訳・直訳のちゃんぽん+自分のコメントも時々まじる)を作成。今回前半部分のみ。 初心者なので誤りが…

Udemy の講義「【世界で2万人が受講】実践 Python データサイエンス」 について

ブコメで質問受けて、長くなるのでエントリーにしました。 Udemy の講義「【世界で2万人が受講】実践 Python データサイエンス 」 https://www.udemy.com/python-jp/learn/v4/overview について Python 3 を Anaconda ディストリビューションでインストール…

Python3 (+R), システムコマンド, 仮想環境

Conda/PIP PIP で python にインストールしたパッケージ確認 Conda で仮想環境 システムコマンド cd, ls など プロセス停止 自分のためのコマンドまとめ。 Bash でいう pwd, cd, ls, mv/cp/mkdir/rmなど。 注:環境は Win10, Bash on Ubuntu on Win, Python …

TensorFlow "簡単な" MNISTチュートリアル

DNN

MNIST For ML Beginners | TensorFlow より引用。 Python を使った、MNIST のチュートリアルです。 下記のスクリプトは、Python 3.5 で実行しています。 Python 2 系ですと、(私に言われるまでもないですが) >>> from __future__ import division など、Py…

読了:ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装

ゼロから作る Deep Learning: Amazon.co.jp TensorFlow など Deep learning のライブラリを使わず、Python3 (numpyなど使いますが)のみで Deep Neural Network, (DNN) を実装する、という本です。 Deep Learning ライブラリや、General-Purpose computin…

Deep Neural Network ライブラリ

DNN

Deep Neural Network (DNN) について知識がない私のために、 DNN を実装する(実際に作る)ために使う 「ライブラリ」について、 ネットで調べたまとめです。 DNN 界隈は高速で進化している最中です。 今後1年、2年で状況が全く変わってしまう可能性もあり、…

pydicom 1.0 のインストール。

pydicom 1.0.0a1 を github から DL してインストールするまでの記録です。 a というのは α 版 ということのようです。 「α版」が何を意味するかは、以下のWikipediaを御覧ください。 アルファ版 - Wikipedia したがって、普通の人はインストールすべきでな…

Theano on Python3 (Anaconda) in Win10

ディープラーニングのライブラリである Theano を Anaconda(Python3.5.2, Win10)にインストールした。PC は Lenovo Thinkpad T460(GPUなし) Win 10。 コマンドプロンプトを管理者権限で起動。 `Theano をインストールする。 [Win] + x, a > conda instal…

Rstudio日本語が文字化けした時

R

File Reopen with Enchoding (Alt + F -> E) で適当なのを選択してOKをclick。 自分の場合は UTF-8 -> SHIFT-JIS に変更して改善

よく使うBash, cp -r / rsync -ahvc

こりゃ使うなぁ と思ったコードを書き留めていく。 bash再起動 source ~/.bashrc 研究データをコピーする。 for x in [ID] #研究で使うID番号 do mkdir #コピー先のディレクトリを作る cp -r $x/コピー元のディレクトリ [コピー先のディレクトリ] done ※T1WI…

Deep Learning 向けの PC/GPU その2

このところずっと、 「ディープラーニング向けパソコンはどうしたら良いんかいな」 と悩んでいます。 Nvidia GTX GeForce GTX 1070 搭載の PC, が良いんでは、とのことに落ち着きました。 「ディープラーニングではGPUを使ったほうが良い」 という事実があり…

Deep Learning 向けの PC/GPU その1

AMD が GPGPU に参戦したというニュースが流れてきました。 www.4gamer.net 内容を読むと、 Radeon Instinct 16/18 は 半精度浮動小数点数(FP16)に対応しているようです。まだ発表しただけですので、実際に手に入るのは先になるでしょうが、ディープラーニ…

AFNI を Windows10 にインストールする。

AFNI を Windows 10 にインストールできました。以前は一部パッケージがインストールできませんでしたが、ようやく解消。 備忘録も兼ねて記載します。 pmonty.hatenablog.com Bash on Ubuntu on Windows を使わず、Cygwin を使っていれば、とっくにインスト…

cuda対応GPUの選択 値段と性能、消費電力の比較

ディープラーニングを行うのに、GPU の付いた PC が必須のようです。 CUDA に対応した nvidia 製の GPU を選ぶわけですが、日本語で検索すると、 CUDAを使用可能なGPU製品 - NVIDIA 「最近の製品は CUDA?に対応してないの?」 と不安になります。 が、英語…

Ubuntu で苦しんだ日記

本日の work ゼロから作る Deep Learning 第3章 mnist を使った機械学習 うまくいかない。 書いてあるコードを Win10, Python3.5 in Anaconda に打ち込んで、対話的に行う。 p76-77 のコードを実行すると、正診率が返るはず。 しかし、何も出てこない。 def …

CUDA 対応 GPU の評価

将来ディープラーニングをやりたいということで、それ用のPCを物色しています。 GPUを作っているメーカーは、 nvidia AMD が有名ですが、 GPUを使ったディープラーニングということになると、GPGPUに対応したソフトウェア、CUDAを出している nvidia 一択にな…

レッツノート SX2 の メモリー増設 16GB

レッツノートはパナが出しているビジネスマン御用達のPC panasonic.jp 勝間和代氏が愛用していることでも知られる。 panasonic.jp 別にカツマーって訳でもないが、 W5, W7, F9, SX2, B11, LX3, LX5 と都合7台ほど触ってきました(家族用、業務用含め)。 自…

日記。Ubuntu16.04 を試し、Win10 に帰ってくるまで。

次回同じことを繰り返さないために備忘録。 pmonty.hatenablog.com から続く。 本日のメニュー 1.SSD 換装 2.Ubuntu 16.04 クリーンインストール 3.セットアップ 1. サクッと 1TB SSD に交換 2. DVD から Ubuntu 16.04.01 をブートし、インストー…

SSD換装で Bash on Win10 に苦しむ。勝手に同期するWin10、tcsh 使えません問題

Win10 で FSL や freesurfer が動くと聞き。 Win10 laptop を買うことに決めた。 Windows 10でFSLをネイティブ環境で起動する方法 機種は Thinkpad T460 Amazon.com: Lenovo ThinkPad T460 日本では普通には買えない。 アメリカで買って、転送サービスを利用…

Udemy,ネット講義が安売り中!!

Udemyという、ネット講演サイトがあります。 www.udemy.com 講演は 30-200ドル(3000-20000円) くらいなのですが、 すべてのコースが 10ドル(1000円 くらい) で安売りされてるようです。 パイソンのプログラミングとか、Rを使った統計など、 いろいろ講演…

アクセスがあることにびっくりしている話。

こんな個人ブログ、 誰が見るかと思っていたら、 意外に 毎日 数人程度のご来場あり。 びっくりしています。 まだまだ駆け出しなんで 役に立つとかは ないんでしょうけど。 そのうち、役に立つ記事をだせるようになったらと 思っています。 アクセス、ほとん…

忘れそうな bash コマンドメモ

備忘録。 シェル使い始めたばっかなんで。まだこんなレベル。 メタ構文変換 英語圏 foo, bar, baz, qux, quux, foobar 日本語 hoge, hogehoge, fuga, piyo, hogera 忘れそうなのでメモ。hogeは忘れないけど、foo, bar, baz は忘れそう。 rm -r foo ディレク…

読了:科学技術計算のためのPython入門

科学技術計算のためのPython入門――開発基礎,必須ライブラリ,高速化 https://www.amazon.co.jp/gp/product/B01LXKPSFD/ref=oh_aui_d_detailpage_o03_?ie=UTF8&psc=1 Python はオープンソースで、無料で使える。 大手の会社、例えば Google などで広く使われ…

レッツノート SX2 の SSD 換装 (max 4TB)

私の使っている SX2 は、 SSD 4TB メモリー 16GB まで積めます。 レッツノートは高いので、 型落ちの安い HDD モデルを買い、 SSD 換装するのがオススメ。 SSD 換装は超簡単。 thehikaku.net 使ったSSDはこちら Amazon CAPTCHA SSD も安くなりました。。。 4…

R を自習する。

R は無料の統計ソフト(らしい)。 自習に使った、使う予定のリスト。 後から感想を加えていきます。 1.サイト集 2.本 1.サイト集 有料の web セミナー 【R言語をゼロから理解していく】データサイエンスの実践例から学ぶデータ分析入門 | Udemy RStud…

Windows で Linux を使う2

Linux Linux - Wikipedia には色々な種類があるようで 種類は、ディストリビューション Linuxディストリビューション - Wikipedia と呼ばれているそうです。 たくさんの種類があり どれをインストールすれば良いのか迷ってしまう。 ざっくり言うと、Windows …

Windows で Linux を使う

PC の OS は大きく分けると Windows と UNIX/Linux/MacOS の 2種類。 Windows で動かない、画像解析ソフトがあるため、 どこかのタイミングで UNIX/Linux/MacOS を使うことに。 Windows PC で UNIX/Linux を使う方法は、 デュアルブート 仮想デスクトップ の…