読者です 読者をやめる 読者になる 読者になる

TensorFlow: TF Learn (元 skflow )でログデータを残して tensorboard で使う方法 / TensorFlow & TF Learn : How to save logs for tensorboard visualization

TensorFlow: TF Learn (元 skflow )でログデータを残して tensorboard で使う方法 / TensorFlow & TF Learn : How to save logs for tensorboard visualization

** Sorry, this note is Japanese only, but please take a look at some code snippets. Hope it helps you a bit!

先日、TF Learn (元 skflow )というものが、TensorFlow を scikit-learn のように Deep Learning できて便利です!という記事を書いたのですが、

あれ・・・

TensorFlow って TensorBoard で学習状況とかを見れたような・・・ これって TF Learn を通して TensorFlow を使う場合どうなるんだろう・・・

・・・

ということで調べてみました!

続きを読む

TensorFlow のドキュメントをサクッと読む方法 / one-liner: How to read TensorFlow documents in Python instantly

TensorFlow のドキュメントをサクッと読む方法 / How to read TensorFlow documents instantly in Python

** Sorry, this note is Japanese only, but please take a look at some code snippets. Hope it helps you a bit!

機械学習にも Deep Learning にも TensorFlow にも未だに全くなれないワタクシ。
しょっちゅうドキュメントを確認しないといけないことがあります。
こんな時 TensorFlow は公式ドキュメントが充実してたり、先駆者の皆さんがブログに書いてくれたりするので助かるのですが、丁寧なドキュメントじゃなくていいので、サクッと TensorFlow の仕様を確認したい時もあります。

今日はそんな時のための Tips です。

続きを読む

JupyterLab インストール -> MacOSX + Anaconda で matplotlib のインライン表示ができない!解決方法 / How to use matplotlib inline with JupyterLab in MacOSX and Anaconda

JupyterLab MacOSX + Anaconda で matplotlib のインライン表示ができない!解決方法 / How to use matplotlib inline with JupyterLab in MacOSX and Anaconda

** Sorry, this note is Japanese only, but please take a look at some code snippets. Hope it helps you a bit!

なにやら Jupyter Notebook をベースにした新しい データ サイエンティスト 環境 JupyterLab なるものが発表されたそうです。
まだまだ発展途上みたいなんだけど、上の画像みたいに色々できるようで心が小躍りしながら試してみたら・・・matplotlib の plot で失敗しました・・・

RuntimeError: Python is not installed as a framework. The Mac OS X backend will not be able to function correctly if Python is not installed as a framework. > See the Python documentation for more information on installing Python as a framework on Mac OS X. Please either reinstall Python as a framework, or try one of the other backends. If you are Working with Matplotlib in a virtual enviroment see 'Working with Matplotlib in Virtual environments' in the Matplotlib FAQ

なんで??とか思ってたら、このエラー、IPython notebook 時代からのあるあるらしいです。
わたしみたいに最近 Ipython notebook とか Jupyter とか触り始めた人が引っかからないように、解決方法をメモっておきます。

続きを読む

TensorFlow を Anaconda 環境にインストール ソースコード から編 / How to build and install TensorFlow into your Anaconda environment from source code

TensorFlow を Anaconda 環境にインストール ソースコード から編 / How to build and install TensorFlow into your Anaconda environment from source code

** Sorry, this note is Japanese only, but please take a look at some code snippets. Hope it helps you a bit!

先日紹介した TF Learn / skflow もそうなのですが、TensorFlow は今でも進化し続けており、ソースコードは常に更新されています。
常に最新の機能をインストールしておきたい!という TensorFlow マニアさん向けなのか、公式ドキュメントにも新たに Anaconda 環境にソースコードからインストールする方法が追記されてますので、ここにもまとめておきたいと思います。

** R ユーザーの人はこちらをどうぞ↓ datalove.hatenadiary.jp

続きを読む

TensorFlow を scikit-learn のように使える TF Learn (旧 skflow )が超便利です / Introduction to an amazing TensorFlow wrapper, TF Learn (f.k.a. skflow )

TensorFlow を scikit-learn のように使える skflow が超便利です / Introduction to an amazing TensorFlow wrapper skflow

** Sorry, this note is Japanese only, but please take a look at some code snippets. Hope it helps you a bit!

これがGoogle さんの力なのか、爆発的な広がりをみせつつある TensorFlow 。
ちまたでも「人工知能ガー」とか「 Deep Learning ガー」みたいの聴くことが増えてきました。そのうち主婦も Deep Learning やってみた、とか言い出すんじゃないかという気すらする今日この頃。
ただ、テンソル とか オペレーションは全てグラフだとか、慣れない仕組みもどしどし出てきて「試してみたいけどわたしはちょっと・・・」という人も多いかもしれません。
そんな主婦にも朗報です!たった数行で TensorFlow を使って Deep Learning できますよ!

続きを読む

IPython notebook に YouTube埋め込めるようになってる!今更だけど / How to show off YouTube videos in your IPython notebook

IPython notebook に YouTube埋め込めるようになってる!今更だけど / How to show off YouTube videos in your IPython notebook

** Sorry, this note is Japanese only, but please take a look at some code snippets. Hope it helps you a bit!

ちょっと用があって IPython notebook のリファレンスを調べてたらなんか YouTube の動画を notebook に埋め込めるようになってる!
・・・どうでもいい tips だけど息抜きにどうぞ。

続きを読む

scikit-learn で F1値 計算のエラーを回避する / How to resolve UndefinedMetricWarning: F-score is ill-defined and being set to 0.0 in labels with no predicted samples

scikit-learn で F1値 計算のエラーを回避する / How to resolve UndefinedMetricWarning: F-score is ill-defined and being set to 0.0 in labels with no predicted samples

Python の機械学習であまりにもおなじみの scikit-learn ですが、モデルの評価のために F1値を計算しようとして次のようなエラーが出ることがあります。

UndefinedMetricWarning: F-score is ill-defined and being set to 0.0 in labels with no predicted samples.

文字どおり、F1値( F-score )を計算しようとしたけど、ポジティブな予測をされたデータがないから F1値がちゃんと計算できないよ、ということらしいですが、わたしの場合ちょっと違う原因もあったみたいなので、解決方法のメモを残します。

続きを読む

TensorFlow - 恒等行列で初期化する方法 / How to initialize identity matrix with TensorFlow

TensorFlow - 恒等行列で初期化する方法 / How to initialize matrix as identity matrix with TensorFlow

numpy と違って、すべての変数は Tensor と呼ばれるオブジェクトになってしまう TensorFlow 。慣れないわたしなんかはしょーーーもないところでつまづいてしまいます。
今日も恒等行列で初期化するというたわいもないことで無駄に時の流れに身を委ねてしまいました・・・
そんなつまづきでてこずったので、他にも同じ目に遭う人が出ない様に(いないか)メモを残しておきます。

続きを読む

pytest で pep8 のエラー ~ AttributeError: Pep8Item object has no attribute module の解決方法

pytest で pep8 のエラー ~ AttributeError: Pep8Item object has no attribute module の解決方法

前にも書いたけど、最近 Flask という Python のフレームワークを使って Google App Engine の開発をしてます。
で、pytest と pytest-flask 、pytest-pep8 、pytest-cov ・・・などなど使ってテストを書いてるんだけど、ちゃんと動いてたテストがある日突然動かなくなった・・・orz
なんで?パッケージを upgrade したぐらいなんだけど、わたしそんなに悪いことした?

・・・

というワケで、ググってもなかなか答えが見つからなかった、AttributeError: Pep8Item object has no attribute module の解決方法 をここにメモっておきます。

続きを読む

機械学習 ~ MovieLens のデータを pandas.DataFrame にする時に悩むこと

MovieLens のデータを pandas.DataFrame にする時に悩むこと

機械学習や レコメンド エンジン の開発時にサンプルデータとしてよく使われる MovieLens のデータ。
その筋の方々は データ を pandas の DataFrame に変換して使うことが多いと思います。
わたしも何度かそんなことをしていましたが、毎回地味にめんどくさい!と思っていたアレ!をなんとか効率的にできないか考えてみました。

続きを読む

Python - pip コマンドでインストールせずにソースをダウンロードする方法

Python - pip コマンドでインストールせずにソースをダウンロードする方法

たまに pip でパッケージをインストールしようとして失敗したりしてパッケージのソースを見たいことがある。
最近は github とかにソースをわかりやすく公開しているケースも増えてきてるけど、たまにそれがない場合などもあるので、pip コマンドでソースだけダウンロードする方法がないか調べてみた。

続きを読む

DistributionNotFound: gcloud エラーの解決方法 - Eclipse と PyDev で Google App Engine 開発

DistributionNotFound: gcloud エラーの解決方法 - Eclipse と PyDev で Google App Engine 開発

Eclipse に PyDev をインストールして、Google App Engine のアプリケーションを開発していると、実行環境の設定に悩む。
Run Configurations (実行の構成)の中に、PyDev Google App Run という設定をする場所があるんだけど、ここに設定を作成して実行しても DistributionNotFound: gcloud が発生してアプリが起動できない。
めんどくさい 仕方ないので、コマンドで python -m main とかやってたのだが、いよいよ不便になってきたのでちゃんと解決方法を調べてみた。

続きを読む

Eclipse + PyDev 環境で Unresolved import Error の解決方法

Eclipse + PyDev 環境で Unresolved import Error の解決方法

このところ Python の開発環境を色々と( PyCharm 、 Anaconda + Spyder 、 Vim 、 Emacs ... ) 渡り歩いている。
もちろん、オールマイティに全部に使える環境なんてないので、用途に応じて使い分けることになるんだけど、最近新たに Eclipse + PyDev 環境が加わった。
Google App Engine が支えて py.test に対応してる環境を探してたらこうなったのだが、Unresolved import Error というエラーに悩まされており、ようやく解決できたので解決方法をメモっておく。

続きを読む

Flask で Restful API を作る - jsonify で日本語が文字化けする時の解決方法

Flask で RestAPI を作る - jsonify で日本語が文字化けする時の解決方法

最近ちょいちょい見かけることが増えてきた Python のフレームワーク Flask 。
軽量でシンプルなところが魅力となっていると思うのだが、業務で Flask を使って Restful API を開発する機会があり、jsonify を使って出力を JSON にしたところ、日本語の文字化け問題に遭遇したので、解決方法をメモしておく。

続きを読む

機械学習 の便利ツール MALSS インストール時のエラーを解決する - No files/directories in ... /malss/pip-egg-info (from PKG-INFO)

機械学習 の便利ツール MALSS インストール時のエラーを解決する - No files/directories in ... /malss/pip-egg-info (from PKG-INFO)

データサイエンティスト や 機械学習 とかいうと Google や Facebook あたりがいつも出てくる感じですが、実は日本にも優秀な データサイエンティスト がたくさんいるんじゃないか、と思う今日この頃。
そんな日本の データサイエンティスト の中のお一人、@canard0328 さんが開発された MALSS というのがかなり便利そうなので試したところ pip でインストールすると謎のエラーを吐いて失敗する。

No files/directories in /var/folders/ ... /malss/pip-egg-info (from PKG-INFO)

このエラーを解決に手間取ったのでメモを残しておく。

続きを読む