読者です 読者をやめる 読者になる 読者になる

TensorFlow を Anaconda 環境にインストール ソースコード から編 / How to build and install TensorFlow into your Anaconda environment from source code

TensorFlow を Anaconda 環境にインストール ソースコード から編 / How to build and install TensorFlow into your Anaconda environment from source code

** Sorry, this note is Japanese only, but please take a look at some code snippets. Hope it helps you a bit!

先日紹介した TF Learn / skflow もそうなのですが、TensorFlow は今でも進化し続けており、ソースコードは常に更新されています。
常に最新の機能をインストールしておきたい!という TensorFlow マニアさん向けなのか、公式ドキュメントにも新たに Anaconda 環境にソースコードからインストールする方法が追記されてますので、ここにもまとめておきたいと思います。

** R ユーザーの人はこちらをどうぞ↓ datalove.hatenadiary.jp

続きを読む

TensorFlow を scikit-learn のように使える TF Learn (旧 skflow )が超便利です / Introduction to an amazing TensorFlow wrapper, TF Learn (f.k.a. skflow )

TensorFlow を scikit-learn のように使える skflow が超便利です / Introduction to an amazing TensorFlow wrapper skflow

** Sorry, this note is Japanese only, but please take a look at some code snippets. Hope it helps you a bit!

これがGoogle さんの力なのか、爆発的な広がりをみせつつある TensorFlow 。
ちまたでも「人工知能ガー」とか「 Deep Learning ガー」みたいの聴くことが増えてきました。そのうち主婦も Deep Learning やってみた、とか言い出すんじゃないかという気すらする今日この頃。
ただ、テンソル とか オペレーションは全てグラフだとか、慣れない仕組みもどしどし出てきて「試してみたいけどわたしはちょっと・・・」という人も多いかもしれません。
そんな主婦にも朗報です!たった数行で TensorFlow を使って Deep Learning できますよ!

続きを読む

IPython notebook に YouTube埋め込めるようになってる!今更だけど / How to show off YouTube videos in your IPython notebook

IPython notebook に YouTube埋め込めるようになってる!今更だけど / How to show off YouTube videos in your IPython notebook

** Sorry, this note is Japanese only, but please take a look at some code snippets. Hope it helps you a bit!

ちょっと用があって IPython notebook のリファレンスを調べてたらなんか YouTube の動画を notebook に埋め込めるようになってる!
・・・どうでもいい tips だけど息抜きにどうぞ。

続きを読む

scikit-learn で F1値 計算のエラーを回避する / How to resolve UndefinedMetricWarning: F-score is ill-defined and being set to 0.0 in labels with no predicted samples

scikit-learn で F1値 計算のエラーを回避する / How to resolve UndefinedMetricWarning: F-score is ill-defined and being set to 0.0 in labels with no predicted samples

Python の機械学習であまりにもおなじみの scikit-learn ですが、モデルの評価のために F1値を計算しようとして次のようなエラーが出ることがあります。

UndefinedMetricWarning: F-score is ill-defined and being set to 0.0 in labels with no predicted samples.

文字どおり、F1値( F-score )を計算しようとしたけど、ポジティブな予測をされたデータがないから F1値がちゃんと計算できないよ、ということらしいですが、わたしの場合ちょっと違う原因もあったみたいなので、解決方法のメモを残します。

続きを読む

TensorFlow - 恒等行列で初期化する方法 / How to initialize identity matrix with TensorFlow

TensorFlow - 恒等行列で初期化する方法 / How to initialize matrix as identity matrix with TensorFlow

numpy と違って、すべての変数は Tensor と呼ばれるオブジェクトになってしまう TensorFlow 。慣れないわたしなんかはしょーーーもないところでつまづいてしまいます。
今日も恒等行列で初期化するというたわいもないことで無駄に時の流れに身を委ねてしまいました・・・
そんなつまづきでてこずったので、他にも同じ目に遭う人が出ない様に(いないか)メモを残しておきます。

続きを読む

pytest で pep8 のエラー ~ AttributeError: Pep8Item object has no attribute module の解決方法

pytest で pep8 のエラー ~ AttributeError: Pep8Item object has no attribute module の解決方法

前にも書いたけど、最近 Flask という Python のフレームワークを使って Google App Engine の開発をしてます。
で、pytest と pytest-flask 、pytest-pep8 、pytest-cov ・・・などなど使ってテストを書いてるんだけど、ちゃんと動いてたテストがある日突然動かなくなった・・・orz
なんで?パッケージを upgrade したぐらいなんだけど、わたしそんなに悪いことした?

・・・

というワケで、ググってもなかなか答えが見つからなかった、AttributeError: Pep8Item object has no attribute module の解決方法 をここにメモっておきます。

続きを読む

機械学習 ~ MovieLens のデータを pandas.DataFrame にする時に悩むこと

MovieLens のデータを pandas.DataFrame にする時に悩むこと

機械学習や レコメンド エンジン の開発時にサンプルデータとしてよく使われる MovieLens のデータ。
その筋の方々は データ を pandas の DataFrame に変換して使うことが多いと思います。
わたしも何度かそんなことをしていましたが、毎回地味にめんどくさい!と思っていたアレ!をなんとか効率的にできないか考えてみました。

続きを読む

Python - pip コマンドでインストールせずにソースをダウンロードする方法

Python - pip コマンドでインストールせずにソースをダウンロードする方法

たまに pip でパッケージをインストールしようとして失敗したりしてパッケージのソースを見たいことがある。
最近は github とかにソースをわかりやすく公開しているケースも増えてきてるけど、たまにそれがない場合などもあるので、pip コマンドでソースだけダウンロードする方法がないか調べてみた。

続きを読む

DistributionNotFound: gcloud エラーの解決方法 - Eclipse と PyDev で Google App Engine 開発

DistributionNotFound: gcloud エラーの解決方法 - Eclipse と PyDev で Google App Engine 開発

Eclipse に PyDev をインストールして、Google App Engine のアプリケーションを開発していると、実行環境の設定に悩む。
Run Configurations (実行の構成)の中に、PyDev Google App Run という設定をする場所があるんだけど、ここに設定を作成して実行しても DistributionNotFound: gcloud が発生してアプリが起動できない。
めんどくさい 仕方ないので、コマンドで python -m main とかやってたのだが、いよいよ不便になってきたのでちゃんと解決方法を調べてみた。

続きを読む

Eclipse + PyDev 環境で Unresolved import Error の解決方法

Eclipse + PyDev 環境で Unresolved import Error の解決方法

このところ Python の開発環境を色々と( PyCharm 、 Anaconda + Spyder 、 Vim 、 Emacs ... ) 渡り歩いている。
もちろん、オールマイティに全部に使える環境なんてないので、用途に応じて使い分けることになるんだけど、最近新たに Eclipse + PyDev 環境が加わった。
Google App Engine が支えて py.test に対応してる環境を探してたらこうなったのだが、Unresolved import Error というエラーに悩まされており、ようやく解決できたので解決方法をメモっておく。

続きを読む

Flask で Restful API を作る - jsonify で日本語が文字化けする時の解決方法

Flask で RestAPI を作る - jsonify で日本語が文字化けする時の解決方法

最近ちょいちょい見かけることが増えてきた Python のフレームワーク Flask 。
軽量でシンプルなところが魅力となっていると思うのだが、業務で Flask を使って Restful API を開発する機会があり、jsonify を使って出力を JSON にしたところ、日本語の文字化け問題に遭遇したので、解決方法をメモしておく。

続きを読む

機械学習 の便利ツール MALSS インストール時のエラーを解決する - No files/directories in ... /malss/pip-egg-info (from PKG-INFO)

機械学習 の便利ツール MALSS インストール時のエラーを解決する - No files/directories in ... /malss/pip-egg-info (from PKG-INFO)

データサイエンティスト や 機械学習 とかいうと Google や Facebook あたりがいつも出てくる感じですが、実は日本にも優秀な データサイエンティスト がたくさんいるんじゃないか、と思う今日この頃。
そんな日本の データサイエンティスト の中のお一人、@canard0328 さんが開発された MALSS というのがかなり便利そうなので試したところ pip でインストールすると謎のエラーを吐いて失敗する。

No files/directories in /var/folders/ ... /malss/pip-egg-info (from PKG-INFO)

このエラーを解決に手間取ったのでメモを残しておく。

続きを読む

Python でグラフ分析番外編・Pure Pythonのみで簡易グラフ分析

このところ ネットワーク分析 (Rで学ぶデータサイエンス 8)に沿ってグラフ分析をやってて、それにハマってるわけだが、いろいろやっているうちに Python の生みの親のグイド・ヴァンロッサム先生自らによる、Python Patterns - Implementing Graphs(英語)という、Pure Python でグラフを実装する方法について説明した記事に遭遇した。

こんなにシンプルなコードでグラフが表現できるのか、と改めて Python の使いやすさに感心しつつ、オリジナルの記事の内容を Python3 で実装したところ、幾つかバージョンの違いによる変更点があったのでメモっておく。
Python でグラフ分析番外編・Pure Pythonのみで簡易グラフ分析

続きを読む

python-igraph インストール・ libiconv.la: No such file or directory エラーの解決方法

前回に引き続き、ネットワーク分析 (Rで学ぶデータサイエンス 8)の勉強を python で行う続き。
ところが、python-igraph を Anaconda 環境にインストールしようとしたところ、libiconv.la がない、というようなエラーが出て、結構手こずったので解決方法のメモ残す。

python-igraph を触ってみた:Rで学ぶデータサイエンス8 ネットワーク分析を python で:その1

続きを読む

python-igraph を触ってみた:Rで学ぶデータサイエンス8 ネットワーク分析を python で:その1

ネットワーク分析 (Rで学ぶデータサイエンス 8)という、グラフ分析 の本を買ったのだがこれがなかなか面白い。
グラフ分析とかグラフ理論とかっていうと、Facebook とかのソーシャルメディアが真っ先に思い浮かぶ感じだが、レコメンドとかコンテンツの分析とか、もっと色々応用できそうな感じ。
ただ本のレビューするのもつまんないので、書籍でRで紹介されているサンプルを python だったらどうやるのか?を考えつつ、読んでいく、そのログ。

python-igraph を触ってみた:Rで学ぶデータサイエンス8 ネットワーク分析を python で:その1

続きを読む