読者です 読者をやめる 読者になる 読者になる

機械学習のベストプラクティスの資料のメモ(Best Practices for ML Engineering)

Rules of Machine Learning: Best Practices for ML Engineering Reliable Machine Learning in the Wild Google researchの Martin Zinkevich氏の資料です。 Reliable Machine Learning in the Wild(NIPS 2016)での招待講演のもの。 Rules of Machine Learn…

損失関数・評価指標のめも

scikit-learnのモデル評価に関するドキュメント 回帰(Regression)問題 Hinge loss 平均絶対誤差(Mean absolute error) Mean Squared Error ニクラス分類(Binary Classification)問題 F1 score MAP(Mean average precision) マルチラベル分類(Multi-Label Cla…

pythonで文字列を日付(datetime)に変換後、日付間の日数の差を求める

やりたいこと データ形式 変換コード よく特徴を新しく作る時に使うのでメモ。 やりたいこと csvファイルの二つのカラムに入った文字列形式の日時データ、その二つの日時データの日数の違いを一気に計算したい。 下のデータ形式だと end_date_time - start_d…

pandasのDataFrameの連結、内部結合、外部結合のサンプル

データフレーム結合の使用例 Grouobyとそれに対する操作(フィルタなど) データ選択の方法(ix, queryなど) リンクのみです。 Qiita等の例の内の多くはpandasのドキュメントに載っている気がします。いちいち検索せずにドキュメントを読む癖をつけたい。特によ…

Latexでチェックマーク(✔︎:への逆)を出力する

関係部分と表示サンプル 必要パッケージ 出力 コード全体 稀によく使う。 関係部分と表示サンプル 必要パッケージ \usepackage{bbding} \usepackage{pifont} \usepackage{wasysym} \usepackage{amssymb} 出力 \checkmark % amssymb \\ \Checkmark % bbding \…

Ian Goodfellow先生による講義動画+資料(Adversarial Examples)

上はMontreal Deep Learning Summer Schoolでの資料なので少し古い内容です。 NIPSの際の資料などはこちら-> Presentation から閲覧できます。

graphvizを使ってフローチャートや遷移図を作成する

できること インストール コマンドでのコンパイル web上でコンパイル 作成例 決定木の可視化 作成例は後ほど追記予定。 できること digraph g{ rankdir=LR; "a" -> "b" -> "c" -> "d" -> "e" -> "f" } をコンパイルすると ができます。 インストール brew in…

メモ:Value Iteration Networksのtheano, tensor-flow, chainerでの実装

概要 実装 theano tensor-flow chainer NIPS-16のBest Paper AwardであるTamar, Aviv, Sergey Levine, and Pieter Abbeel. "Value Iteration Networks." arXiv preprint arXiv:1602.02867 (2016).のtensor-flowでの実装が公開されました。 概要 エージェント…

ubuntuにanacondaをインストール、仮想環境の作成、削除

インストール 仮想環境の名前一覧を見る 環境を作る 仮想環境に入る 仮装環境から出る 仮想環境の削除 conda-forge 本家のドキュメント メモのみ。Ubuntu 14.04とMac OS Xで行っています。 本家からダウンロードしてインストールするだけです。 インストール…

jsonrpcを使ってリモートにある関数をローカルに定義した関数と同様に呼び出す

使うもの サーバー側 使うもの JSON-RPC 2.0 Specificationを使用 サンプルコードを引用すると サーバに送るデータ> {"jsonrpc": "2.0", "method": "subtract", "params": [42, 23], "id": 1} クライアントに返すデータ> {"jsonrpc": "2.0", "result": 19, "…

jupyter notebook上でコマンドを実行する

時たまに、jupyter notebook上でコマンドを実行したい時があります。 並列処理や、ファイルの変換などです。 解決法 %%bashをつければ実行できます。 %%bash /usr/local/bin/dot -Tpng tree.dot -o tree.png

Active Learningの資料・論文のめも

導入 Active Learning 入門 A tutorial on active learning 能動学習セミナー サーベイ Active Learning Literature Survey 論文 導入 Active Learning 入門 Active Learning 入門 from Shuyo Nakatani www.slideshare.net A tutorial on active learning pd…

python matplotlib 内で日本語を利用する(日本語のラベルや凡例・legendをつける)

matplotlibで使用できるフォントを探す 指定したフォントをmatplotlib全体で使用できるように指定する コード 表示例 matplotlib.rcを使ったフォントの変更 コード 表示例 matplotlibで使用できるフォントを探す 指定したフォントをmatplotlib全体で使用でき…

python matplotlib 内で日本語を利用する(使用できるフォントを探す)

利用できるフォントを探す コード 出力 matplotlibで使用 日本語でラベルや凡例を表示する 利用できるフォントを探す コード import matplotlib.font_manager as fm # フォント一覧 fonts = fm.findSystemFonts() # フォントのパスと名前を取得、とりあえず1…

Deep系の論文めも後半その2 (2016年夏頃までのもの対象)

教師なし CNN features off-the-shelf: an astounding baseline for recognition 画像 Learning and transferring mid-level image representions using convolutional neural networks Learning hierarchical features for scene labeling Semantic Segment…

Deep系の論文めも後半その1 (2016年夏頃までのもの対象)

生成モデル Deep Convolutional Generative Adversarial Networks Generative Adversarial Nets Unsupervised representation learning with deep convolutional generative adversarial networks Deep Generative Image Models using a Laplacian Pyramid …

pandas.DataFrameでcsvファイルを内部結合

やりたいこと コード 他の例 よく使うのでメモ。 ID_labelxとID_labelyが同じ行をまとめる内部結合です。 やりたいこと X: (ID_labelx, xa, xb) = (tanaka, data_xa, data_xb) Y: (ID_labely, ya, yb) = (tanaka, data_ya, data_yb) のデータが join: (ID_la…

pythonのpandas.DataFrameで特定文字列だけ含む行を選択

大量データのカラム名の仕分けとかでよく使うのでメモ。 # データをロード clm = pd.DataFrame(data) # カラム名を付け替える clm.columns = ['id', ...] # idカラムの中から "tanaka" が含まれる行だけを選択 clm[clm['id'].str.contains("tanaka", na=Fals…

Ubuntu 14.04, Mac OS X に MeCab をインストール

Mac OS X Ubuntu 14.04 すでに以下のような記事があるのですが qiita.com 以下でいけました。 Mac OS X $ brew install mecab $ brew install mecab-ipadic $ pip install mecab-python $ pip install mecab-python3 (python3なら) Ubuntu 14.04 $ sudo apt-…

kerasでtensorflowとtheanoを切り替える

vim ~/.keras/keras.jsonを編集して {"epsilon": 1e-07, "floatx": "float32", "backend": "theano"} のtheanoをtensorflowに書き換える。 ソース:バックエンド - Keras Documentation

AWSの利用料金の概算をする・各インスタンスの料金を確認する

以下のサイトで概算、 ネジみたいなマークを押せば一時間ごとのおよその料金など確認できる。 画像は 2016/10/20 時点での Linux のインスタンスの料金設定。 calculator.s3.amazonaws.com

pythonで予測ミスの分布を確認

いつもいっかいどっかでやるのでメモ。 クラスを分類しまちがえた時は、そのミスの自信度を確認すること。 コード # check error prd = clf.predict_proba(X_test)[:, 1] tfdata = pd.concat([pd.DataFrame(y_test), pd.DataFrame(prd)], axis=1) tfdata.col…

AWSでcuDNNを利用する+Couldn't open CUDA library libcudnn.soの解決

やりたいこと NVIDIAのcuDNNを使って高速にGPUを利用したい、AWSで。 すること cuDNNをダウンロード https://developer.nvidia.com/rdp/cudnn-download からダウンロード。登録が必要。 scp で aws へファイルをコピー scp -i (AWSのpemファイル).pem -r Dow…

AWSのg2.2xlarge(ubuntu14.04)でCUDAを利用する

やること AWS(Ubuntu 14.04)でCUDAを利用する。 cudaインストール $ wget http://developer.download.nvidia.com/compute/cuda/repos/ubuntu1404/x86_64/cuda-repo-ubuntu1404_7.5-18_amd64.deb $ sudo dpkg -i cuda-repo-ubuntu1404_7.5-18_amd64.deb $ s…

AWSでjupyter notebookを利用してローカルからアクセスする

すること Amazon Web Servicedで GPUインスタンスを利用する。 jupyter notebook をローカルからアクセスしたい。 すること やること とりあえずインスタンスを立ち上げる sshの設定を記述する。 AWSにて jupyter notebookの設定 jupyter notebook 立ち上げ …

AWSを始めるまでの設定

やること Amazon web servie で GPU インスタンスを利用する。 すること 1.はじめにここを見ながら、必要な設定を完了。 2.ここを見ながら鍵を取得。 3. AWSにてインスタンスを起動する。 4. ここを見ながら、インスタンスに接続する。 これらが整ったら、ju…

python OpenCVで画像をグレースケールに変換

import cv2 color_img = cv2.imread("filename") gray_img = cv2.cvtColor(color_img, cv2.COLOR_RGB2GRAY)

Linuxの基本コマンドのメモ

パス関連 現在のディレクトリの表示 パス名からファイル・ディレクトリ名のみ抽出する コマンドのパスの表示 時間関係 カレンダー表示 定期的に自動でコマンド実行 ファイル関係 権限 パーミッションを変更する 所有者を変更 ファイルの一部分を切り出す フ…

DONALD TRUMP'S TRASH-TALKING PRESIDENTIAL CAMPAIGN

The Nightly Show with Larry WilmoreGet More: The Nightly Show Full Episodes,The Nightly Show on Facebook,The Nightly Show Video Archive最近気づいたのですが、COMEDY CENTRAL の番組のうちVIDEO CLIPSが日本からでも普通に観れるっぽいですね。FULL…

Delta's Toefl iBT の単語メモ

内容 以下の参考書の途中に出てくる単語メモ、自分用、約700ページ、 読むのは二回め、新しい記事を書かずにここにどんどん追記予定。 参考文献 同義語の出典 Google 翻訳 Google 翻訳 単語の意味の出典 英和辞典・和英辞典 - Weblio辞書 英和辞典・和英辞典…

(OCW)機械学習の授業のめもその2

情報源及び出典、参照元 Stanford engineering everywhere artificial intelligence | machine learning Stanford School of Engineering - Stanford Engineering Everywhere 講師:Andrew Ng (敬称略) 、著作権表示及び授業関連資料は上記サイトを参照してく…

(OCW)機械学習の授業のめも

情報源及び出典、参照元 Stanford engineering everywhere artificial intelligence | machine learning Stanford School of Engineering - Stanford Engineering Everywhere 講師:Andrew Ng (敬称略) 、著作権表示及び授業関連資料は上記サイトを参照してく…

最適化:非線形計画+組み合わせ最適化のまとめのメモ

はじめに としてほとんどの問題を定式化する。細かい記号の定義や意味は略してます。ところどことミスがあるかも。参考文献は文末、以下は教科書。[0] 福島雅夫:『数理計画入門』, 朝倉書店, 1996. 非線形計画 問題の定式化 として、各問題を定式化。 凸関数…

英語めも:岡倉点心著、『東洋の理想』

参考文献及び引用文献 The Ideals of the East: Title Page The Ideals of the East: Title Page『The Ideals of the East-with special reference to the art of Japan』 1903年 ジョン・マレー書店(ロンドン)『東洋の理想』 (著作権が切れてアーカイブし…

英語めも:効率のいい昼寝の秘訣

元記事 The Secrets Of Highly Efficient Napping The Secrets Of Highly Efficient Napping 単語メモ nap 昼寝、昼寝する nail down 決定する、釘で固定する aka also known asの略 prudent 用心深い、賢明な pre-school 就学前の indulge in ~ におぼれる…

情報システムに関するメモ2

はじめに 書いてあること細かい部分だいぶ端折ってます、しっかりした部分は参考文献などかならず書いておくのでそちらのサイトさまを参考にしてください、内容は 一部資料での用語のメモ 試験とか資料で必要そうな用語のメモ 資料0 microsoft https://msdn…

情報システムに関するメモ3

この記事は何も資料や文献を見ないで記述したあと間違いを修正しているので、内容にミスがあるかもしれません。以下用語メモと計算方法を思い出して記述。 ハイパーテキスト テキスト間をハイパーリンクとよばれるリンク構造で結びつけたグラフ構造をもつデ…

英語めも:伝説の金属、オリハルコンが発見されたらしい。

元の記事はこちらです。Rare orichalcum metal said to be from the legendary Atlantis recovered from 2,600-year-old shipwreck Rare orichalcum metal said to be from the legendary Atlantis recovered from 2,600-year-old shipwreck | Ancient Origi…

情報システム理論と待ち行列理論:メモ2

はじめに 自分用なので細かい定義や厳密な議論はしてないです。この記事のなかで、引用や参照部分は枠で囲んだ部分の前後に引用ないしは参照もとへのリンクを記述しています。リンクのない枠で囲んだ場所は定義や定理の記述部分です。 関連ページ 確率離散事…

情報システムに関するメモ1

ほんとにメモでしかない。資料ごとに分けて記述。大切じゃなさそうなものは省く。 A ハイパーテキスト ハイパーテキスト - Wikipedia ハイパーテキスト (hypertext) とは、複数の文書(テキスト)を相互に関連付け、結び付ける仕組みである。 ハイパーカード…

非線形計画の最適化問題:最急降下法、ニュートン法、KKT条件まで

はじめに 大学の講義「最適化」の前半にあたる内容のメモです。書いて覚えるのが目的で書いたので細かい部分は省いています。が登場する証明は厳密な証明をさけています。 参考文献 システム制御情報ライブラリ 数理計画入門 福島雅夫 著 たしか、大学の最適…

はてな記法(Latex)での数式(積分・極限・場合分け・行列等)テンプレート

はてな記法でラテックスのコマンドを入力できるようにするには [tex:{ ここに数式 }] で囲んだ内側に記述すればいい。その時mineTex(http://www.forkosh.com/mimetex.html)で有効なコマンドは有効。あと基本的にこのブログに限らずはてなブログ内でTEX記法で…

はてなブログで数式を記述する

自分は普段ブログの設定を”はてな記法”にしています。 [tex:{ \displaystyle \sqrt{ 334 } }]上の記述は画面ではとなります。つまり [tex:{ \displaystyle ここにLatexのコマンドで数式を記述 }]です。ほぼ自分用のメモです。通常の場合は記事を書くときにHT…

いろんなソフト・ツールとかのショートカットキーのメモ

Google Chrome https://support.google.com/chrome/answer/157179?hl=ja はてな記法 http://hatenadiary.g.hatena.ne.jp/keyword/%E3%81%AF%E3%81%A6%E3%81%AA%E8%A8%98%E6%B3%95%E4%B8%80%E8%A6%A7 viコマンド(vimコマンド)一覧(検索・置換) / Kazutaka…