読者です 読者をやめる 読者になる 読者になる

エラー解決:jupyterlabを起動する際に 404 not found

エラー内容 解決法 もともとのインストール法 解決した時のインストール法 jupyterhubのケース エラー内容 jupyterlabを起動する際に 404 not foundが返ってくる。ログでは404 GET lab referer=Noneと出力される。 解決法 condaの環境に jupyter labが登録さ…

機械学習関係の無料pdfの一覧

Bayesian Reasoning and Machine Learning Computer Vision: Algorithms and Applications David MacKay: Information Theory, Pattern Recognition and Neural Networks Deep Learning Elements of Statistical Learning: data mining, inference, and pred…

アニメ英語吹き替え版『SELECTOR INFECTED WIXOSS』感想

selector infected WIXOSS まゆのおへや (ヤングジャンプコミックス)作者: nini,LRIG出版社/メーカー: 集英社発売日: 2016/10/19メディア: コミックこの商品を含むブログ (1件) を見る 日本語版アニメ:視聴なし の状態でみました。アメリカ、カナダからのみ…

アニメ英語吹き替え版『俺がお嬢様学校に「庶民サンプル」として拉致られた件(Syomin Sample)』感想

メディア: この商品を含むブログを見る 日本語版アニメ:視聴なし 原作ラノベ:未読 漫画版:既読 の状態でみました。アメリカ、カナダからのみ視聴可能なので注意。 海外の感想 myanimelist.net 7.06/10.0 と普通評価。コメントの「(日本のアニメにおける)…

強化学習の資料メモ3:マルコフ決定過程

Agent–Environment Interface 強化学習におけるagent-environmentの相互作用 Markov Decision Process 定義 講義動画 Markov Decision Processes I Markov Decision Process II RL Course by David Silver(Deepmind) 有限マルコフ決定過程(Finite Markov De…

漫画『だーがしゅか(著:甘露アメ )』 感想

だーがしゅか 1 (MFC キューンシリーズ)作者: 甘露アメ出版社/メーカー: KADOKAWA発売日: 2016/09/26メディア: コミックこの商品を含むブログ (2件) を見る 感想など 総合すると普通よりちょっと上。 作者さんのサイトは多分天気輪[ブックマークはここにお願…

jsonrpcを使ってリモートにある関数をローカルに定義した関数と同様に呼び出す

使うもの サーバー側 使うもの JSON-RPC 2.0 Specificationを使用 サンプルコードを引用すると サーバに送るデータ> {"jsonrpc": "2.0", "method": "subtract", "params": [42, 23], "id": 1} クライアントに返すデータ> {"jsonrpc": "2.0", "result": 19, "…

強化学習の資料メモ2:多腕バンディット問題

基本の内容 各種定式化 Exploration/Exploitation Dilemma Stationary Problem(定常なケース) Action-Value Methods 行動選択の戦略 greedy(貪欲) ε-Greedy Soft-max action selection Non-stationary Problem(非定常なケース) アームの行動戦略 Gradient-Ba…

強化学習の資料メモ1:基本

強化学習の基本 Introduction to Reinforcement Learning with Function Approximation Temporal-Difference Learning Bellman expectation equation off-policy Function approximation ε-greedy policy Model-based reinforcement learning 活用と探索のジ…

Richard S. Suttonら著の強化学習本のドラフト版が公開

pdf サンプルコード 講義資料等 このドラフト版の前の本 Sutton, Richard S., and Andrew G. Barto. Reinforcement learning: An introduction. Vol. 1. No. 1. Cambridge: MIT press, 1998. で有名なRichard S. Sutton氏による新しい強化学習本のドラフト版…

Chainer Playground βで機械学習を学ぶ

リンク:Chainer Playground (beta) オンラインでコードを実行しながら学べる環境。 これから更新されていく予定だそうです。

jupyter notebook上でコマンドを実行する

時たまに、jupyter notebook上でコマンドを実行したい時があります。 並列処理や、ファイルの変換などです。 解決法 %%bashをつければ実行できます。 %%bash /usr/local/bin/dot -Tpng tree.dot -o tree.png

アニメ英語吹き替え版『キルラキル(Kill la kill)』感想

日本語版:視聴あり の状態でみました。アメリカ、カナダからのみ視聴可能なので注意。 Kill la Kill Blu-ray 1 海外 myanimelist.net 8.3/10.0 とかなり高め。Amazon.comの評価は星一つが多いけど日本アニメの評価が低い場合、内容が日本人向けのアニメだっ…

アニメ英語吹き替え版『紅殻のパンドラ(Pandora in the Crimson Shell)』感想

原作:読んでない 日本語版:視聴なし の状態でみました。アメリカ、カナダからのみ視聴可能なので注意。 Pandora in the Crimson Shell Ghost Urn 1 (Pandora in the Crimson Shell: Ghost Urn) 海外 myanimelist.net レビューなし。6.66/10.0 の評価、基本…

pythonで決定木の出力と決定境界の可視化

参考文献 dotのインストール 決定境界の可視化 データの生成 決定境界の可視化 決定木の出力 決定木のデータファイルを出力 出力画像 おまけ:非線形データの場合 データ生成 決定境界の可視化 決定木の可視化 参考文献 Python Data Science Handbook: Essen…

pythonで線形+多項式フィッティング

データの生成 コード グラフ上にプロット フィッテング 過学習のテンプレとして出てくる。 データの生成 コード 予測する曲線のデータと、それにノイズを乗せたデータを生成します。 import matplotlib.pyplot as plt import seaborn import numpy as np def…

pythonで時系列データのプロット、棒グラフ、散布図

データのロード プロット 棒グラフ 単純なカウント 特定のカラムの数のカウント(group by) 散布図 二変数間での散布図 二変数間の散布図を同時に複数 よく使うのでメモ。 データのロード import seaborn as sns data = sns.load_dataset('planets') ロードし…

RWBY Volume1~4の動画リンク集

公式ページ(最新話) RWBY Volume1 Volume2 Volume3 Volume4 RWBY Chibi Season 1 公式サイト Wiki ファンサイト(海外) Volume3までは英語で全部見ました、Volume4で超鬱展開だったこれまでの打開に期待したいところ。Roothter teethで会員登録するとYoutub…

Active Learningの資料・論文のめも

導入 Active Learning 入門 A tutorial on active learning 能動学習セミナー サーベイ Active Learning Literature Survey 論文 導入 Active Learning 入門 Active Learning 入門 from Shuyo Nakatani www.slideshare.net A tutorial on active learning pd…

バンディットアルゴリズムの資料・論文のめも

導入 バンディットアルゴリズム入門と実践 I’m a bandit Thompson Sampling アルゴリズム バンディット問題の各定式化について Introduction to Bandits: Algorithms and Theory 応用例:レコメンデーション 論文 Some aspects of the sequential design of …

漫画『上野さんは不器用(作:tugeneko )』 感想

上野さんは不器用 1 (ヤングアニマルコミックス)作者: tugeneko出版社/メーカー: 白泉社発売日: 2016/09/29メディア: Kindle版この商品を含むブログを見る 内容+感想 買ってよかった。 初めに作者について。 多分この作者はパワプロくんの画像の方で知ってい…

漫画『ひらめきはつめちゃん(作:大沖 )』 感想

ひらめきはつめちゃん(1) (BLADE COMICS)作者: 大沖出版社/メーカー: マッグガーデン発売日: 2010/01/09メディア: コミック購入: 4人 クリック: 56回この商品を含むブログ (90件) を見る 内容+感想 『ひらめきはつめちゃん 1(作:大沖 )』より引用 シュール…

python matplotlib 内で日本語を利用する(日本語のラベルや凡例・legendをつける)

matplotlibで使用できるフォントを探す 指定したフォントをmatplotlib全体で使用できるように指定する コード 表示例 matplotlib.rcを使ったフォントの変更 コード 表示例 matplotlibで使用できるフォントを探す 指定したフォントをmatplotlib全体で使用でき…

python matplotlib 内で日本語を利用する(使用できるフォントを探す)

利用できるフォントを探す コード 出力 matplotlibで使用 日本語でラベルや凡例を表示する 利用できるフォントを探す コード import matplotlib.font_manager as fm # フォント一覧 fonts = fm.findSystemFonts() # フォントのパスと名前を取得、とりあえず1…

pythonでgensimを使ってトピックモデル(LDA)を行う

LDA用のデータの作成 単語の辞書を作成して出力 外部に保存したコーパスと辞書の読み込み LDAの実行 コード 出力例 gensimとjanomeを用いたLDAを行います。 必要なデータは一行ごとに文章が入ったtxtファイルです。 LDA用のデータの作成 data.txtには一行ご…

OCR・文字認識の論文とかのまとめ

論文 End-to-End Text Recognition with Convolutional Neural Networks Word Spotting and Recognition with Embedded Attributes Deep structured output learning for unconstrained text recognition Deep Features for Text Spotting Reading Text in t…

Deep系の論文めも後半その2 (2016年夏頃までのもの対象)

教師なし CNN features off-the-shelf: an astounding baseline for recognition 画像 Learning and transferring mid-level image representions using convolutional neural networks Learning hierarchical features for scene labeling Semantic Segment…

Deep系の論文めも後半その1 (2016年夏頃までのもの対象)

生成モデル Deep Convolutional Generative Adversarial Networks Generative Adversarial Nets Unsupervised representation learning with deep convolutional generative adversarial networks Deep Generative Image Models using a Laplacian Pyramid …

リンク:研究不正に関してのシミュレーション

The Lab : WILL Interactive 研究不正に関してのシミュレーションを、研究責任者、ポスドク、院生、研究倫理担当者の視点でシミュレーションできます。

Deep系の論文めも前半 (2016年夏頃までのもの対象)

過学習の防止・学習のアルゴリズム Dropout Batch normalization Resnet Layer Normalization Normalization Layers 理論 Distilling the knowledge in a neural network Deep neural networks are easily fooled: High confidence predictions for unrecogn…

リンク:アテンションと Augmented-RNNについて

distill.pub

データの次元削減に関する資料集

次元削減とは データの次元削減(Dimensionality reduction) + データの可視化(Data Visualization) PCA Principal Component Analysis(PCA) randomized PCA Online Robust Principal Component Analysis(OR-PCA) 多様体学習 t-Distributed Stochastic Neighb…

画像処理系のDeep Learningの基本的な手法

まとめ資料 サーベイ The Deep Learning textbook by Ian Goodfellow and Yoshua Bengio and Aaron Courville Deep Learning in Neural Networks: An Overview 画像・動画 画像分類問題 AlexNet (ImageNet Classification with Deep Convolutional Neural Ne…

Metric learning/similarly learningに関する資料集

metric learningとは Wikipedia Tutorial on Metric Learning Metric Learning(ICML tutorial) 基本 Distance metric learning with application to clustering with side-information. Distance metric learning for large margin nearest neighbor classif…

Python3、janomeで形態素解析

Welcome to janome’s documentation! — Janome v0.2 documentation の Janomeを使用。MecabをUbuntu で使用するときは文字コードあたりがめんどくさかった記憶があるので(使ったことはあったけど)パス。 janome のインストール Ubuntu 14.04 、python3の環…

PythonのJanomeで形態素解析、webをクローリングしてテキストを集めてトピックモデルを作成する

やりたいこと クローリング データの準備 コード ウェブのHTMLをパースする コード 例 コード データのクローリング コード 形態素解析 トピックモデルを作るためのベクトル作成 やりたいこと 特定のまとまりのWebページを集めて、トピック(共通に出てくる…

pythonでpandasのgroupbyで集約+散布図(scatter)を作成

やること コード データ作成 集計 + 上位の丸め込み コード全体 出力 やること 変数が三つある時によくやるのでメモ。 データで例えると「映画の視聴回数」「変数A」「変数B」で回数ごとに A, Bの変数に変化があるかを調べたい時にとりあえず見てみる。 大抵…

pandas.DataFrameでcsvファイルを内部結合

やりたいこと コード 他の例 よく使うのでメモ。 ID_labelxとID_labelyが同じ行をまとめる内部結合です。 やりたいこと X: (ID_labelx, xa, xb) = (tanaka, data_xa, data_xb) Y: (ID_labely, ya, yb) = (tanaka, data_ya, data_yb) のデータが join: (ID_la…

pythonのpandas.DataFrameで特定文字列だけ含む行を選択

大量データのカラム名の仕分けとかでよく使うのでメモ。 # データをロード clm = pd.DataFrame(data) # カラム名を付け替える clm.columns = ['id', ...] # idカラムの中から "tanaka" が含まれる行だけを選択 clm[clm['id'].str.contains("tanaka", na=Fals…

Mecabに文字列のデータ一覧を渡して単語ごとに分割させる(分かち書き)

やること 私は宇宙人です。 -> '私 は 宇宙人 です。' と変換していく。 前回クロールしてアドレス一覧からページのテキストを拾ってきて '.csv' に保存したので今回はそれらのテキストを分割して word2vecなどの前処理に入れられる状態で保存する。 前回 pa…

Ubuntu 14.04, Mac OS X に MeCab をインストール

Mac OS X Ubuntu 14.04 すでに以下のような記事があるのですが qiita.com 以下でいけました。 Mac OS X $ brew install mecab $ brew install mecab-ipadic $ pip install mecab-python $ pip install mecab-python3 (python3なら) Ubuntu 14.04 $ sudo apt-…

pythonでウェブサイトをクロールしてページの説明を収集する

やること コード 集めたテキストを形態素解析する やること ページの文章からトピックモデルを作って、ウェブの移動履歴や購入履歴からユーザの特徴ベクトルを作りたい。 その初めの一歩として、とりあえず url の一覧からページの説明を取得してcsvに保存し…

pythonでdenoising auto encoderを使ってデータを前処理する

概要 モデル定義 ノイズ付加 デノイジングオートエンコーダーの訓練 損失関数の推移 概要 まず、PFNの得居さんの記事を参照。 www.beam2d.net データにランダムにノイズを乗せたものを入力として、元のデータを正解とするDNNを学習することでデータからノイ…

pythonでpd.DataFrameのカラム名一覧を取得+単純集計

やりたいこと コード 出力 他の例 やりたいこと 全特徴のヒストグラムを作成する。 data.columns.valuesで DataFrameのカラム一覧を取得する。 コード data = pd.read_csv(filename) names = data.columns.values N, M = 5, 5 plt.figure(figsize=(N*2, M*2)…

mini-batch k-meansでデータをクラスタリングして教師データの偏りを可視化する

やること コード クラスタリング プロットするためのデータ準備 グラフ作成 結果 やること データをクラスタリングして、各クラスタごとの教師データの分布の偏りを確かめたい。 今回は 教師データ = 0, 1 の2クラスを想定。 可視化をするためのデータは 主…

pythonでAutoencoderの精度をバッチサイズを変更しながら確認

コード モデル定義 モデルの訓練 バッチサイズを狭めながらオートエンコーダを訓練して、その損失関数の減少具合を確認する。 緑色線がエポックごとのおおよその損失関数のlossの値、赤色がバッチごとのlossの値を全てプロットしたものです。 コード モデル…

pythonでAutoencoderを動かす

環境 モデルの定義 出力 モデルの訓練 誤差の減少具合 オートエンコーダーのモデルを複雑に 二つのモデルの比較 参考 環境 python2.7, ubuntu14.04上。Kerasを使用して、入力はベクトルを想定。 モデルの定義 print(autoencoder.summary())とすればモデルに…

xgboostのパラメータをグリッドサーチで決定する

モデルの詳細 コード 参考スライド モデルの詳細 Python API Reference — xgboost 0.6 documentation にあるパラメータのうち、特に影響が大きい物をグリッドサーチで決定します。xgboostの本論文はKDD2016の以下を参照。最近のコンペでは協力なベースライン…

kerasでtensorflowとtheanoを切り替える

vim ~/.keras/keras.jsonを編集して {"epsilon": 1e-07, "floatx": "float32", "backend": "theano"} のtheanoをtensorflowに書き換える。 ソース:バックエンド - Keras Documentation

予測モデルのパイプライン作成・ハイパーパラメータ・チューニングの自動化に関する資料集

2015年のNIPS以降のものをメモしています。 論文リスト Efficient and robust automated machine learning. A review of automatic selection methods for machine learning algorithms and hyper-parameter values. PredicT-ML: a tool for automating mach…