ゆるふわめも

東京か京都にいます。

類語検索ページを作りました

作ったもの 作ったもの これ:http://paper-web.sakura.ne.jp/ljp/ 深夜まで友達と喋ってたら朝になりそうだったので、朝ごはん食べるまでの間に作りました。 スクショは以下のようになってます。 View post on imgur.comimgur.com 仕組み的には 形態素解析 …

いらすとやが英語圏の日本語学習者にとって便利らしい

redditのr/learnJapanese(日本語を勉強している人のサブレ)で いらすとやが日本語学習にとても便利!と紹介されていました。 ついに海外進出ですね。

次に見るべきおすすめアニメのフローチャート

こういうチャートを自動で生成できて、個人化できたらいいかもしれない。 最近アニメ見てない。 フローチャート 確か2年くらい前から見る気がします。 ※サイズ大きいです ちなみに漫画版は以下。 reddit r/anime にあるanimeのwiki。 r/anime での定期。困…

matplotlibでの散布図・プロット・アニメーションなどのサンプル集

マルチラベルデータのプロット プロットするデータの作成 二次元で可視化 三次元で可視化 三次元で可視化してそれを回転させるアニメーションを作成 分類問題データのプロット Isomapで次元削減したものを可視化 プロットのマーカを変える+ランダムに色を生…

種々の決定木・ランダムフォレストの拡張についての資料集

決定木(Decision Tree) ノード分割のルール Cost-sensitive decision tree ランダムフォレスト(Random Forest) Extremely Randomized Trees Alternating decision tree Decision Jungles Mondrian Forests Boosted Random Forest Canonical Correlation Fore…

機械学習におけるマルチラベルの各手法についてのメモ

ベースライン k Nearest Neighbours multi-label classifier Label Powerset Label Powerset Kernel collaborative label power set BinaryRelevance Binary Relevance Binary Relevance with K-NN Stacked binary relevance Random k-Labelsets Distinct Ra…

Latexでのアルゴリズム・擬似コードの記述例

Tex

いっつも検索してる気がするのでメモ。 ドキュメント 記述例 ドキュメント LaTeX/Algorithms - Wikibooks, open books for an open world 記述例 (〜省略〜) \usepackage{amsmath} \usepackage{algorithm} \usepackage[noend]{algpseudocode} \makeatletter …

エラー解決:auto-sklearnやSMAC3.0のインストールがpyrfrのエラーで終了する

エラー内容 環境 解決法 pyrfr関連のエラー pyrfr関係のエラーは探すとたくさん。はまってしまって時間が持ってかれた。 pyrfrはSMACと言うアルゴリズムで使用するRandomForestで使用するライブラリ。 エラー内容 XXXXX@XXXXX:~/SMAC3$ cat requirements.txt…

エラー解決:HPOlib2のインストール

インストールまで 環境 git リポジトリをクローン 環境の作成 関連ライブラリのインストール HPOlibのインストール ConfigSpaceのインストール openmlのインストール pynisherのインストール pyrfrのインストール その他エラーなど HPOlib2はブラックボック…

the kancolle effect(艦これ効果)とは

使用例 2014年8月 2016年3月 2016年12月 2017年7月 その他 使用例 2014年8月 インドネシア語ですが。 sekarang kalo searching kapal" Perang Dunia II yang nongol malah chara-chara moe... (co:kongou,haruna,kirishima,shimakaze) Kancolle effect— Naji…

Google Clowd Engineでjupyter notebookを利用する

インスタンスに入る static IPを追加 firewall ruleを確認 jupyterにアクセス インスタンスに入る gcloud compute ssh <インスタンス名> static IPを追加 GCPのメニュー「Networking」以下の「External IP addresses」から追加 firewall ruleを確認 アクセス…

エラー解決:PythonのXGBoostで目的関数を変更する

これまでの場合 エラー内容 コード エラーメッセージ 解決 実装例・参考 これまでの場合 過去のバージョン(以下)では確か custom_objective パラメータにてgradientとhessian matrixを返すような関数を渡せばよかった。 paper.hatenadiary.jp xgboost-0.4a30…

メモ:Quantile Regressionの資料

細かいことをかく気力はありません…。 二つ目のは、なんとnotebookとコードもあります。ありがたい。 A Short Course on Quantile Regression: http://wise.xmu.edu.cn/UploadFiles/SS2011/Uploadfiles/2013714144421348.pdf Convex Optimization Short Cou…

Hyperoptなどのハイパーパラメータチューニングとその関連手法についてのメモ

ハイパーパラメータの定義 探索手法 Random Search Manual coordinate descend Grid Search Particle Swarm Optimization Genetic Algorithm Sequential Model-Based Optimization(SMBO) Tree-structured Parzen Estimator(TPE) Sequential Model-Based-opti…

強化学習関係のMOOCs(オンライン講座)のメモ

CS 598 LAZ: Cutting-Edge Trends in Deep Learning and Recognition CS 294: Deep Reinforcement Learning, Spring 2017 UCL Course on RL Sutton本 CS294をいつか見たいけれども、朝になった。 次はTree-structured Parzen Estimatorとかを調べる予定。 CS…

論文メモ:Learning Hidden Features for Contextual Bandits

元論文 まとめると 背景 Contextual Bandit 既存手法の問題点 Latent Factor Model 座標降下(Coordinate Descent)法 問題設定 アルゴリズム 実験 ベースライン 実験結果 課題 バンディット系のメモです。かなり適当です、すいません。 元論文 Learning Hidde…

論文メモ:The Limits of Popularity-Based Recommendations, and the Role of Social Ties

まとめると モデル 推薦システムが利用されていない市場のモデル 推薦システムが利用されている市場のモデル Market distortion 実験 利用データ super-node 結果 感想など コード 参考文献など “The Limits of Popularity-Based Recommendations, and the R…

推薦システムに関する資料集とメモ

推薦システム 定義 評価指標 講義・解説スライドなど 推薦システムの分類 個人化による分類 アルゴリズムにて用いるデータによる分類 アルゴリズムによる分類 類似度 行列分解 ベイズ推定 バンディット Deep Learning xxx2vec Web上における推薦システム デ…

Ubuntu14.04にてtesseractとLeptonicaのインストール

Leptonicaのインストール tesseractのインストール autoconf-archive その他の依存関係のインストール tesseract本体のインストール 訓練済みモデルのダウンロード 環境は Ubuntu14.04. Google Clowd APIを使いたくないのでインストール. Tesseractのバージ…

画像に含まれる色をクラスタリングして自動的に抽出する

できたもの 実装内容 仕組み 改善点 おまけ 今後の課題 クラスタリング数を動的に変更する ワンポイントの色の抽出 クラスタリングについてのメモ クラスタリングするアルゴリズムの分類 階層的なクラスタリング手法 繰り返し割り当てを変えていく手法 その…

さくらレンタルサーバーでのpython環境のセットアップ

python インストール python2.7 python3.4 外部ライブラリのインストール numpy pip pyenv pandas エラーなど ImportError BootStrapform djangoを使ったウェブアプリケーションの開発をする必要になっ(てしまっ)たため. レンタルサーバーでpythonを使えると…

エラー解決:DjangoにてDisallowedHost at.., Invalid HTTP_HOST header

エラー内容 解決法 ドキュメント エラー内容 DisallowedHost at / Invalid HTTP_HOST header: '10.22....:8001'. You may need to add '10.22....' to ALLOWED_HOSTS 解決法 djangoプロジェクト以下のyour_sitename/setting.pyにてALLOWED_HOSTSにIPアドレス…

時系列データ解析のメモ+pythonで株価の取得

時系列データとは よく出る確率分布・密度関数 ポアソン分布 goodness of fit test pythonにて株価を取得 pandas_datareaderのインストール データの取得 データのプロット 対数収益率の計算 統計量の計算・分析 平均・分散・相関 ヒストリカルボラティリテ…

matplotlibでの凡例(ラベル)の表示場所・形式を変更する

データを生成 legend(凡例)の表示方法の指定 通常 場所を指定(グラフ枠内) 凡例表示を複数列に分割する, 枠に影をつける, 横幅いっぱいにする グラフの枠外に表示する 凡例にタイトルをつける 凡例を分割して別々に表示する ラベル名を任意の文字列に付け替…

Anacondaで作成した環境の名前を変更する

コマンド 説明 コマンド conda create --n NEW_NAME --clone PREVIOUS_NAME conda remove --n PREVIOUS_NAME --all 説明 ドキュメントになさそうだったので、 一旦クローンして全く同じ環境を新しい名前でコピーしてから 前の名前の環境を削除 という手順に…

Python djangoでGroup byを用いて要素ごとのレコード数をカウントしてテンプレートに渡す

使いそうになったので. ModelNameがモデルの名前, attribute_nameがgroup byを行いたいカラムの名前です. from django.db.models import Count target_data = ModelName.objects.all() groupby_data = target_data.values('attribute_name').annotate(total=…

エラー解決:Anaconda環境でauto-sklearnをインストール

エラー内容 インストール手順 環境に入る gccをインストール (必要なら)以下のライブラリをアンインストール auto-sklearnのインストール 追記 参考文献 エラー内容 python2.7, 3.5にて、OSはMac OS X. auto-sklearnのドキュメントにしたがって Anaconda以下…

Zero-shot / One-shot Learningに関する資料集

定義 Zero Shot Learning one shot learning 関連研究・スライド 2008年 Zero-data Learning of New Tasks 2009年 Zero-Shot Learning with Semantic Output Codes Learning To Detect Unseen Object Classes by Between-Class Attribute Transfer 2013年 Ze…

エラー解決:PythonのAnaconda環境でXGBoostを利用した時「Reason: image not found」

エラー内容 XGBoostをimportする時に Reason: image not found となるか、jupyter notebookのカーネルが死ぬ。 解決方法 conda remove xgboost conda install -c aterrel xgboost=0.4.0 でオッケー。ただしこのバージョンでは自分で定義した目的関数を使った…

CNNを用いたテクスチャ合成(Texture Synthesis)の仕組みのメモ

問題設定と評価指標 既存の手法 ノンパラメトリックな手法 パラメトリックな手法 提案手法 概要 詳細 ステップ1 ステップ2 これを基にした画風変換 参考文献 自分の研究が画像処理系の機械学習と関係ないのでやや適当です。 問題設定と評価指標 [Gatys2015]…

エラー解決:Exception: The shape of the input to "Flatten" is not fully defined

エラー内容 kerasを用いている時に Exception: The shape of the input to "Flatten" is not fully defined ... のエラー 解決方法 モデルの定義が正しい(レイヤー間の次元数の数が正しい)のに失敗する時は vim ~/.keras/keras.jsonとして { "image_dim_orde…

dockerでのコンテナ作成、削除関係のコマンド一覧

イメージ イメージ一覧 イメージ取得 イメージ削除 既存のコンテナからイメージを作成 コンテナ コンテナ一覧 コンテナ起動 コンテナに指定した名前をつけて起動して、コンテナに入る ホスト側のディレクトリをコンテナ内にマウント コンテナ削除 Dockerfile…

画風変換をtensorflowで実装し、最適化の項を変化させた時の出力画像の変化を見る

Neural Style Transfer VGGネット 訓練済みモデルのダウンロード モデルの定義 モデルを宣言 中間層での画像特徴量の抽出 プロット用の関数 中間層の画像の可視化 最適化問題 損失関数の計算 出力結果 画風変換に関する論文一覧 学会に参加してるのですが、…

virtualenv及びanacondaで作成した環境を削除・今ある環境の一覧を確認する

virtualenv 環境の削除 一覧を表示 環境を作成 環境に入る anaconda 環境の削除 一覧を表示 環境を作成 環境に入る 環境から出る 環境の名前の変更 env_nameが環境の名前です。 virtualenv 環境の削除 rmvirtualenv env_name 一覧を表示 -lで環境の詳細を表…

エラー解決:Cannot remove entries from nonexistent file ...easy-install.pth

エラー内容 pip3コマンドでインストールしようとした際に、依存関係のあるライブラリのバージョンを削除する場合があってその際に Cannot remove entries from nonexistent file anaconda...easy-install.pth のエラー。 解決 --ignore-installedオプション…

エラー解決:chainerを利用している時に AttributeError: 'module' object has no attribute 'full_like'

エラー内容 解決方法 エラー内容 いろいろ長いエラーの後に AttributeError: 'module' object has no attribute 'full_like' と言われる。 解決方法 chainerでGPUを利用しない場合、以下の箇所で numpyに切り替わる。 そのnumpyにfull_linkの属性がないため…

web上での英文校正・文法チェッカーサイトのメモ

文法チェッカー Spellcheckplus Grammarly Reverso 例文検索 Linguee tatoeba Urban dictionary その他のチェックリスト 学会発表用の英語スライドの修正に使うので、メモ。 文法チェッカー はじめに文法をチェック。 たくさんあるけど、ページ遷移や広告が…

エラー解決:Conda 'ImportError: No module named ruamel.yaml.comments'

エラーメッセージ 解決方法 エラーメッセージ Conda 'ImportError: No module named ruamel.yaml.comments' 解決方法 pip install ruamel_yaml pip install pycosat

学会発表のスライドの準備・練習のための参考動画のメモ

テンプレート はじめに 背景・研究の動機 提案手法(Proposed method) 実験(Experimental settings) 結果・考察 終わりに その他 参考動画 15~25分 Topic Models with Power-Law Using Pitman-Yor Process Psychological Advertising: Exploring Consumer Psy…

ディープラーニングのパラメータ設定・更新方法に関するメモ

パラメータの初期化 Xavier Initialization He Initialization Glorot initialisation パラメータ更新の手法 Vanilla update Momentum Nesterov Momentum Nadam AdaGrad AdaDelta Adam(Adaptive Moment Estimation) RMSprop Eve その他多数 自分で定義した目…

機械学習のベストプラクティスの資料のメモ(Best Practices for ML Engineering)

Rules of Machine Learning: Best Practices for ML Engineering Reliable Machine Learning in the Wild Google researchの Martin Zinkevich氏の資料です。 Reliable Machine Learning in the Wild(NIPS 2016)での招待講演のもの。 Rules of Machine Learn…

XGBoostで自分で設計した目的関数(objectiveを自分で定義)で回帰を行う

やること Quantile Regression イメージ scikit-learnのGradientBoostingでの実装 XGBoostの目的関数を変更する 目的関数 結果 他の目的関数 やること xgboostの目的関数を定義済みのものから自分で定義したものに変える。 回帰は常に 正解ラベル=予測の平…

OPENVIS, ウェブ上のインフォマティクスに関する学会

OPENVIS 2017 2016 2015 IEE VIZ 2017 IVAPP 2017 ウェブ上でのデータ可視化に関する学会。 可視化の人たちだけあって、スライドも綺麗。 スライドは全てダウンロード or 閲覧できて発表動画も公開されているので、 暇なときに面白そうなのが見れたらなあ、…

損失関数・評価指標のめも

scikit-learnのモデル評価に関するドキュメント 回帰(Regression)問題 Hinge loss 平均絶対誤差(Mean absolute error) Mean Squared Error ニクラス分類(Binary Classification)問題 F1 score MAP(Mean average precision) マルチラベル分類(Multi-Label Cla…

確率的モデルのライブラリ Edward

こちら:http://edwardlib.org/ Dustin Tran, Alp Kucukelbir, Adji B. Dieng, Maja Rudolph, Dawen Liang, and David M. Blei. 2016. Edward: A library for probabilistic modeling, inference, and criticism. arXiv preprint arXiv:1610.09787. チュート…

エラー解決:LaTeX Error: Cannot determine size of image (no BoundingBox)のエラー

エラー内容 解決法 Step1 Step2 Step3 Step4 エラー内容 LaTeX Error: Cannot determine size of image (no BoundingBox) 解決法 Step1 \usepackage[dvipdfmx]{graphicx} 大概これで解決。 Step2 dvipdfmxが無いと言われている場合は、こちらからダウンロー…

TeXにて図や表につく Figure./Table. を 図/表などに変更

Tex

忘れるのでメモ。 \renewcommand{\figurename}{図} \renewcommand{\tablename}{表} とすれば図形を挿入した時に接頭に自動でつく文字を変更できる。

スライド等で便利な配色・カラーチャート・色見本の一覧

配色・カラースキーム coolors Cohesive Colors HUE/360 Adobe Kuler paletton colourco.de material design palette colr.org color hunt colrd 配色・スライドに関する講座 色彩センスのいらない配色講座 見やすいプレゼン資料の作り方 html color codes …

pythonで文字列を日付(datetime)に変換後、日付間の日数の差を求める

やりたいこと データ形式 変換コード よく特徴を新しく作る時に使うのでメモ。 やりたいこと csvファイルの二つのカラムに入った文字列形式の日時データ、その二つの日時データの日数の違いを一気に計算したい。 下のデータ形式だと end_date_time - start_d…

エラー解決:clang-omp++: command not found

エラーメッセージ 解決方法 mac os ei capitanにて。 エラーメッセージ make: *** [build/learner.o] Error 127 make: *** Waiting for unfinished jobs.... /bin/sh: clang-omp++: command not found make: *** [build/logging.o] Error 127 解決方法 $ bre…