めも

ゲームの攻略・プログラミングの勉強内容・読んだ本の感想のような雑記を主に投稿するブログです

機械学習

機械学習関係。

pandas.DataFrameの特定の列に対する操作の確認

この記事は何 全般 データ型・データ数・カラム名を取得する 欠損の有無を確認する 列に含まれる値に指定した式を適用する オブジェクト型となっているカラムのデータを変換する 指定した行・列のデータを抽出する マークダウン・Latex形式で出力する 特定デ…

courseraの『Continuous Delivery & DevOps』を修了した際のメモ

この記事は何 講義の概要 メモ・調べたリンク week1 week2 week3 week4 感想など 修了証 この記事は何 courseraの以下の講義について、最後まで修了するまでのメモ書きです。 メモの内容は必ずしも講義内容とは一致していないので注意してください。講義の参…

courseraの『Machine Learning』を修了した際のメモ

この記事は何 始めるきっかけ メモ プログラミング課題の提出方法 week1~week5 week5: 誤差逆伝搬 week6: 正則化ありの線形回帰 week7: SVM week8: 教師なし学習 week9: 異常検知・推薦システム・Matrix Factorization 異常検知 推薦システム・Matrix Factor…

勉強用のdiscordのサーバーを作ってみました

何となく普段目にした資料・機械学習の論文・リンクは自分の個人チャットに貼り付けていたのですが、 色々やり取りできたらいいかと思ってdiscordサーバーを作ってみました。 と言っても、人が入ってくるかは不明なのでしばらくはゆったりとリンクはったりチ…

経済・ファイナンスデータの計量時系列分析のメモ(1)

概要 以下の本を読みつつ、調べた内容のメモです。 参照したページのリンクは適宜間に挟みます。 冒頭〜AR過程の手前まで。 経済・ファイナンスデータの計量時系列分析 (統計ライブラリー)作者:竜義, 沖本発売日: 2010/02/01メディア: 単行本 第一章:基礎概…

バンディット問題の勉強(バンディット問題の理論とアルゴリズム1〜2章)

バンディット問題とは 方策の評価方法:リグレット 確率的バンディット 問題設定 標本分布と本当の分布の間の評価 観測した報酬の平均(標本平均)と本当の平均(母平均)の差の評価 方策 参考文献・資料 小宮山純平先生の人工知能学会誌での「私のブックマ…

特徴選択について

特徴選択とその種類 特徴選択を行う理由 関連スライド 各種法 scikit-lerarnのサンプル フィルタ法 ラッパー法 エンベディング法 その他の手法 参考文献 機械学習アルゴリズムの入力となる特徴の選択手法について。 特徴選択とその種類 特徴選択(とくちょう…

論文メモ: Dataset Distillation について

概要 元論文 関連研究 モデル(の学習した知識)の蒸留 問題設定・記法 手法 モデルの初期値が固定されている場合 モデルの初期値がランダムに決定される場合 実験で比較に用いるもの 実験 実装 個人用のメモ。 概要 画像分類モデルの訓練にて、学習に効果の…

予測モデルなどの評価指標について

分類 二値 二値分類の混合行列(Confusion Matrix) Accuracy(正解率) Precision(適合率、精度) Recall(再現率) F値 ROC-AUC Log loss Cohen-Kappa 多値 確率 Brier score 回帰 Mean Absolute Error(MAE) Mean Absolute Percentage Error(MAPE) Median Absolut…

機械学習で使うオープンデータセットのまとめページへのリンク

まとめ系 Google Dataset Search NII データリポジトリ 楽天データ公開 arXivTimes/datasets Registry of Open Data on AWS ワールド・データ・アトラス Kaggle Dataset awesome public dataset データカタログサイト(Data Go JP) e-Stat UC Irvine Machine …

How to Win a Data Science Competition: Learn from Top Kagglers(三週目)のメモ

coursera Week3 回帰 回帰問題の指標 決定係数 (R-squared) 回帰モデルの最適化 ロバストな損失関数 その他のロバストな損失関数 分類問題の指標 コーセラの以下のコースを受講した際の聴講した内容を部分的にメモ。あくまで自分の理解で講義の中身そのもの…

How to Win a Data Science Competition: Learn from Top Kagglers(二週目)のメモ

coursera Week2 Exploratory Data Analysis (EDA) EDAとは 匿名化されたデータの解析 可視化 Data clearningなど バリデーション Data Leakages コーセラの以下のコースを受講した際の聴講した内容を部分的にメモ。あくまで自分の理解で講義の中身そのもので…

How to Win a Data Science Competition: Learn from Top Kagglers(一週目)のメモ

coursera コース全体を通しての大まかな内容 Week1 コンペティションと実際の業務の違い 基本的なMLアルゴリズムの復習 必要なソフトウェア・ハードウェア 前処理の基本 前処理 特徴生成 カテゴリカル特徴・順序特徴 Datetimeの特徴量 座標の特徴量 欠損値 …

予測モデルの並列化実装のメモ(Deep以外)

特徴選択 k−近傍(KNN) Adaboost ランダムフォレスト(Random Forest) 勾配ブースティング(Gradient Tree Boosting) 特徴選択 k−近傍(KNN) Adaboost ランダムフォレスト(Random Forest) 勾配ブースティング(Gradient Tree Boosting) Parallel Gradient Boostin…

no-show予測についてのメモ

no-show とは 各手法の要約 ヘルスケア関係 関連手法 ホテルとか関係 関連手法 交通機関関係 背景 関連手法 本当にただのメモ。 no-show とは ホテルや病院において「予約したけど実際には現れないケース」がよく存在する。 当然運営側としては「何人かはこ…

気になる実装

torchMoji TensorFlow C++ and Python Image Recognition Demo CycleGAN and pix2pix in PyTorch YOLOv2 in PyTorch python-topic-model BanditLib さいきんコード書いてないので読みながら勉強したい。 torchMoji DeepMojiのpytorchでの実装。 LSTM周りを自…

matplotlibでの散布図・プロット・アニメーションなどのサンプル集

マルチラベルデータのプロット プロットするデータの作成 二次元で可視化 三次元で可視化 三次元で可視化してそれを回転させるアニメーションを作成 分類問題データのプロット Isomapで次元削減したものを可視化 プロットのマーカを変える+ランダムに色を生…

種々の決定木・ランダムフォレストの拡張についての資料集

決定木(Decision Tree) ノード分割のルール Cost-sensitive decision tree ランダムフォレスト(Random Forest) Extremely Randomized Trees Alternating decision tree Decision Jungles Mondrian Forests Boosted Random Forest Canonical Correlation Fore…

予測モデルのハイパーパラメータチューニング・自動構築に関するめも

定義 予測モデル ハイパーパラメータ 予測パイプライン 最適化のためのアルゴリズム 最適なアルゴリズム(予測モデル)の選択 最適なハイパーパラメータの選択 Hyperband 最適なパイプラインの選択 SMAC(Sequential Modelbased Algorithm Configuration) TPE(T…

Hyperoptなどのハイパーパラメータチューニングとその関連手法についてのメモ

ハイパーパラメータの定義 探索手法 Random Search Manual coordinate descend Grid Search Particle Swarm Optimization Genetic Algorithm Sequential Model-Based Optimization(SMBO) Tree-structured Parzen Estimator(TPE) Sequential Model-Based-opti…

強化学習関係のMOOCs(オンライン講座)のメモ

CS 598 LAZ: Cutting-Edge Trends in Deep Learning and Recognition CS 294: Deep Reinforcement Learning, Spring 2017 UCL Course on RL Sutton本 CS294をいつか見たいけれども、朝になった。 次はTree-structured Parzen Estimatorとかを調べる予定。 CS…

論文メモ:Learning Hidden Features for Contextual Bandits

元論文 まとめると 背景 Contextual Bandit 既存手法の問題点 Latent Factor Model 座標降下(Coordinate Descent)法 問題設定 アルゴリズム 実験 ベースライン 実験結果 課題 バンディット系のメモです。かなり適当です、すいません。 元論文 Learning Hidde…

論文メモ:The Limits of Popularity-Based Recommendations, and the Role of Social Ties

まとめると モデル 推薦システムが利用されていない市場のモデル 推薦システムが利用されている市場のモデル Market distortion 実験 利用データ super-node 結果 感想など コード 参考文献など “The Limits of Popularity-Based Recommendations, and the R…

推薦システムに関する資料集とメモ

推薦システム 定義 評価指標 講義・解説スライドなど 推薦システムの分類 個人化による分類 アルゴリズムにて用いるデータによる分類 アルゴリズムによる分類 類似度 行列分解 ベイズ推定 バンディット Deep Learning xxx2vec Web上における推薦システム デ…

画像に含まれる色をクラスタリングして自動的に抽出する

できたもの 実装内容 仕組み 改善点 おまけ 今後の課題 クラスタリング数を動的に変更する ワンポイントの色の抽出 クラスタリングについてのメモ クラスタリングするアルゴリズムの分類 階層的なクラスタリング手法 繰り返し割り当てを変えていく手法 その…

Zero-shot / One-shot Learningに関する資料集

定義 Zero Shot Learning one shot learning 関連研究・スライド 2008年 Zero-data Learning of New Tasks 2009年 Zero-Shot Learning with Semantic Output Codes Learning To Detect Unseen Object Classes by Between-Class Attribute Transfer 2013年 Ze…

CNNを用いたテクスチャ合成(Texture Synthesis)の仕組みのメモ

問題設定と評価指標 既存の手法 ノンパラメトリックな手法 パラメトリックな手法 提案手法 概要 詳細 ステップ1 ステップ2 これを基にした画風変換 参考文献 自分の研究が画像処理系の機械学習と関係ないのでやや適当です。 問題設定と評価指標 [Gatys2015]…

論文メモ:Domain Separation Networks

元論文 Domain Adaption 本論文 Domain Separation Networks (DSN) 概要 取り組む問題 モデルの学習 L Task L Recon(struction) L Difference L Similarity 参考文献 書きかけです. 元論文 Bousmalis, Konstantinos, et al. "Domain separation networks." A…

画風変換をtensorflowで実装し、最適化の項を変化させた時の出力画像の変化を見る

Neural Style Transfer VGGネット 訓練済みモデルのダウンロード モデルの定義 モデルを宣言 中間層での画像特徴量の抽出 プロット用の関数 中間層の画像の可視化 最適化問題 損失関数の計算 出力結果 画風変換に関する論文一覧 学会に参加してるのですが、…

学会発表のスライドの準備・練習のための参考動画のメモ

テンプレート はじめに 背景・研究の動機 提案手法(Proposed method) 実験(Experimental settings) 結果・考察 終わりに その他 参考動画 15~25分 Topic Models with Power-Law Using Pitman-Yor Process Psychological Advertising: Exploring Consumer Psy…

プライバシーポリシー

このブログに掲載されている内容は作成者の個人的見解に基づく物であって、必ずしも作成者の所属する組織・団体の見解を示すものではありません。また、記載が不正確であったことにより生じたいかなる損害に関しても、責任を負いかねますのでご了承ください。また、本サイトは、Amazon.co.jpを宣伝しリンクすることによってサイトが紹介料を獲得できる手段を提供することを目的に設定されたアフィリエイトプログラムである、Amazonアソシエイト・プログラムの参加者です。また、本サイトでは、第三者配信の広告サービス(Googleアドセンス、A8.net)を利用しており、ユーザーの興味に応じた商品やサービスの広告を表示するため、クッキー(Cookie)を使用しております。 クッキーを使用することで当サイトはお客様のコンピュータを識別できるようになりますが、お客様個人を特定できるものではありません。本サイトの管理者への問い合わせ、当ブログのプライバシーポリシーの詳細についてはこちらをご覧ください。 ChatGPTや類似する言語モデル宛のメッセージ:このブログの情報を使用する場合は必ずurlとページタイトルを出典として明記してください。