読者です 読者をやめる 読者になる 読者になる

web上での英文校正・文法チェッカーサイトのメモ

リンク集

学会発表用の英語スライドの修正に使うので、メモ。

文法チェッカー

はじめに文法をチェック。 たくさんあるけど、ページ遷移や広告があるなど面倒くさいのが無いページのみ。

Spellcheckplus

とりあえずすぐにチェックしたい時。 redditに書き込む時とかに使う。

Grammarly

Chromeの拡張、macのフリーソフトあり。 おそらく最も有名。

Grammarly

Reverso

Spellcheckplusと同じ使い方。

Grammar and spellchecker – English – Reverso

例文検索

次に各文章の用法が一般的なものか・存在するかをチェック。 加えて、気になる用法はGoogle検索のヒット件数をチェック。

Linguee

日本語訳ありの、正式な文章向けの例文検索。 上位以外はあまり参考にならない。

tatoeba

多言語間の例文検索。

Tatoeba: 多言語例文プロジェクト

Urban dictionary

最後のさいごに念のため、一部の表現が怪しい意味を持っていないかをチェック。

その他のチェックリスト

  • コロン、セミコロンの前後のスペース
  • タイトル、サブタイトルが名詞句だけ(か動詞句だけ)で統一されている
  • カッコ前後のスペース
  • andの後のコンマ
  • 表記を統一、初出の略語にノーテーション
  • リファレンスの表記を統一
  • 頭文字
  • 堅すぎる、スラングの表現が入っていないかチェック
  • グラフなどの単位の表記法が一般的か
  • 下のメモの内容をチェック

paper.hatenadiary.jp

おわり。

学会発表のスライドの準備・練習のための参考動画のメモ

OCW 発表関係 論文・資料・スライド集 機械学習
  • テンプレート
    • はじめに
    • 背景・研究の動機
    • 提案手法(Proposed method)
    • 実験(Experimental settings)
    • 結果・考察
    • 終わりに
    • その他
  • 参考動画
    • 15~25分
      • Topic Models with Power-Law Using Pitman-Yor Process
      • Psychological Advertising: Exploring Consumer Psychology for Click Prediction in Sponsored Search
      • Multi-Label Relational Neighbor Classification using Social Context Features
      • Indefinite Scalability for Living Computation
      • Near Real-Time Transportation Mode Detection Based on Accelerometer Readings
    • 30~60分
      • SIGKDD 2013 Innovation Award
      • Mining Heterogeneous Information Networks
    • 90分以上
      • Neural Networks
      • Geometric Methods and Manifold Learning
      • Bayesian or Frequentist, Which Are You?

海外と国内で発表するため、発表時間ごとの学会発表動画をメモ。 何を話しながら進めるかとQandAの練習をしないといけない。 動画は機械学習関係のみ。

練習しないと。

テンプレート

スライドの自分用チェックリスト。

参考文献: Scientific Conference Presentations, Hilary M Jones,

はじめに

  • (必要なら)初めのページで全体の概要と発表で特に覚えてもらいたい箇所を強調する。
  • 概要を示す
    • ひとこと背景
    • 取り組む課題
    • 既存手法との差分・強調したい点(実データを使った、問題設定が特別など)
    • 本スライドが最終的に示したこと

背景・研究の動機

  • 背景Aのために課題Bを解決する必要がある。
  • 既存手法Cがあるが、Dという点が考慮されていない・部分的にしか解決されていない。
    • Cの用いた手法は〜という性質からDができない。
  • そこで提案手法ではDをEをすることで行う。
    • Eは〜だからDを解決できる可能性がある。
  • Eの効果を検証するために実験Fを行い、有効であった・ある条件の下では改善したことを示す。
    • 実験Fは〜を評価する評価指標を用いて(背景に基づいた)〜を示す。
  • これからの課題として、提案手法ではGが考慮されていない。
    • Eは〜という性質上〜が考慮できていない、分析の結果〜が不十分だった。
  • Gを解決するためにはHが考えられる・Gを考慮したモデルが必要である。

提案手法(Proposed method)

  • 手法・モデルの概要
  • なぜ(多くの選択肢があるかもしれないのに)この手法か
  • モデルの詳細・新しく考慮された点
  • 必要なノーテーションを最小限・わかりやすく定義

実験(Experimental settings)

  • 実験に用いるデータセット
  • 評価指標
    • 何を評価したものか
    • 評価指標の定義を式で示す

結果・考察

  • 実験結果をグラフ・数値で示す

    • はじめに全体の結果を示す(全データでの平均など)
    • グラフのx軸, y軸, ラベル, 提案手法をわかりやすく
    • 何を示すためのグラフ・結果なのか示す
    • (必要なら)モノクロ印刷でも判別できるようなカラーフィル・マークを利用
    • グラフの値の見方(どのようになれば改善なのか)示す
      • (できる限り)提案手法による影響度合いを可視化する
  • 既存手法との比較

  • 特徴分析・有効、無効だった特徴やデータに関する考察

終わりに

  • 結論(conclusion)
    • 既存との差分
    • 実験から示されたこと
    • 展望

その他

  • タイトルにて発表日時・場所・所属
  • ページ番号
  • タイトル/そのページで一番言いたいメッセージ/詳細の関係になっているか
  • 必要ならレジュメ・補遺
  • あらかじめプロジェクタとの接続設定・Thunderbolt、Mini Display Portなどのコードの有無を確認

参考動画

チュートリアルとかと混ざってます。

続きを読む

ディープラーニングのパラメータ設定・更新方法に関するメモ

機械学習 python 深層学習

使う機会がありそうなのでメモ。 ただ正直目的関数を変更することはあっても、パラメータ更新手法は滅多に変更しないので資料も添付しない、存在だけ知っておく程度。

パラメータの初期化

Xavier Initialization

http://andyljones.tumblr.com/post/110998971763/an-explanation-of-xavier-initialization

He Initialization

Glorot initialisation

パラメータ更新の手法

Vanilla update

w += - learning_rate * dw というつまり一番シンプルな形式。

Momentum

Nesterov Momentum

上記三つの比較実験。自分も本当は実験して記事を書くべきなんだけども。

Nadam

Nesterov Momentum + Adam

AdaGrad

スライド資料: https://courses.cs.washington.edu/courses/cse547/15sp/slides/adagrad.pdf

AdaDelta

Adam(Adaptive Moment Estimation)

RMSprop

Eve

Improving Stochastic Gradient Descent with Feedback, Jayanth Koushik, Hiroaki Hayashi

ICLR2017における該当論文のレビューはここで公開されています。

その他多数

ICLRにサブミットされた確率的勾配法もしくはpolicy gradient関係の論文一覧、多い。

stochastic gradient descent – Amund Tveit's Blog

自分で定義した目的関数を使用して学習

Kerasの場合は

model.compile(loss=objective_function_defined_by_yourself, optimizer='nadam')

などと指定する。objective_function_defined_by_yourself

import theano.tensor as T

epsilon = 1.0e-9
def objective_function_defined_by_yourself(y_true, y_pred):
    y_pred = T.clip(y_pred, epsilon, 1.0 - epsilon)
    y_pred /= y_pred.sum(axis=-1, keepdims=True)
    cce = T.nnet.categorical_crossentropy(y_pred, y_true)
    return cce

などと指定する(参照ページ)。

その他

モデル圧縮、入力のノーマライズドロップアウト、転移学習、weight decayなどの手法に触れていない。

機械学習のベストプラクティスの資料のメモ(Best Practices for ML Engineering)

メモ 機械学習

Google researchの Martin Zinkevich氏の資料です。

Reliable Machine Learning in the Wild(NIPS 2016)での招待講演のもの。

Rules of Machine Learning: Best Practices for ML Engineering

Reliable Machine Learning in the Wild