こんにちはロードローラーです。先日は京都のNeurIPS読み会で登壇してきましたが、今回はPFNさん開催のNeurIPS読み会に登壇してきました。もっと色々な論文を紹介できればよかったのですがスライド作成の手間もあり、資料は使いまわしの発表となっています。
発表後の質疑応答では英語で質問を頂いて予想外の事態にたじたじに、、、司会者の比戸さんが翻訳フォローをしてくださりなんとかご回答できました。
英語たじたじで申し訳ありません、UFDN手法の学習は
① Train Feature Discriminator
② Train Reconstruction & Adversarial Phase
を繰り返しておこないます
#neurips18yomi
(@sla さん、フォローくださりありがとうございます)— 岡本大和 on ロードローラー (@RoadRoller_DESU) January 26, 2019
なお、この論文はPytorchによる実装が著者によって公開されていますのでご参照ください。
A Unified Feature Disentangler for Multi-Domain Image Translation and Manipulation (Git)
追記:勉強会の資料一覧
https://connpass.com/event/115476/presentation/
他のご発表(Twitterによるメモ貼り付け)
双曲空間(@ABEJAの白川さん)
めっちゃ難しかったですが、めっちゃ面白かったです
紹介論文 Hyperbolic Neural Networks (NeurIPS’18)
今までユークリッド空間でアレコレといろんな問題を解いていましたが、双曲空間で解こうとしたらこんなメリットがあるよ!という研究内容
論文アブストでも「Hyperbolic spaces have recently gained momentum in the context of machine learning due to their high capacity and tree-likeliness properties.」と述べられています。
ユークリッド空間のスカラー倍は、双曲空間では接空間上の指数処理や対数処理で表現できるなど、なんというか双曲空間への強い愛を感じる研究内容でした。
hyperbolic space で word の埋め込みをしたもの分離する場合, それをそのまま hyperbolic での直線で分離するのと, それを disk に移してから Euclid での直線で分離するのとでは, 前者の方が良いよね, という話 #neurips18yomi pic.twitter.com/sgomrECsWw
— keno (@keno_ss) January 26, 2019
背景知識については、白川さんのブログでまとめられています。(私もこれから読みます!)
GANやDisentangleのまとめ
「Generative Adversarial Networks (GANs) and Disentangled Representations @ NeurIPS2018」の資料を公開しました。GANsの最近の進展、 Disentangled Representations の重要性、NeurIPS2018 採択論文、をまとめ紹介しています。 https://t.co/0mDaPRTa32 #neurips18yomi
— Koichi Hamada (@hamadakoichi) January 26, 2019
GANの生成画像を高品質にするための研究はNeurIPS2017では多かったが、NeurIPS2018ではほとんどなくなり、構造やコンテンツなど潜在的に独立な表現をできるようにする研究が増えた。(なので表現分離するためのDisentangleの研究が増えた)
#neurips18yomi— 岡本大和 on ロードローラー (@RoadRoller_DESU) January 26, 2019
会場からは『disentangleの定義は?』との質問がでました。非常に難しく本質を突いた質問だと感じました。(おそらくタスクで解きたい事象に起因する特徴量と、それ以外に起因する特徴量を陽に分解することですが、数学的な定義は難しいなぁと。前者はタスクに有効で、後者ではタスクを解くのが難しいというのを数学的にどう定義するかがポイントになりそうですね。)
単語分散表現の最適次元数について
単語分散表現の最適次元を理論的に求めましたよという論文。最適次元があったんだー、というだけで感動。(理論的部分はすぐには、うん、わからん #neurips18yomihttps://t.co/zKpk4ycgms pic.twitter.com/J0m9NhMEpV
— 岡本大和 on ロードローラー (@RoadRoller_DESU) January 26, 2019
AutoML(@PFN佐野さん)
本日の資料です! NeurIPS 2018 の AutoML 事情についてお話します!https://t.co/71r435vVJl
#neurips18yomi— g_votte (@g_votte) January 26, 2019
大学同級生の活躍を見れて嬉しいと同時に、発表内容も非常に面白かったです。
Ordered boosting with Ordered TS
DMVの大元がNeurIPS2018読み会にて発表した資料を公開しました。
紹介した論文はCatBoostというGBDTライブラリの詳細に関するもので、"Prediction shift"という問題を"Ordered boosting with Ordered TS"というアルゴリズムで解決しました。https://t.co/aTOTDR0zHE #neurips18yomi— Dwango Media Village (@Dwango_DMV) January 26, 2019
流行のBoosting手法が抱える課題を丁寧に説明して、この手法でどう解決したのかを紹介してくださいました。
GNN
聞いていただいた皆様ありがとうございました。今日のGraph neural networkに関する発表資料はこちらになります。https://t.co/HtkSYphirf #neurips18yomi
— かめ (@cruelturtle) January 26, 2019
おまけ
Unified Feature Disentangler
岡本さんによる発表がとてもわかりやすく、内容も興味深かったので後で読みます。https://t.co/3VTMGnbMHs#neurips18yomi— Shion Honda (@shion_honda) January 26, 2019
とても嬉しいお言葉を頂きました