DeNA主催のICML2018読み会に参加してきました（https://connpass.com/event/92705/）
感想を３行でまとめると
・GANが大人気
・NAS（neural architecture search）も人気
・パラメータ黒魔術な研究がちょいちょいある
渋谷ヒカリエのDeNA様のオフィスで開催
特に気になった発表が２つ、１つ目はコチラ
Domain Adaptationの手法で、Source-DomainのClassificationのLOSSや、抽出した特徴量に対するAdversarial Lossなどを用いるあたりは従来通りですが、異なるドメインの同じクラス同士で重心が似通うようにLOSS関数を追加した点がキーアイデアです。
が、各LOSSについて学習する順番や、学習する量など、ハイパーパラメータがむっちゃ重要なのでは？と思って質問してみたら、やはり想像通りというか、再現実装をしているけども思い通りには行っていないとのこと。
やはりちょっと黒魔術の香りがしますね。
あと、重心を近づけるという話でしたが、クラス数が多くなると提案手法の有効性が弱まるのではと思いました。これについてもディスカッションしましたが、論文では明確な実験検証は特になかったのでクローズ。
ICML2018読み会でLearning Semantic Representations for Unsupervised Domain Adaptationを紹介します。 #icml2018jphttps://t.co/aebMUNXZLX
— t2kasa (@__t2kasa__) 2018年7月28日
#icml2018jp
質問させていただいた。やはりパラメータに黒魔術の香りが、、、おおむね想像通りで納得。丁寧な解説と回答、ディスカッションに感謝申し上げます。（まだアカウントフォローできてませんが）
— 岡本大和 on ﾛｰﾄﾞﾛｰﾗｰ (@RoadRoller_DESU) 2018年7月28日
もう１件がコチラ
Efficient Neural Architecture Search via Parameters Sharing
Neural Networkを生成するNeural Networkの話ですね。もともとはNeural Architecture Search with reinforcement learning（NAS）という手法で、複数種類の異なる構造を持つネットワークを量産してはどの構造が最適なのか探索していくという手法で、計算時間が膨大過ぎて、それを解消する方向で検証が進んできたというものです。
NASについてはコチラに自分でまとめた資料があります、奇しくもちょうど私も勉強中でした。。。
これ、Controllerについて大きな誤解をしていたんですが、INPUTは無しで、学習可能なパラメータとして用意されているんですね。
そしてネットワーク構造を決める確率分布がLSTMから決定論的に算出されて、算出された分布から確率論的にネットワークを量産するという仕組みでした。
私はてっきりGANのようにNoiseをINPUTするものとばかり…
なぜ入力をランダムにするのではなく、確率分布に基づいてネットワークを量産するのかというと、後者の方が学習した結果「コレがよさそうだ」と思われる構造を中心に、近い構造を持つ亜種が量産されるからです。ランダムに生成して期待外れのネットワークが生成されるよりも遥かに探索が効率的です。
アーキテクチャをサンプルするときが確率的ということだったんですね、そこを誤解していました。フォローありがとうございます。
— 岡本大和 on ﾛｰﾄﾞﾛｰﾗｰ (@RoadRoller_DESU) 2018年7月28日
こういう質疑応答ができるのが勉強会のありがたいところですね。「聞くは一時の恥聞かぬは一生の恥」です。質問してよかった。
普段は慣れない音声合成の研究論文も紹介して頂き、後から気になった点をTwitterで質問させて頂きました。
入力も出力も、同じ波形の時刻違いです。公式ブログの図が分かりやすいかと思います。背景は、途中で紹介した@nanTosaka2さんの図が分かりやすいですが、音響特徴量を波形に戻すのが主です。https://t.co/gbk2wRpvoa
— dhgrs (@__dhgrs__) 2018年7月28日