電子情報通信学会の総合大会＠東京電機大学に参加してきました。
同時開催されたPRMU企画セッション『人工知能・深層学習の実世界応用』にてご講演されたシモラセ・エドガーさん＠早稲田大学の資料が非常にわかりやすかったので備忘録としてまとめます。
まとめますというか、一般公開されているのでリンク先を見てもらえればいいのですが。
セッション中に”ｲｲﾈ!!” と思った発言集
・ディープラーニングは万能ではない、問題を選ぶ必要あり
・パラメータは学習で決まるもの、ハイパーパラメータは人間が経験で決めるもの
・深層学習による自動的な特徴量抽出によってヒューリスティックを避けられる
・非線形の活性化関数をはさむことであらゆる計算式が近似できる（↓↓ 例えばこれ Wikipediaより）
・Adadeltaとバッチ正規化はとてもオススメ
・モデルや学習では解像度を下げることが重要
・TensorFlowは静的と動的なグラフが可能で、生産に焦点をあててる （←そうなの！？と驚いたけど、いつの間にか動的ネットワーク生成に対応したTensorFlowFoldってのが登場してたようです）
資料中で引用されていたAlec Radfordさんによる学習率の違いを示したアニメーションが面白かったです
