「recommend」と書かれたNVIDIA-driverをinstallしたら画面が真っ暗になった
GUIでログイン画面が表示されない
Ctrl+Alt+F1したが仮想コンソールも出ない
このとき参考にしたサイト
https://qiita.com/mdo4nt6n/items/b439b81e7c10b95ee7c5
これでGUIは復活しました
で、、、私はいったい何を信じて、どのVer.をインストールすればいいのだ・・？
ちょっと遅れながらの更新ですが、６月２日に京都オムロン本社で開催されたICLR2019読み会に登壇しました
私の発表はさておき、ABEJA白川さんのゲスト講演が最高におもしろかった（学術的な興味と笑いを取るという二重の意味でおもしろかった）ので、ここにメモしておきたい。
ヒトの機械学習
第１部は、店舗ソリューションの話、年齢推定がなぜ難しいかという話。
第２部は、アノテーションを正確にすることの重要性の話。
第３部は、感情推定と双曲空間の話。
個人的に気になったのは２点、アノテーション品質を定量的に測ることが出来るのメトリックが求められるようになってきているのではないか？、そして平面と球面と双曲空間の使い分けについて（それぞれに適した典型的なデータ例は何か？）
前者についてはその場で質問させて頂き、メトリックの必要性は勿論YESで、センサ側とあわせて一緒に努力を重ねていこうという結論に。
私の発表
25分の論文紹介だけでなく、LT枠でも発表しました。幸いにもたくさんのご質問を頂戴して、多くの方に発表内容をご理解いただけたのかなと思いました。
質疑応答も途中で誤魔化さずちゃんと徹底的に議論できますた。関東から参加してくださった学生様からとても詳細で鋭い質問を頂きました。おかげで楽しいディスカッションが出来たと同時に、周囲の理解も深まったように感じます。（ありがとうございました）
コンセプトとして学術的な内容を現場価値に繋げるというものがありまして、論文内容の理解に留まらず、どんな使い方があるか？誰にとって役立つかということまで議論ができて、今回もとてもよい１日となりました。
運営の皆様、ご発表の皆様、参加者の皆様、ありがとうございました。
久しぶりに記事を更新します、ロードローラーです。
今年はICMLとCVPRがロングビーチで連続開催ですね！
潜在空間の操作やDisentangleが大好きな私としては周辺研究をチェックしてきたいと思います。
そんなこんなで、出国前に軽く整理しようと思ってまとめました
AutoEncoderの潜在変数（中間特徴量）のｚに事前分布を仮定する。これにより特徴量の連続性を担保したり、潜在変数がスパースになること防ぐ。
VAEでは潜在変数の分布が仮定した事前分布にFITするように、KL距離を最小化させるような制約を設ける。このKL距離による制約を変数βによって調整すると、分布をフィットさせる圧力が強くかかる。その結果として潜在変数の各成分の独立性が増して、MNISTだと角度や文字太さといった成分が潜在変数の特定の成分に対応するようになる。
なお、学習がある程度進むと『全ての成分が独立』というのは実現困難らしく、相互情報量を許容するためにKL距離をゼロに近付けるのではなく定数Cに近付けるようにする。これにより情報損失（潜在変数ｚから元々のデータｘが復元できない状態）を防ぐ効果がある。
β-VAEでは潜在変数をだいたい正規分布にフィットさせていた。これではdisentangleに成功してsemanticで独立な成分を抽出できたとしてもContinuous(連続値)のみとなってしまう。実際にはMNISTにおけるDIGIT-ClassのようなDiscrete(離散値)も存在する。そこで、GumbelSoftmax分布をβ-VAEに併用することで離散値にも対応可能に拡張した。
もはや説明不要だろう、元データｘと、ノイズｚから生成したｘ’を見分けられないように（分布が重なるように）学習することで、本物そっくりのX’を生成する。
GANの弱点として、（生成画像は本物らしければよいので）なるべく生成が得意なパターンのｘばかり生成してしまう性質がある。
例えばMNISTでGANを学習したとき、たまたま『８』は上手に生成できるようになったとしよう。このとき、『８』ばかり生成しておけばDiscriminatorを騙せるので、結果的に『８』ばかり生成して、他の数字は生成されにくくなる欠点がある。
これに対処したのがConditional-GANである。Generatorに条件ｙを一緒に入力することで条件に適したｘ’を生成させる。Discriminatorにも条件ｙを一緒に入力することで、ｘ’が本物らしいかどうか？という判定と同時に、条件ｙに適しているかという判定もするようになる。（条件ｙに適していなければ、例えばｙに『２』を指定したのに『８』が生成された場合、即座に生成データと見抜かれてしまう）
Conditional-GANは条件指定しながら画像生成できるようになる技術だったが、それに対してInfo-GANの目的はDisentangle Representationの教師無し取得にある。
ノイズｚとは別途で変数ｃを設けておいて、生成されたｘ’とｃの相互情報量が大きくなるよう学習する。すると、結果的に変数ｃがConditionに対応するようになる。
異なるドメインのペア画像を大量に準備して、敵対学習によってドメイン変換方法を教師付き学習する。大量のペア画像を準備しないといけない点が課題視されている。
pix2pixのペア画像を準備しなければならない課題を解決して、Reconstructionと敵対学習をベースとして教師なしにドメイン変換手法を学習する。
Cycle-GANでは学習によって構築したモデルは１：１のドメイン変換が出来る。しかし言い換えれば、ｎパターンのドメイン変換をするにはｎ回のモデル構築が必要となる。
そこで、１：ｎのドメイン変換を一気に学習できるよう拡張したものがsstar-GAN。
以上
if you have “wget can’t download – 404 error” when downloading USPS dataset, please update url.
“https://raw.githubusercontent.com/mingyuliutw/CoGAN_PyTorch/master/data/uspssample/usps_28x28.pkl”
“https://raw.githubusercontent.com/mingyuliutw/CoGAN/master/cogan_pytorch/data/uspssample/usps_28x28.pkl”
こんにちはロードローラーです。先日は京都のNeurIPS読み会で登壇してきましたが、今回はPFNさん開催のNeurIPS読み会に登壇してきました。もっと色々な論文を紹介できればよかったのですがスライド作成の手間もあり、資料は使いまわしの発表となっています。
発表後の質疑応答では英語で質問を頂いて予想外の事態にたじたじに、、、司会者の比戸さんが翻訳フォローをしてくださりなんとかご回答できました。
英語たじたじで申し訳ありません、UFDN手法の学習は
① Train Feature Discriminator
② Train Reconstruction ＆ Adversarial Phase
を繰り返しておこないます
#neurips18yomi
（@sla さん、フォローくださりありがとうございます）— 岡本大和 on ﾛｰﾄﾞﾛｰﾗｰ (@RoadRoller_DESU) January 26, 2019
なお、この論文はPytorchによる実装が著者によって公開されていますのでご参照ください。
A Unified Feature Disentangler for Multi-Domain Image Translation and Manipulation (Git)
追記：勉強会の資料一覧
https://connpass.com/event/115476/presentation/
めっちゃ難しかったですが、めっちゃ面白かったです
紹介論文 Hyperbolic Neural Networks (NeurIPS’18)
今までユークリッド空間でアレコレといろんな問題を解いていましたが、双曲空間で解こうとしたらこんなメリットがあるよ！という研究内容
論文アブストでも「Hyperbolic spaces have recently gained momentum in the context of machine learning due to their high capacity and tree-likeliness properties.」と述べられています。
ユークリッド空間のスカラー倍は、双曲空間では接空間上の指数処理や対数処理で表現できるなど、なんというか双曲空間への強い愛を感じる研究内容でした。
hyperbolic space で word の埋め込みをしたもの分離する場合, それをそのまま hyperbolic での直線で分離するのと, それを disk に移してから Euclid での直線で分離するのとでは, 前者の方が良いよね, という話 #neurips18yomi pic.twitter.com/sgomrECsWw
— keno (@keno_ss) January 26, 2019
背景知識については、白川さんのブログでまとめられています。（私もこれから読みます！）
「Generative Adversarial Networks (GANs) and Disentangled Representations @ NeurIPS2018」の資料を公開しました。GANsの最近の進展、 Disentangled Representations の重要性、NeurIPS2018 採択論文、をまとめ紹介しています。 https://t.co/0mDaPRTa32 #neurips18yomi
— Koichi Hamada (@hamadakoichi) January 26, 2019
GANの生成画像を高品質にするための研究はNeurIPS2017では多かったが、NeurIPS2018ではほとんどなくなり、構造やコンテンツなど潜在的に独立な表現をできるようにする研究が増えた。（なので表現分離するためのDisentangleの研究が増えた）
#neurips18yomi— 岡本大和 on ﾛｰﾄﾞﾛｰﾗｰ (@RoadRoller_DESU) January 26, 2019
会場からは『disentangleの定義は？』との質問がでました。非常に難しく本質を突いた質問だと感じました。（おそらくタスクで解きたい事象に起因する特徴量と、それ以外に起因する特徴量を陽に分解することですが、数学的な定義は難しいなぁと。前者はタスクに有効で、後者ではタスクを解くのが難しいというのを数学的にどう定義するかがポイントになりそうですね。）
単語分散表現の最適次元を理論的に求めましたよという論文。最適次元があったんだー、というだけで感動。（理論的部分はすぐには、うん、わからん #neurips18yomihttps://t.co/zKpk4ycgms pic.twitter.com/J0m9NhMEpV
— 岡本大和 on ﾛｰﾄﾞﾛｰﾗｰ (@RoadRoller_DESU) January 26, 2019
本日の資料です！ NeurIPS 2018 の AutoML 事情についてお話します！https://t.co/71r435vVJl
#neurips18yomi— g_votte (@g_votte) January 26, 2019
大学同級生の活躍を見れて嬉しいと同時に、発表内容も非常に面白かったです。
DMVの大元がNeurIPS2018読み会にて発表した資料を公開しました。
紹介した論文はCatBoostというGBDTライブラリの詳細に関するもので、"Prediction shift"という問題を"Ordered boosting with Ordered TS"というアルゴリズムで解決しました。https://t.co/aTOTDR0zHE #neurips18yomi— Dwango Media Village (@Dwango_DMV) January 26, 2019
流行のBoosting手法が抱える課題を丁寧に説明して、この手法でどう解決したのかを紹介してくださいました。
聞いていただいた皆様ありがとうございました。今日のGraph neural networkに関する発表資料はこちらになります。https://t.co/HtkSYphirf #neurips18yomi
— かめ (@cruelturtle) January 26, 2019
Unified Feature Disentangler
岡本さんによる発表がとてもわかりやすく、内容も興味深かったので後で読みます。https://t.co/3VTMGnbMHs#neurips18yomi— Shion Honda (@shion_honda) January 26, 2019
とても嬉しいお言葉を頂きました
jupyterなどでループまわしながら実験結果を描画しているとよくある警告
RuntimeWarning: More than 20 figures have been opened.
内容としては「figを開きすぎててメモリ亡くなるぞ！」というもの。つまり必要ないものは都度閉じてやればよい。
だいたい「plt.close()」で片づけることが多いが、私のお勧めは下記の対策。
plt.savefig(OUT_DIRECTORY + 'figure.png')
plt.close('all')
このほうが確実。
A DIRT-T APPROACH TO UNSUPERVISED DOMAIN ADAPTATION (ICLR’18)
Rui Shu, Hung H. Bui, Hirokazu Narui, & Stefano Ermon
Stanford University, DeepMind
概要
・UNSUPERVISED DOMAIN ADAPTATIONの手法を提案
・同じ正解ラベルのデータは特徴量空間でも同じクラスタに属するという仮定を利用
従来手法
・SourceとTargetの特徴量分布の相違を最小化することで、ドメイン不変の特徴量を抽出する
従来手法の課題
・Feature Functionが高次のとき、SourceとTargetの特徴量分布が互いに素になりやすいため、ドメイン不変というアプローチは有効でない。
・Sourceドメインでの性能を向上させるほどTargetドメインでの性能が劣化する。
提案
・SourceドメインとTargetドメインの共用識別器を、Targetドメインの専用識別器に仕立て上げる手法”DIRT-T”を提案。
キーアイデア１「VADA（VAT手法＋条件付き情報量の最小化）」
・特徴量空間におけるクラスタの存在を仮定して、クラスタ同士の重なりを最小化するよう条件付き情報量最小化のLossを設計。
・識別器がリプシッツ連続でないと、上述のLossの効果がイマイチであることが知られているため、VATによりプシッツ連続性を確保。
・従来のAdversarial Domain Adaptationにこれらを組み合わせる。
キーアイデア２「DIRT-T（判別境界の逐次的改善）」
・VADAによって構築したSourceドメインとTargetドメインの共通識別器をベースに、Target専用識別器へと改善していく。
・Targetドメインのみで（※先ほどはSourceドメインとTargetドメインの両方）、条件付き情報量最小化とVATにより識別器を学習。
条件付き情報量の最小化についてはコチラを参照
Semi-supervised Learning by Entropy Minimization
VAT手法についてはコチラを参照
Virtual adversarial training for semi-supervised text classification(2016)
元論文
A DIRT-T APPROACH TO UNSUPERVISED DOMAIN ADAPTATION (ICLR’18)
DIRT-TはGitでも公開中
DIRT-T
optimizer = torch.optim.SGD(list(encoder.parameters())+list(classifier.parameters()), lr=0.01)
z = encoder(input_src_img)
digit_pred = classifier(z)
loss = nn.CrossEntropyLoss()(digit_pred,digit_label)
loss.backward()
損失に関して計算グラフを微分して各変数のgradに勾配を入れる。この時点ではパラメータは更新されていない。なお、パラメータはprint(x.grad)で確認可能。
注意点は計算グラフは揮発性のため、backword()を実行すると消えてしまう。lossを複数回に分けて計算したいならばbackward(retain_variables=True)とすること。
optimizer.step()
パラメータ更新後はoptimizer.zero_grad()で勾配初期化しておく。そうしないとloss.backward()で計算された勾配が蓄積してしまう。呼び出すタイミングはloss.backward()の直前でもよい。
次のようにすると効率的な計算が可能。ただしGANのような順番に学習することに意味があるタスクには不適切なので要注意。
(loss1 + loss2).backward()
NeurIPS 2018 読み会 in 京都 に登壇してきました。当日は社会人と学生を含めた約90名の方々が参加してくださり大盛況となりました。
関西からも業界を盛り上げようというコンセプトもあり、なかなか普段は関東の先生方と交流が持ちにくい学生様のために、東京大学で活躍されている（いた）先生方の招待講演が設けられました。
| 二反田篤史 様 (東京大学) | 機械学習分野における最適化研究の進展 |
| SatoshiHara様 | Theoretical Linear Convergence of Unfolded ISTA and Its Practical Weights and Thresholds |
| 牛久祥孝様 (オムロン サイニックエックス) | 視覚と対話の融合研究 |
| 岡本大和様 | A Unified Feature Disentangler for Multi-Domain Image Translation and Manipulation |
| akihiro_fujii様 | KDGAN: Knowledge Distillation with Generative Adversarial Networks |
| KOBAYASHiH 様 | Neural Ordinary Differential Equations |
| maguhalu 様 | FFJORD: Free-form Continuous Dynamics for Scalable Reversible Generative Models (ICLR2019) |
| 橘幸彦 様(NVIDIA) | エヌビディアのプラットフォームを活用したAI エッジ コンピューティング事例のご紹介 |
https://connpass.com/event/110992/
Part1は東京大学で「理論系に関して知らないことはない！」と紹介された二反田先生の講演、さらに論文紹介１件という構成です。
最適化手法の最新研究であったりResNetの理論的な解釈であったり、理学部学生にとっては天国のような数式だらけの講演でした。正直、普段扱っている内容でもない限りはついていくのはかなり高難度だったかもしれません。
牛久先生をはじめとして応用系の研究紹介になります。視覚と対話の融合というタイトルにある通り、画像へのキャプションであったり、画像に関するQ&A対話をする知能であったり、技術の発展の歴史を追いながら最新研究が紹介されました。（いったいこの人は年間何本論文を読んでいらっしゃるんだ？というくらい様々な内容をご紹介いただきました。）
私の登壇もこのパートです。懇親会では幸いにも「おもしろかったです！」「わかりやすかったです！」とのご好評をいただきました。セルフアーカイブで発表動画もYoutubeにアップしています。
もちろん資料も公開中です
NeurIPSでBest Paperを受賞した論文『』が紹介されています。けっこう日本人でも読まれている方の多い論文のようです（そりゃそうか）
また、それだけでなくこの論文の発展手法をICLR2019から紹介いただきました。技術が進むのは本当にあっという間ですね。
最後はNVIDIA橘様からのご講演。実はまだ売り上げ的な主力事業はゲーミング用GPUが中心であることや、皆にGPUを使ってもらうために自前でAI技術を研究開発している話などをご紹介いただきました。私個人の意見としては最後にご紹介いただいた現場でAI推論できるようにするエッジ端末の発展に期待しております。
今回は主催者側の意図としても関西からも業界を盛り上げたいというものがあり、かなり同じ志を持つ人が集まったように思いました。現在は情報と人が集まる東京が盛り上がっていますが、優秀な学生様がいっぱいいて、ノーベル賞も多数輩出してきた京都という街からもどんどん業界を盛り上げていきたいですね。
京都大学（工学部情報学科）の倍率推移
(*)は工学部で最高倍率
さぁ、次は気になる2019年度の倍率を予想してみます。
今年もおそらく横ばいになると予想されますが、AIブームが過ぎた後を見据えて、京都大学の一部では既に次なる一手を探そうとする動きもあるようです。
AIをやりたい若手が他へ流れる可能性もあり、AI以外の次世代を求める若手が新たにやってくる可能性もあり、倍率推移はほぼ横ばいというのが私の予想です。
さて今年はどうなるか、見物ですね。
