i'm absolutely crazy about it
jupyterなどでループまわしながら実験結果を描画しているとよくある警告
RuntimeWarning: More than 20 figures have been opened.
内容としては「figを開きすぎててメモリ亡くなるぞ！」というもの。つまり必要ないものは都度閉じてやればよい。
だいたい「plt.close()」で片づけることが多いが、私のお勧めは下記の対策。
plt.savefig(OUT_DIRECTORY + 'figure.png')
plt.close('all')
このほうが確実。
A DIRT-T APPROACH TO UNSUPERVISED DOMAIN ADAPTATION (ICLR’18)
Rui Shu, Hung H. Bui, Hirokazu Narui, & Stefano Ermon
Stanford University, DeepMind
概要
・UNSUPERVISED DOMAIN ADAPTATIONの手法を提案
・同じ正解ラベルのデータは特徴量空間でも同じクラスタに属するという仮定を利用
従来手法
・SourceとTargetの特徴量分布の相違を最小化することで、ドメイン不変の特徴量を抽出する
従来手法の課題
・Feature Functionが高次のとき、SourceとTargetの特徴量分布が互いに素になりやすいため、ドメイン不変というアプローチは有効でない。
・Sourceドメインでの性能を向上させるほどTargetドメインでの性能が劣化する。
提案
・SourceドメインとTargetドメインの共用識別器を、Targetドメインの専用識別器に仕立て上げる手法”DIRT-T”を提案。
キーアイデア１「VADA（VAT手法＋条件付き情報量の最小化）」
・特徴量空間におけるクラスタの存在を仮定して、クラスタ同士の重なりを最小化するよう条件付き情報量最小化のLossを設計。
・識別器がリプシッツ連続でないと、上述のLossの効果がイマイチであることが知られているため、VATによりプシッツ連続性を確保。
・従来のAdversarial Domain Adaptationにこれらを組み合わせる。
キーアイデア２「DIRT-T（判別境界の逐次的改善）」
・VADAによって構築したSourceドメインとTargetドメインの共通識別器をベースに、Target専用識別器へと改善していく。
・Targetドメインのみで（※先ほどはSourceドメインとTargetドメインの両方）、条件付き情報量最小化とVATにより識別器を学習。
条件付き情報量の最小化についてはコチラを参照
Semi-supervised Learning by Entropy Minimization
VAT手法についてはコチラを参照
Virtual adversarial training for semi-supervised text classification(2016)
元論文
A DIRT-T APPROACH TO UNSUPERVISED DOMAIN ADAPTATION (ICLR’18)
DIRT-TはGitでも公開中
DIRT-T
optimizer = torch.optim.SGD(list(encoder.parameters())+list(classifier.parameters()), lr=0.01)
z = encoder(input_src_img)
digit_pred = classifier(z)
loss = nn.CrossEntropyLoss()(digit_pred,digit_label)
loss.backward()
損失に関して計算グラフを微分して各変数のgradに勾配を入れる。この時点ではパラメータは更新されていない。なお、パラメータはprint(x.grad)で確認可能。
注意点は計算グラフは揮発性のため、backword()を実行すると消えてしまう。lossを複数回に分けて計算したいならばbackward(retain_variables=True)とすること。
optimizer.step()
パラメータ更新後はoptimizer.zero_grad()で勾配初期化しておく。そうしないとloss.backward()で計算された勾配が蓄積してしまう。呼び出すタイミングはloss.backward()の直前でもよい。
次のようにすると効率的な計算が可能。ただしGANのような順番に学習することに意味があるタスクには不適切なので要注意。
(loss1 + loss2).backward()
NeurIPS 2018 読み会 in 京都 に登壇してきました。当日は社会人と学生を含めた約90名の方々が参加してくださり大盛況となりました。
関西からも業界を盛り上げようというコンセプトもあり、なかなか普段は関東の先生方と交流が持ちにくい学生様のために、東京大学で活躍されている（いた）先生方の招待講演が設けられました。
| 二反田篤史 様 (東京大学) | 機械学習分野における最適化研究の進展 |
| SatoshiHara様 | Theoretical Linear Convergence of Unfolded ISTA and Its Practical Weights and Thresholds |
| 牛久祥孝様 (オムロン サイニックエックス) | 視覚と対話の融合研究 |
| 岡本大和様 | A Unified Feature Disentangler for Multi-Domain Image Translation and Manipulation |
| akihiro_fujii様 | KDGAN: Knowledge Distillation with Generative Adversarial Networks |
| KOBAYASHiH 様 | Neural Ordinary Differential Equations |
| maguhalu 様 | FFJORD: Free-form Continuous Dynamics for Scalable Reversible Generative Models (ICLR2019) |
| 橘幸彦 様(NVIDIA) | エヌビディアのプラットフォームを活用したAI エッジ コンピューティング事例のご紹介 |
https://connpass.com/event/110992/
Part1は東京大学で「理論系に関して知らないことはない！」と紹介された二反田先生の講演、さらに論文紹介１件という構成です。
最適化手法の最新研究であったりResNetの理論的な解釈であったり、理学部学生にとっては天国のような数式だらけの講演でした。正直、普段扱っている内容でもない限りはついていくのはかなり高難度だったかもしれません。
牛久先生をはじめとして応用系の研究紹介になります。視覚と対話の融合というタイトルにある通り、画像へのキャプションであったり、画像に関するQ&A対話をする知能であったり、技術の発展の歴史を追いながら最新研究が紹介されました。（いったいこの人は年間何本論文を読んでいらっしゃるんだ？というくらい様々な内容をご紹介いただきました。）
私の登壇もこのパートです。懇親会では幸いにも「おもしろかったです！」「わかりやすかったです！」とのご好評をいただきました。セルフアーカイブで発表動画もYoutubeにアップしています。
もちろん資料も公開中です
NeurIPSでBest Paperを受賞した論文『』が紹介されています。けっこう日本人でも読まれている方の多い論文のようです（そりゃそうか）
また、それだけでなくこの論文の発展手法をICLR2019から紹介いただきました。技術が進むのは本当にあっという間ですね。
最後はNVIDIA橘様からのご講演。実はまだ売り上げ的な主力事業はゲーミング用GPUが中心であることや、皆にGPUを使ってもらうために自前でAI技術を研究開発している話などをご紹介いただきました。私個人の意見としては最後にご紹介いただいた現場でAI推論できるようにするエッジ端末の発展に期待しております。
今回は主催者側の意図としても関西からも業界を盛り上げたいというものがあり、かなり同じ志を持つ人が集まったように思いました。現在は情報と人が集まる東京が盛り上がっていますが、優秀な学生様がいっぱいいて、ノーベル賞も多数輩出してきた京都という街からもどんどん業界を盛り上げていきたいですね。
京都大学（工学部情報学科）の倍率推移
(*)は工学部で最高倍率
さぁ、次は気になる2019年度の倍率を予想してみます。
今年もおそらく横ばいになると予想されますが、AIブームが過ぎた後を見据えて、京都大学の一部では既に次なる一手を探そうとする動きもあるようです。
AIをやりたい若手が他へ流れる可能性もあり、AI以外の次世代を求める若手が新たにやってくる可能性もあり、倍率推移はほぼ横ばいというのが私の予想です。
さて今年はどうなるか、見物ですね。
エラーメッセージ
|
1 |
Trying to backward through the graph a second time, but the buffers have already been freed. Specify retain_graph=True when calling backward the first time. |
対策
|
1 |
loss.backword(retain_graph=True) |
解説
x=layer[i](x) のように計算処理を進めていってLOSS計算したあとにbackword()を実行するとxの算出結果がクリアされてしまう。
これは悪意があるわけではなくメモリ節約するための仕様。
しかし、Multi Task Learning のときによく発生するのだが、後半部分でLayerが分岐してOutputが２つ以上になったとき、１つ目のタスクでLOSS算出してbackword()、そして２つ目のタスクでLOSS算出してbackword()しようとするとxの算出結果がクリアされているのでエラーとなる。
対策は「まだ学習に用いるので計算結果をクリアしないでね」という目印としてloss.backword(retain_graph=True)とすること。
by ロードローラー