TASK2VEC: Task Embedding for Meta-Learning

 

TASK2VEC: Task Embedding for Meta-Learning

論文 https://arxiv.org/abs/1902.03545

タスクの類似度評価指標を提案。

ImageNETでpre-trainしたモデルを、タスクにあわせてClassifier部分だけretrainする。

そのあと、どのクラス出力と、どのChannel(Filter)の関係性が大きいのか、フィッシャー情報量を利用して評価する。

イメージとしては、重みWに摂動ΔWを加えたときに、予測出力が大きく変化する(KL距離で評価)ような場合は、クラス予測によって重要な特徴量であると言える。

実験結果では、全く異なるデータセットではあるが、たとえば鳥の種類を識別しようとしているタスク同士がEmbedding後の空間で近傍に射影されるなどしている。

(なお、これだったら特定タスクを解くときにどの特徴量がActiveになっているか?を評価するだけでタスク空間を得られる気がするが、どうやらそれでは上手くいかなかった様子。識別に用いない特徴量が関係なくActiveになることがあるからかな?)

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

このサイトはスパムを低減するために Akismet を使っています。コメントデータの処理方法の詳細はこちらをご覧ください