論文読み 2015, Simultaneous Deep Transfer Across Domains and Tasks

元ネタ: Tzeng and Saenko, Simultaneous Deep Transfer Across Domains and Tasks, 2015, ICCV 2015

figure 1. Deep Domain Confusionのダイアグラム

Tzengの前の論文では，source domain での分類と並行して，sourceとtargetに対して生成する表現が似てくるように学習させるため，confusion loss
$MMD(X_s, X_T) = \left\| \frac{1}{|X_s|}\sum_{x_S \in X_S} \phi(x_s) - \frac{1}{X_T} \sum_{x_t \in X_T} \phi(x_t)\right\|$
をも最適化するように学習させた(fig.1)．しかしdomain同士の表現が似ていてもそれぞれの内部でdecision boundaryが似ているかは別の話だから，この論文では表現の構造のみならずsource domainのラベルの構造をtarget domainに変換する．変換にはtarget domainにいくつかラベル付きの点が必要だから，unsupervised domain adaptationに直接適用することはできない．

figure 2. Simultaneous Deep Transferのダイアグラム

domain confusionによって表現を似せる

インプットからfc7までを，表現を生成するネットワークGとし，Gの出力する表現$\theta_{\text{repr}}$がsource domainから来たのかtarget domainから来たのか区別するネットワークfcDを構成する．fcDは通常のnegative log likelihoodによって最適化する．つまり損失関数は
$\mathcal{L}_D(x_S, x_T, \theta_{\text{repr}}; \theta_D) = -\sum_{d \in \{\text{source, target}\}} 1_{[y_D = d]} \log q_d$
ただし$\theta_D$はfcDの重みで，$q_d$はfcDの結果のlogit．

さらにfcDを騙すようにGを最適化する(adversarial learning)．損失関数は
$\mathcal{L}_{\text{conf}}(x_S, x_T, \theta_D; \theta_{\text{repr}} = - \sum_{d} \frac{1}{D} \log q_d$

sourceからtargetへのクラス構造のadaptation

通常ニューラルネットワークの(Kクラスの)クラス分類では，最終層にK個のニューロンを配置し，その出力にsoftmaxをかけてそのargmaxに対応するクラスをそのネットワークの推測とするわけだが，ここではsoftmaxの出力そのものに様々な操作を行っていく．
特に，あるクラスに対応するデータ点全てのsoftmaxの出力の平均を"soft label"と定義する(fig.3).ただし通常のsoftmaxはピークが強調されすぎるので，softmaxの温度$\tau$を高くする．
$\text{softmax}_{\tau}^{(k)}(\mathbf{x}) = \frac{\exp(\mathbf{x}_{(k)}/\tau)}{\sum_j\exp(\mathbf{x}_{(j)}/\tau)}$

figure 3. soft label概念図

これによってsource domainにおける各くらすにおけるsoft labelが計算できる．これらのsoft labelに対して,ラベル付きのtarget domainの点$\{x_T, y_T\}$に対して損失関数を
$\mathcal{L}_{\text{soft}} (x_T, y_T;\theta_{\text{repr}},\theta_C)=-\sum_i l_i^{(y_T)}\log p_i$
とする.ただし$p$は$x_T$に対するsoft activation, $l_i$はsource domainのクラスiに対応するsoft label,
この損失というのはtargetのsoft activationとsourceのsoft labelの，targetクラスにおけるcross-entropyに等しい(fig.4).

figure 4. soft loss

以上のlossを最適化する．

結果