Local Contrast Normalizationメモ

What is the Best Multi-Stage Architecture for Object Recognition?, Jarrett et al. 2009のLocal Contrast Normalizationについてのメモ

ネットワーク内部で同じlayerのfeature mapsにまたがって行うnormalization.
第$i$feature map,の$(j, k)$成分$x_{ijk}$に対して$w_{pq}$​を$\sum_{ipq}w_{pq}=1$なるGaussian weightinig windowとして,
$$v_{ijk}=x_{ijk}- \sum_{ipq}w_{pq} \cdot x_{i,j+p,k+q}$$
おそらく上の$\sum$の添字は$p, q$だけでいいはず
(要素の値が全て同じであるような画像を与えられると$v$は負になってしまうのでやはり添字は$p, q$か?)¹
$$y_{ijk}=v_{ijk}/max(c, \sigma_{jk}),$$
ただし
$$\sigma_{jk} = \left( \sum_{ipq} w_{pq} \cdot v_{i, j+p, k+q}^2 \right)^{1/2} ,\ c = mean_{jk} (\sigma_{jk})$$

---

1. インテルのページでは,カーネルをチャンネル数で割っている. ↩