[Grad-CAM] How? ; Section 3.1

Grad-CAM generalizes CAM => Grad-CAM 이 CAM을 커버할 수 있다 로 이해하시면 무리 없습니다.

 

paper에서 Grad-CAM이 CAM을 generalize 한다는 formal 한 증명을 준다고 하니 한번 자세히 들여다봅시다.

 

우선 CAM의 논리가 무엇인지 자세히 들여다보겠습니다.

 

CAM은 Global Average Pooling 와 Softmax 두 개의 layer가 직접적으로 연결돼있는 CNN모델에서만 loclization map을 얻을 수 있습니다.

 

자세히 적으면, 뒤에서 두 번째 layer가 K개의 feature maps를 생성한다면, $A^k\in {\mathbb{R}}^{u\times v}$, 이 feature maps들에 index $i,j$를 붙여 $A_{i,j}^k$로 표현할 수 있고 이는  $i,j$ 위치에 대한 feature map $A^k$의 activation이라고 할 수 있습니다.

 

이 feature map들에 spatially pooled using Global Average Pooling 연산을 적용한 뒤 선형 변환하여 class $c$에 대한 score $Y^c$를 생성합니다.

 

$Y^c=\sum _k{w}_k^c\frac{1}{Z}\sum _i\sum _j{A}_{ij}^k$

 

$w_k^c$                : weight connecting the $k^{th}$ feature map with $c^{th}$ class 

$\frac{1}{Z}\sum _i\sum _j$      : global average pooling

$A_{ij}^k$               : feature map

 

자! 이제 $w_k^c$가 정확히 뭔지 알아보기 위한 계산들을 진행해보겠습니다.

사실 우리는 답이 뭔지 알고 끼워 맞추고 있지만 처음 생각해 낸 사람은 정말 대단한 것 같습니다.

 

이를 쉽게 풀어가기 위해서 

 

$\frac{1}{Z}\sum _i\sum _j$ : global average pooling

$A_{ij}^k$ : feature map 이 부분을 $F^k$로 치환해주겠습니다.

 

즉, $F^k=\frac{1}{Z}\sum _i\sum _j{A}_{ij}^k$이라면

 

CAM이 score for c, $Y^c$를 구하는 식은 다음과 같이 적어줄 수 있습니다.

 

$Y^c=\sum _k{w}_k^c\cdot F^k$

 

이제 score of class $c$, $Y^c$의 $F^k$에 대한 변화량을 계산해보겠습니다.

 

$\frac{\partial Y^c}{\partial F^k}=\frac{\frac{\partial Y^c}{\partial A_{ij}^k}}{\frac{\partial F^k}{\partial A_{ij}^k}}$

 

위의 식을 보면 $F^k=\frac{1}{Z}\sum _i\sum _j{A}_{ij}^k$ 었기 때문에

 

$\frac{\partial F^k}{\partial A_{ij}^k}=\frac{1}{Z}$입니다.

 

그럼

 

$\frac{\partial Y^c}{\partial F^k}=\frac{\frac{\partial Y^c}{\partial A_{ij}^k}}{\frac{\partial F^k}{\partial A_{ij}^k}}=\frac{\partial Y^c}{\partial A_{ij}^k}\cdot Z$으로 적어 줄 수 있습니다.

 

다시,  $Y^c=\sum _k{w}_k^c\frac{1}{Z}\sum _i\sum _j{A}_{ij}^k$ 이기 때문에

 

$\frac{\partial Y^c}{\partial A_{ij}^k}=w_k^c$이고

 

$w_k^c=Z\cdot \frac{\partial Y^c}{\partial A_{ij}^k}$ 

 

등식의 성질을 이용하여 모든 index $i,j$에 대한 덧셈을 적용시켜주겠습니다.

 

$\sum _i\sum _j{w}_k^c=\sum _i\sum _{j}Z\cdot \frac{\partial Y^c}{\partial A_{ij}^k}$ 

 

여기서 상수 $Z$는 index $i,j$에 대하여 independent 함으로 앞으로 빼주겠습니다.

 

$Z{w}_k^c=Z\sum _i\sum _j\cdot \frac{\partial Y^c}{\partial A_{ij}^k}$ 

 

이는 다시  $w_k^c$앞에 Z가 붙은 이유는 $Z=I\times J$이기 때문입니다. 직전 포스팅에서 확인하실 수 있습니다.

 

$w_k^c=\sum _i\sum _j\cdot \frac{\partial Y^c}{\partial A_{ij}^k}$로 적을 수 있습니다.

 

이는 놀랍게도 Grad-CAM에서 정의한 ${\alpha }_k^c$ : weight connecting the $k^{th}$ feature map with $c^{th}$ class 와 상수 배만큼($\frac{1}{Z}$) 차이가 납니다.

 

이는 실제로 시각화 하거나 활용할 때 무시될 수 있는 [성질을 변환시키지 않는] 정도의 차이이기 때문에,

Grad-CAM이 CAM을 generalize한다고 할 수 있습니다.