[Grad-CAM] How? ; Section 3.2

Grad-CAM이 class-discriminative 하고 그 class에 연관된 image regions을 알려주지만,

 

fine grained detail (pixel 공간의 gradient 시각화)을 highlight 해 주는 역할은 할 수 없습니다.

 

Guided Backpropagation은 이미지에 대한 gradient들을 시각화해 줍니다.

 

직관적으로, Guided Backpropagation은 neuron들에 의해 찾아진 pixel들을 capture 하는 것을 목적으로 합니다.

 

[그림 1] Guided Backpropagation이 합쳐져야 되는 이유를 설명하기 위한 그림

위 그림을 보시면 아시겠지만 Grad-CAM이 해당 이미지에서 cat부분을 찾아 준것을 알 수 있습니다.

 

하지만 해당 heat map이 왜 네트워크(모델)가 이것을 tiger cat이라고 예측했는지는 정확하게 알 수 없습니다.

 

Guided BackPropagation과 Grad-CAM의 장접을 종합하기 위해서 두 가지 방법론을 element-wise multiplication을 통해 융합하였습니다.

 

두 개의 결과가 사이즈가 맞지 않으니까 Grad-CAM의 결과를 bilinear interpolation을 통해 input image와 동일한 사이즈로 upsampling을 한 뒤에 element-wise multiplication을 하면 됩니다.

 

[그림 2] Guided Backpropagation과 Grad-CAM을 융합하는 모습

이렇게 만들어진 Guided Grad-CAM의 결과는 cat의 부분을 알 수 있음과 동시의 이미지적 특징 또한 알아낼 수 있다는 장점이 있습니다.