Various CNN Models

Model Comparison

 

size 작음 = less # of weights

 

 

MobileNet

Standard convolution

Filters

 

Output feature의 1픽셀을 얻기 위해 Input feature의 M번째 픽셀 하나와 N번째 필터의 M번째 픽셀 하나를 곱한 것들의 합을 더한다.

 

Computational cost:

= `Dk x Dk x M x N x Df x Df`

 

Depthwise convolution

`Dk x Dk x M x Df x Df`

 

Pointwise convolution

3개의 output feature map을 add up 하지 않고 concatenate한다.

그러고 나서 1x1 convolution(N개의 1x1xchannel size M)을 적용해 1개의 output feature map을 생성한다.

`Dk x Dk x M x N x 1 x 1`

 

Computational Cost = Depthwise + Pointwise = Depthwise separable convolution

= ` Dk x Dk x M x Df x Df  +  Dk x Dk x M x N x 1 x 1`

 

 

Depthwise separable convolution / Standard convolution = 1/N + 1/DkDk

N > 0, Dk > 0

➡️ Much less computational cost!

 

 

Computational 복잡도 감소로, standard conv와 비슷하지만 on-device inference에\]  최적화되어 있다.

상대적으로 operation이 적고 accuracy가 높아 다른 아키텍처에 비해 효율적이다.

(Negligible accuracy loss)

 

 

(dw always followed by pw = 1x1 conv)