1. 感受野的深刻理解?为什么感受野这么重要?
感受野,receptive filed,也称之为接收的区域。其实有点类似于相机的视场,就是说它能匹配到的视野有多大,那么这里的感受野是用在卷积层面的一个概念,通过卷积可以改变一个图像的尺寸,感受野就是cnn卷积后的特征图上一点相对于原图的大小。因此,这个感受野的大小与卷积核的尺寸和数量等有关。
神经元感受野的值越大表示其能接触到的原始图像范围就越大,也意味着它可能蕴含更为全局,语义层次更高的特征;相反,值越小则表示其所包含的特征越趋向局部和细节。因此感受野的值可以用来大致判断每一层的抽象层次。
2. VGG网络的深度理解
VGG是在AlexNet的基础上改进的一个网络,重点改进在:
(1)采用连续的几个3x3的卷积核代替AlexNet中的较大卷积核(11x11,7x7,5x5)
对于给定的感受野(与输出有关的输入图片的局部大小),采用堆积的小卷积核是优于采用大的卷积核,因为多层非线性层可以增加网络深度来保证学习更复杂的模式,而且代价还比较小(参数更少),参数少了也可以有效避免过拟合
(2)引入1*1的卷积核
在不影响输入输出维度的情况下,引入非线性变换,增加网络的表达能力,降低计算量。
最核心的贡献:(1)小卷积核和多个小卷积核替代大卷积核。(2) 网络深度可以提升网络性能。