当前位置: 代码迷 >> 综合 >> RepMet: Representative-based metric learning for classification and few-shot object detection (2019)
  详细解决方案

RepMet: Representative-based metric learning for classification and few-shot object detection (2019)

热度:69   发布时间:2023-11-04 15:56:42.0

1. 出处

2019 CVPR
IBM研究团队

2. 问题

当前大多数小样本学习工作主要关注特定领域,比如人脸识别,一般的分类问题。很少有工作关注小样本目标检测问题,这类问题由于图像背景及需要精确定位物体位置变得复杂化。

3. 主要内容

提出了一种新的距离度量学习方法,能够同时学习backbone网络参数,embedding空间和每个训练类别的多模态分布。

用一个有多个模式的混合模型表示每个类,将这些模式的中心作为该类别的表示向量。

为了用少量的训练样本学习一个鲁棒的检测器,作者提出通过DML方法,用一个可以学习计算每个ROI的class posteriors的子网络代替分类头。子网络的输入是ROIs中的特征向量,一个给定ROI的class posterior通过比较它的embedding vector和每个类的表示集合来计算。

为了证明提出的距离度量学习方法的有效性,将DML架构作为分类头与标准的目标检测模型合并。

4. RepMet结构

作者提出了一个子网络结构和对应的损失函数,使得能够训练一个DML Embedding和multi-model混合分布,用于计算产生的embedding空间中的class posterior.作者首先利用DML embedding模型,包括几个全连接层,BN层,ReLU激活函数层。embedding模型的输出是一个向量。
在这里插入图片描述
representatives作为N*K*e大小的全连接层地权重被实现,输入是一个固定常量1。对于一个给定图像(或ROI)和它对应的embedding向量E,作者的网络计算N*K距离矩阵,每个元素d_ij是E到每个表示R_ij之间的距离。这些距离用于计算给定图像(或ROI)在每个类别i对应的每个模式j下的可能性。
在这里插入图片描述
假设所有类分布是各向同性的多元高斯函数与方差的混合物。在目前的实现中,没有学习混合系数,将判别类后验设为:
在这里插入图片描述
计算类i所有模式的混合值中的最大值。条件概率是真实类后验的上界,使用这种近似的原因是对于one-shot检测,在测试时,表示会替换成novel classes的embedding。混合系数与特定的模式有关,在测试室模式会发生改变,因此学习混合系数会变得很没有意义。因此,使用上界能消除估计混合系数的必要。
在这里插入图片描述
这部分损失是为了确保E和最近的错误类别的表示之间的距离至少是α。

  相关解决方案