论文：RGB-Infrared Cross-Modality Person Re-Identification via Joint Pixel and Feature Alignment
出处：ICCV2019
文章目录
- 1. 创新点
- 2. 方法
1. 创新点
- 这是一篇利用GAN来解决基于RGB-IR的ReID问题的文章。模型由像素生成器、特征生成器和联合鉴别器，三要素之间进行大小博弈。缓解跨模态和模态内的差异，能够学习到身份一致性。
- 首次联合利用像素对齐和特征对齐。
- 基本思想：使用GAN网络生成与真实RGB图像对应的虚拟IR图像，再将假的IR图像与真实的IR图像做验证。
2. 方法
首先，作者对三种不同的对齐策略进行了讨论。
（a）常规的特征对齐。目标是减小两个模态之间的差异，混淆不同模态下数据的特征，让网络无法分辨出特征来自同一域或不同域。
（b）使用两对生成器和判别器，利用生成的伪红外图像来弥补RGB图像与红外图像之间的差距。两个生成器像素生成器Gp和特征生成器Gf分别训练两个鉴别器Dp和Df。通过Gp和Dp，可以生成伪红外图像，缓解像素空间的交叉模态变化。虽然生成的假红外图像与真实的红外图像相似，但由于视角变化、姿态变化和遮挡，仍然存在较大的类内差异。为了克服这个问题，采用了Gf和Df。因此，与(a)中仅使用特征对齐的模型不同，本模型是针对RGB- IR交叉模态识别，采用像素对齐和特征对齐的方法设计的。然而,这两种对齐策略是单独采用的，可能无法很好地互补和增强，从而获得身份一致的特征。
（c）AlignGAN。我们采用像素生成器Gp来生成基于RGB图像的身份保持伪红外图像。然后，利用基于身份分类和三重损失，利用特征生成器Gf将伪红外图像和真红外图像编码到一个共享的特征空间中，以减少模式内的变化。最后，为了学习识别一致性特征，我们提出了一种使Gp和Gf相互学习的联合鉴别器Dj。在这里，Dj以图像-特征对作为输入，将具有相同身份的真实的红外图像-特征对归类为1（real），其他的归类为0（fake）。相应地，Gp和Gf被优化以欺骗Dj。因此，来自不同身份的negative pairs被惩罚，maintain identity被显式地强制与对应的图像保持身份。通过Dj和Gp +Gf之间的max-min博弈，可以减少跨模态和模态内的变化，同时可以学习到身份一致性特征。
其次，作者详细介绍了网络框架（AlignGAN）和三个重要的组件（Gp,Gf,Dj）
AlignGAN(Alignment Generative Adversarial Network)
网络框架如下所示：
网络主要有三部分组成：像素对齐模块（P），特征对齐模块（F），联合鉴别模块（D）。P通过将RGB图像转变成身份一致的假IR图像减少跨模态的变化；F通过将真IR图像和假IR图像编码转到一个共享的特征空间，使用基于ID的身份损失和三元组损失进行优化；D通过使得P和F相互学习，惩罚负对（不是真的或属于不同的ID）的方式，获得身份一致性特征。
像素对齐模块（Pixel Alignment Module）
Gp就是学习一个从RGB图像到IR图像的映射，将RGB图像转化为IR风格，但是仍保持原ID，从而减少模态之间的变化。从像素级别缓和模态差异。
P模块属于一个通过CycleGAN模型训练生成跨模态图像，并通过cycle-consistency loss.和identity loss进行训练，本文输入RGB图像，经过GAN网络，生成一个伪红外图像。
特征对齐模块（Feature alignment module）
虽然P模块减少了交叉模态的差异，但是由于姿态、视角、光照等的不同，仍然会导致较大的模态内差异。也就是将P模块生成的伪红外图像与同ID的真红外图像分别作为Two-stream输入，经过CNN分别提取特征，生成real IR feature map和fake IR feature map，同样，通过identity-based classification loss 和 triplet loss 进行训练。
联合鉴别模块（Joint Discriminator Module）
本模块用一个联合判别器（Dj）组成，输入为F的输出，即image-feature pair (X,M)，输出为一个逻辑，1为real，0为fake，将P模块和F模块联合起来共同欺骗Dj，这样既会使得P中生成的伪红外图像及特征更加接近真红外图像及特征，本模块的loss采用交叉熵函数。