当前位置: 代码迷 >> 综合 >> DYNAMICALLY DECODING SOURCE DOMAIN KNOWLEDGE FOR UNSEEN DOMAIN GENERALIZATION
  详细解决方案

DYNAMICALLY DECODING SOURCE DOMAIN KNOWLEDGE FOR UNSEEN DOMAIN GENERALIZATION

热度:40   发布时间:2023-10-31 18:53:02.0

题目:DYNAMICALLY DECODING SOURCE DOMAIN KNOWLEDGE FOR UNSEEN DOMAIN GENERALIZATION
作者:Cuicui Kang and Karthik Nandakumar

一、研究背景:
跨域:提取域不变特征、聚合多个专家域的知识
缺陷:源域知识没有被很好地利用。缺少知识转换或源域间的交互,在生成特征时没有恰当地探究源域间关系。

二、研究目标:
动态解码源域知识,辅助未知域的推理,实现域泛化

三、技术路线:
在这里插入图片描述
未知域和源域会有某些相似性,如果可以发现域间关系,相近的域专家可以给新图片更好的指导。
1、CNN:浅层通用特征提取
2、为每个源域设置一个域特有专家,并设置一个不可知域分支作为查询;
3、Transformer:深层特征提取、域关系探索
基于transformer的编码器编码源域特征作为源域知识记忆,利用自注意力机制发现域间相似性,共享通用、特有域知识;稳固深层架构的学习。
基于transformer的解码器动态解码源域知识,利用交叉注意力使域不可知查询向量和源域知识记忆进行交互,令相似的域贡献更大
4、同时输入多张不同域图片,将源域专家提取的特征作拼接后送入编码器生成记忆;在解码器中利用交叉注意力探究不同域的关系;查询分支依次对比每张图片。
在这里插入图片描述
四、实验结果:
在这里插入图片描述

  相关解决方案