当前位置: 代码迷 >> 综合 >> few-shot learning(三):Pretraining and Fine Tuning
  详细解决方案

few-shot learning(三):Pretraining and Fine Tuning

热度:34   发布时间:2023-12-12 01:07:09.0

优点:简单,准确度高。

数学基础

余弦相似度

softmax

 softmax会把大的值变大,小的值变小。

  Few-shot Prediction Using Pretrained CNN

预训练一个大网络提取特征,预测时用到这个网络。可以使用多种方法训练(训练方法以及网络结构对结果会有影响),但是使用监督学习训练完,要把全连接层去掉。

 few-shot分类方法

拿Query与μ做对比。

 

Fine-Tuning

Fine-Tuning可以大幅提高准确率。之前的讨论,W与b是固定值。

 其实,可以在Support Set上微调这两个参数。

考虑防止过拟合:

Trick1: 好的初始化

 Trick2: 正则化

 Trick3: 余弦相似度+SoftMax分类器

总结

 

 

 

  相关解决方案