JustSong Archive Link About
Projects
Categories
Others

Instance Credibility Inference for Few-Shot Learning(CVPR 2020)

Tag: 论文阅读笔记 Posted on 2020-09-01 23:32:06 Edited on 2020-09-01 23:34:03 Views: 219

Abstract

背景

少样本学习致力于在每个种类的训练样本数量非常少的情况下识别出新的样本的种类,前人的工作主要是用元学习或者数据扩充来缓解极度缺乏数据的问题。

 

创新点

这篇文章提出了一个新的统计方法:实例可信度推断(Instance Credibility Inference),亦即 ICL

首先使用有标签的数据训练一个线性分类器,然后用该分类器去推断没有标签的数据的伪标签。之后对这些生成的伪标签的可信度进行度量,选取其中具有较高可信度的伪标签对应的实例 / 样本,之后结合这些具有伪标签的实例我们重新训练线性分类器,像这样迭代下去,直到所有的没有标签的样本都有了较高可信度的伪标签。

 

效果

在少样本学习常用的四个测试训练集(miniImageNet, tieredImageNet, CIFAR-FS 以及 CUB)上都取得了 state of the art

 

相关链接

https://github.com/Yikai-Wang/ICI-FSL

https://zhuanlan.zhihu.com/p/120354934

https://arxiv.org/pdf/2003.11853.pdf

 

Introduction

Selft-taught learning 是一种使用未标记的数据的方法,其思想是使用一个训练过的分类器对未标记的数据进行推断,即赋予其伪标签,之后拿这些具有伪标签的数据去更新我们之前的分类器。

 

但是有一个问题:由我们训练的分类器推断出的伪标签未必是充分可信的,且错误分类的标签可能会严重影响分类器的性能。因此衡量伪标签的可信度就很关键了。

 

因此作者结合自己提出的 ICL self-taught learning 做出了改进:

 

Images 
F eatures 
Train 
Selected Subset 
Residual Subset 
Updating the Unlabeled set

Methodology

首先使用一个 feature extractor 对原输入样本进行特征提取并使用 PCA 进行降维,对于样本 i,处理之后即得到其特征向量 xi

对于具有标签的数据,yi 表示其标签;对于没有标签的数据,yi 表示其伪标签,这里我们使用一个线性回归模型来预测该伪标签:

其中:

  1. β 是用于分类的参数矩阵,称之为结构化参数
  2. ε 是均值为 0 的高斯噪声;
  3. γi 是一个与样本 i 相关的参数,称之为偶发参数,可以视为对回归模型的修正,其范数越大,说明模型对该样本的拟合程度越差,当该样本的标签为伪标签时,本文认为其可以反映该样本的伪标签的可信程度。

 

在小样本学习的推断阶段,我们利用有标签的小样本训练一个线性分类器,利用该线性分类器对无标签样本进行推断赋予伪标签,之后我们对有标签样本和伪标签样本构建含偶发参数的线性回归模型,并求解相关的结构化参数和偶发参数。https://zhuanlan.zhihu.com/p/120354934

 

因此可以将我们的优化问题表达如下:

(注意是矩阵形式的表达)

求出该方程对 β 的偏导,令其为 0,解得:

将其代入原方程,有:

„опхх

其中:

 

惩罚项 λR 中的 R

 

进一步进行简化:

其中:

 

现在我们已经将问题转换为一个以 γ 为系数的线性回归模型,但是其解与惩罚项系数 γ 相关。

这里引入一个假设:我们假设一个可信度较高的样本在不同的 λ 的取值下相较于可信度较低的样本其鲁棒性更好。

 

之后采用 Glmnet 实现的算法求解该问题的解路径。

 

大致思想是随着 λ 的增大,矩阵 γ 中的项逐渐变为 0,表明我们的线性回归模型此时无需修正就可以拟合对应的样本点。

 
因此,我们可以根据 γi 变为 0 时对应的 λ 值对所有的伪标签样本进行排序,并从中选取最可信的子集与我们的有标签样本集合一起重新训练我们的线性分类器。
 
 
实验结果:

minilmageNet 
tieredlmage Net 
CIFAR-FS 
Setting 
Tran. 
In. 
Tran. 
Semi- 
Semi- 
Semi. 
Semi. 
Model 
Baseline• [71 
Baseline#• [7] 
MatchingNet• [53 
ProtoNet• [ARI 
MAMI-• [101 
RelationNet• [461 
adaResNet [3 1] 
TapNet [561 
CTMt 1251 
MetaOptNet [231 
TPN [28] 
TEAW [341 
MSkM with MTL 
TPN with MTL 
MSkM [371 
TPN 1281 
LST [451 
SVM 
LR + ICI 
SVM + ICI 
SVM ICI (15/15) 
SVM 4 ICI (30/50) 
LR + ICI (15/15) 
LR + ICI (30/50) 
LR + ICI (80/80) 
Ishot 
51.75 
51.87 
52.911 
54.161 
49.611 
52.481 
56.88 
61.65 
64.12 
64.09 
59.46 
60.07 
62.102 
62.702 
50.40 
52.78 
70.10 
56.06 
34.46 
66.80 
65.77 
64.81 
68.24 
65.86 
69.66 
71.41 
5shot 
74.27 
75.68 
68.881 
73.681 
65.721 
69.831 
71.94 
76.36 
80.51 
80.00 
75.65 
75.90 
73.602 
74.202 
64.40 
66.42 
78.70 
75.70 
74.76 
79.26 
78.94 
78.11 
79.25 
78.87 
80.11 
81.12 
Ishot 
63.08 
68.41 
65.81 
58.684 
68.62 
72.102 
52.40 
55.70 
77.70 
69.02 
67.51 
80.79 
80.56 
79.72 
83.14 
81.10 
84.01 
85.44 
ôshot 
80.26 
84.28 
81.75 
74.264 
81.002 
83.302 
69.90 
71.00 
85.20 
85.37 
84.67 
87.92 
87.93 
87.39 
88.58 
87.83 
89.00 
89.12 
Ishot 
72.203 
72.60 
65.894 
70.43 
62.25 
60.94 
73.97 
73.16 
72.52 
75.50 
73.67 
76.51 
7807 
5shot 
83.503 
84.30 
79.384 
81.25 
so.S2 
79.93 
84.13 
83.72 
83.23 
S4.oo 
83.85 
84.32 
8476 
1 shot 
65.51 
67.02 
72.361 
71.881 
69.961 
67.591 
80.16 
76.16 
75.84 
88.06 
87.87 
86.83 
88.94 
87.28 
89.58 
91.11 
CUB 
5shot 
82.85 
83.58 
83.641 
87.421 
82.701 
82.751 
87.17 
90.32 
89.26 
92_53 
92.38 
91.58 
92.14 
92.18 
92.48 
92.98

未经允许,禁止转载,本文源站链接:https://iamazing.cn/