星辰视界：智慧眼AI Lab之小样本学习

当深度学习知名于业界时，存在于深度学习和人类智能的一个显著差异亦为大众所知：人类可以从很少的资源中学习或识别一个概念，而深度学习则需要大量的标注样本进行训练才能得到一个满意的效果。

但是在实际应用场景中，能够同时覆盖时间、空间、颜色、形状和行为等特征的数据少之又少，再加上数据标注通常非常困难，小样本深度学习（few-shot learning）也就应运而生了。

什么是小样本深度学习？

一岁多的婴儿，根据绘本的物体图片，比如一把绿色的铲子，在学习一两次后，就可以爬到玩具堆里找到几把不同形状和颜色的铲子，同时把绘本翻到对应的页面。

我们看到，人类具有只通过少量样本或特征描述就可以识别物体的能力，受人类这种快速学习能力的启发，研究人员希望机器学习也能够只通过学习少量样本就可以进行快速建模，对不同的类别进行区分，而且能在不改变模型参数的情况下，对新类别进行识别，这就是小样本学习（few-shot learning）。

小样本学习(FSL)利用先验知识，可以快速泛化到只包含少量监督信息的样本新任务中。

小样本学习，可认为是Meta Learning在监督学习上的应用，即在训练阶段，每次迭代（episode）会对样本采样，得到一个meta task；在不同的迭代中，训练数据包含了不同的组合，使得模型会去学习不同meta task中的共性部分，忘掉和task相关的部分。因此在面对meta test时也能进行较好的分类。 

图1 Few-shot Learning 示例

图 1 展示的是一个 2-way 5-shot 的示例，可以看到 meta training 阶段构建了一系列 meta-task 来让模型学习根据 support set 预测 batch set 中的样本标签；meta testing 阶段输入数据的形式与训练阶段一致（2-way 5-shot），但是会在全新的类别上构建 support set 和 batch。

小样本深度学习的分类

Few-shot Learning 模型大致可分为三类：Mode Based，Metric Based 和 Optimization Based。

图2 FSL模型分类

Model Based方法旨在通过模型结构的设计快速在少量样本上更新参数，直接建立输入 x 和预测值P的映射函数；Metric Based方法通过度量batch集中样本和 support 集中样本的距离，借助最近邻的思想完成分类；Optimization Based方法认为普通的梯度下降方法难以在 few-shot 场景下拟合，因此通过调整优化方法来完成小样本分类的任务。

智慧眼的应用探索

针对 Metric Based 系列方法，智慧眼AI Lab提出了 CNN-LSTM-Fusion的三级框架，如图3所示，目前已应用到异常检测场景，比如火灾检测、少数民族识别和表情识别当中。Spatial learning模块用CNN结构学习每一帧的语义特征；Temporal Learning模块用LSTM，可以归纳和融合出事件的典型类别特征；Fusion模块用于融合特征和类别直接的关系，进而给出分类决策。

图3 基于FSL的异常检测模型

 未来发展

可以预见，小样本深度学习因其只需少量数据进行训练就能得到较好效果的优势，可以应用于很多场景，如医疗数据、手机上用户手动标注的数据、少量的异常数据等。

智慧眼AI Lab将对小样本深度学习进行持续探索，同时尝试将小样本与强化学习、迁移学习等技术进行融合，以期为人工智能研究带来新的技术突破！