本发明涉及一种基于多维原型重构增强学习的小样本行为识别方法，包括在计算得到视频描述子之后，通过动态时序转换进行网络优化，计算所述支持集视频描述子中的每一类视频的类平均原型，并利用重加权相似度注意力分别计算查询集样本和支持集样本与类平均原型的相似度，根据各自对应的相似度对支持集样本和查询集样本重加权，得到两个原型，将两个原型进行加权求和得到交叉增强原型，并且构建双三元组优化分类特征空间增强所述交叉增强原型对不同类别的可鉴别能力，利用优化后的所述交叉增强原型对所述查询集样本中的视频进行分类，其大大提高了分类准确度。