本发明公开了一种基于新型记忆网络的视频异常检测方法，基于以按时间顺序排列的视频样本帧，构建视频异常帧检测模型，然后应用视频异常帧检测模型，完成视频样本帧正常或异常检测，视频异常帧检测模型包括用于提取视频样本帧特征图的初步特征提取网络，用于对特征图所组建的特征图组进行深度特征提取的深度特征提取分类网络，基于深度特征提取分类网络输出所对应的标签中的分量，以及分类损失模型，构建判定视频样本帧序列中每一帧视频样本帧正常或异常的异常分数，该方法可更好地提取视频样本帧中的特征信息，提高视频异常帧检测模型的适应能力。