本发明公开了一种基于记忆单元强化‑时序动态学习的行为识别方法，用于解决现有行为识别方法实用性差的技术问题。技术方案是采用融合记忆单元的递归神经网络建模长时视频序列的时序结构信息，通过离散化记忆单元读写控制器模块将视频序列的每一视频帧分类为相关帧与噪音帧，将相关帧的信息写入记忆单元同时忽略噪音帧信息。该方法能够滤掉未剪辑视频中大量的噪音信息，融合记忆单元的递归神经网络实现了大跨度时序结构的连接，通过数据驱动的自主训练学习，对复杂人物行为的长时时序结构模式进行建模，解决了背景技术对长时、未剪辑视频的运动模式复杂，背景变化多难题，提升了人物行为识别方法的鲁棒性，并且达到了平均94.8％的识别准确率。