基于时空自动编码器的异常行为检测方法属图像处理和模式识别技术领域，本发明首先获取待测区域的视频图像，然后将视频的光流信息和RGB信息分别输入到时空自编码器中，经过自动编码器中的3D卷积层、池化层、LSTM层和反卷积层，得出重构信息，将输入的信息与重构信息进行对比，分别依据异常评分公式得到异常评分，再将两种异常评分融合得到综合异常评分，与阈值进行比较，判别是否存在异常行为以及异常情况出现的时间，异常评分越高，异常情况发生的可能性越大。本发明通过融合多模态输入信息的时空自动编码器，在银行等公共区域检测到人群中的异常行为并给安保人员发出预警，以减少重大异常事件等突发情况的发生。