本发明公开了一种基于光流网络与高斯背景建模的大坝白蚁视频识别方法，包括获取水库大坝监控白蚁活动的视频序列，逐帧读取图像并对图像预处理；用光流网络模型输出N个光流估计白蚁概率值图像；用混合高斯背景模型输出N帧运动目标概率值图像；分别对光流估计白蚁概率值图像、运动目标概率值图像进行图像后处理，再融合、滤除置信度小于T的目标、二值化、连通域分析，得到识别图像。本发明能补充由于运动目标像素与背景接近的漏检目标的情况、消除由直接使用光流法带来的光流造成的错检目标，自动完成监控，提高白蚁数目与活动状态识别的准确度，减少人工巡查的工作量并提高白蚁监控及处理的时效性，为水库大坝白蚁危害监控探索了新的方法。