本发明公开了一种红外弱小飞行目标自适应检测跟踪方法、装置，所述方法包括：对所述原始红外影像的图像帧，应用窗口大小调整步骤，适用第一模板和第二模板遍历图像帧进行计算，得到第一方差图和第二方差图；其中，窗口大小调整步骤：计算图像帧的全局标准差；适用第一模板遍历图像帧，计算得到第一局部标准差，增加第一窗口大小，直到全局标准差大于第一局部标准差，确定第一窗口大小；适用第二模板遍历图像帧，计算得到第二局部标准差，增大第二窗口大小，直到第二局部标准差大于第一局部标准差，确定第二窗口大小。采用上述技术方案，滤波窗口大小自适应变化，基于变化的滤波窗口，实现时刻稳定捕捉弱小目标，提高弱小目标检测跟踪的可靠性。