本发明属于视频图像拼接与融合领域，具体是一种基于最优映射矩阵的全景图像拼接方法及装置。该方法包括：采集n路摄像设备对以机场场景区域同时拍摄得到的n个视频流；每个摄像设备拍摄一部分场景，每个摄像设备拍摄的场景与相邻摄像设备拍摄的场景具有重叠区；n为大于1的正整数；根据预设的各个摄像设备的畸变系数，对n个视频流中图像帧进行畸变校正；采用特征描述子处理校正后的同一时刻的图像帧，得到各个图像帧之间的最优映射矩阵；根据映射矩阵将该时刻的图像帧拼接，得到机场的全景图像。