本发明公开一种基于道路交通场景下的全景视频拼接方法及系统，包含图像采集、图像畸变矫正及预处理、图像特征点提取、图像匹配、匹配特征点对过滤、获取投影变换的单应性矩阵和图像融合。本发明通过深度学习网络实现特征点的提取和特征点匹配，图像特征点提取的时候，分别对动态前景和静态背景进行特征点提取，通过提取不同摄像头之间重叠区域背景和前景的特征点，并对特征点进行匹配，动态获取不同摄像头之间的相对位置关系，实现了对片区道路交通系统中摄像头间图像的实时融合拼接；解决了传统的单摄像头监控体系，需要相关人员人工调出相应多个摄像头图像，进行比对拼合，才能获取到有用信息等问题，同时完美解决了目标跨摄像头追踪问题。