本发明公开了一种面向互补视角多目标协同跟踪的虚拟视频生成方法，所述方法包括：1)加载人物模型和场景建模，创建数据存储路径，随机初始并存储行人和多视角相机的初始位置；2)设置行人和相机的初始位置，按帧控制行人和相机的运动，并存储各视角相机下拍摄的包含行人和拍摄者的视频数据；3)删除场景建模，并将各视角相机的渲染背景设置为纯黑色，设置行人和相机的初始位置与步骤2)相同，每次只显示一人，按帧控制行人和相机的运动，并存储各视角相机下拍摄的该人纯黑背景视频数据；4)重复步骤3)；5)根据步骤4)中得到的所有单人纯黑背景视频计算得到每帧所有人的矩形标注框位置及其ID；6)去除每帧中被遮挡严重人物的标注框。