本发明公开了一种基于视频的毫米波数据自动标注方法及系统，其中方法包括：采用多线程同步采集每个时刻待识别区域的毫米波数据和对应视频中的每一帧图像数据；将每一帧图像数据输入到训练好的行为识别神经网络模型进行识别，以得到每个时刻视频中的人体动作识别结果；对毫米波数据进行处理以得到带有时间维度信息的微多普勒特征数据；根据人体动作识别结果对微多普勒特征数据进行划分标注，以得到标注完成的毫米波数据；由此，通过同步采集视频数据和毫米波数据，以便通过视频数据对可解释性较弱的毫米波雷达数据进行标注，从而不仅节省了数据标注成本而且还提高了精确率。