本发明公开了一种基于点云和不同视角下的图像的三维目标检测系统及方法。首先处理原始点云数据，输出候选目标的三维包围盒以及点云特征张量；然后根据不同视角下多帧相机采集到的图像数据、每张图像的采集时间戳、点云采集设备和不同相机之间的标定参数、候选目标的三维包围盒，得到候选目标的图像特征张量；再将候选目标的点云特征张量和图像特征张量进行特征融合，得到融合后的特征张量；最后结合候选目标的融合后的特征张量和三维包围盒，得到目标的三维检测信息。本发明解决了多传感器融合产生的时间配准以及点云运动补偿等产生误差的问题，提高了三维目标检测的精度。