本发明公开了一种视觉缺陷检测的数据处理方法，包括当线阵相机摄像头和待测物之间相对移动至不同位置时，通过线阵相机摄像头采集每个位置多个不同光场照射待测物的图像数据；将同一光场下采集的不同位置的图像数据存储在同一缓存空间；将各个缓存空间的图像数据上传至上位机，以便上位机基于同一光场对应的图像数据拼接形成待测物的检测图像并进行待测物的缺陷分析。本申请中对待测物的同一位置的不同光场均进行一组图像数据的采集，避免因光照不合理导致缺陷在图像中显现不明显的问题；并将图像数据按照不同光场进行分区存储，减少了上位机的运算量。本申请还公开了一种视觉缺陷检测的数据处理装置、FPGA芯片以及视觉缺陷检测系统。