本实用新型涉及一种基于JPEG图像的目标异常检测装置，包括JPEG图像输入单元及通过通信接口与其相连的JPEG图像异常检测单元，其特征在于：所述JPEG图像异常检测单元包括有第一存储模块、一Huffman解码模块、第二存储模块、第一统计模块、第二统计模块和一比较器，当通信接口传送过来JPEG图像时，JPEG图像异常检测单元对JPEG图像进行Huffman解码，得到直流离散余弦系数DC_Y、DC_U和DC_V，通过比较直流离散余弦系数从而判断出监控现场是否出现目标异常，输出相应的开关量。与现有技术相比，本实用新型直接对JPEG图像数据进行处理，省去将JPEG图像解码成YUV数据的过程，从而大大地提高异常目标检测速度。