本发明涉及视频图像处理技术，其公开了一种基于人体骨架和运动信号特征的暴力行为检测方法，提高检测的实时性和准确性，且能适应多种不同的监测环境。该方法包括：a.按一定时间间隔连续提取3帧，然后根据相邻两帧的帧差求取人体骨架的关键部位像素的位移向量，提取其中运动的像素，并进行运动区域划分；b.根据每张图中的运动区域数量和方向对运动类型进行分类；c.计算每个运行类型分类下图片的运动信号的统计量；d.将运动信号的统计量作为特征输入到训练好的SVM模型中进行暴力行为的预测。此外，本发明还提供了一种基于人体骨架和运动信号特征的暴力行为检测系统，适用于多种应用场景。