本申请公开了一种基于亚像素边缘检测的结构振动响应自动识别方法及系统，包括：从对待识别刚性结构进行视频采集后得到的待识别视频帧中确定感兴趣区域，确定感兴趣区域上的与待识别刚性结构对应的目标亚像素级边缘点；基于目标亚像素级边缘点在第一帧与其他待识别视频帧之间的亚像素级相对位移确定所有目标亚像素级边缘点在所有待识别视频帧之间的实际位移时程，利用层次聚类分析从基于实际位移时程确定的模态中自动识别真实模态，以得到待识别刚性结构的振动响应，本申请基于刚性结构的亚像素级边缘点在第一帧与其他待识别视频帧间的亚像素级相对位移得到实际位移时程，利用层次聚类分析提取真实模态，实现提取的自动化并提高检测的准确率。