本发明提出一种套齿连接结构早期摩擦失稳故障识别方法。首先确定带套齿连接结构转子系统的临界转速，可以利用有限元法计算该转子系统的临界转速，确定套齿摩擦早期失稳故障特征频带。实际操作中，可以通过实验方法或者商业软件计算的方法得到转子系统的一阶临界转速。采集转子系统振动信号并采集转速，进一步判断转速是否略高于一阶临界转速，并采集特征频带内振动信号，计算套齿摩擦早期失稳故障特征值，并根据特征值来判断是否发生了套齿摩擦早期失稳故障。本发明可以有效避免由失稳故障带来的重大损失的发生，且辨识流程简单，运算量小，在主流计算平台下响应时间在毫秒级，响应迅速，完全可以拓展应用到机载设备上，具有较高的工程应用价值。