本公开提出了基于卷积自编码器的库函数识别检测方法及系统，包括：从各待测软件中提取出二进制函数对应的指令序列，然后提取出指令序列中的操作码；对两个操作码的连续序列进行计数，来为每个函数构造一个共现矩阵，用以作为输入来训练卷积自编码器模型，利用卷积自编码器模型进行瓶颈特征的提取，完成模型训练；用训练后的模型对库函数进行编码，然后对库函数进行相似性分析，识别出相似性系数最高的库函数并作为最终匹配项。拥有很好的泛用性，对各种新引入的匹配对象可以直接进行标记，并且获得很好的效果。