本发明公开了一种基于多维度特征紧凑决策边界的未知网络流量分类方法及系统。包括模型构建阶段、分类阶段及更新阶段。其中模型构建阶段包含用于构建流特征提取模型的模型构建阶段1以及用于构建流分离模型的构建的模型构建阶段2。基于流分离模型，划分已知流量类与未知流量类边界。对于判定为已知类的流输出其对应的预测标签，并存储为已知类流量样本；对于判定为未知类的流，对其进行标记并存储为未知类流量样本。基于新类别样本数据与已知类样本数据组成新流量样本数据集，重复模型构建阶段操作进行模型更新。通过模型构建阶段、分类阶段和更新阶段，有效应对未知加密流量问题，在保证了分类精确度的同时使系统具有良好的可扩展性。