本发明提供一种跨用户行为识别迁移学习方法，包括如下步骤：获取源数据集D_S，目标数据集D_T；构建用户行为识别初始网络模型，并使用源数据集对用户行为识别初始网络模型进行训练，构建用户行为识别迁移网络模型，采用用户行为识别初始网络模型进行初始化；随机抽取源数据集和目标数据集中相同类别的行为数据，组成训练集，根据用户的行为类别逐一训练特征对齐网络；采用目标数据集训练迁移网络模型，更新分类器，并对目标特征网络、特征对齐网络进行微调。本发明利用源域和目标域数据的特征通过找到两域数据之间的公共特征，缩小特征空间中两种数据的差距，完成迁移，从行为类别特征考虑人与人之间的行为类别差异，提高用户行为识别的准确性。