本发明公开了一种基于转换模块的行为识别方法，涉及人体动作识别领域。基于转换模块的行为识别方法首先读取连续帧图像及构建掩码；然后构建转换模块输入数据，包括获取转换模块输入数据和位置掩码矩阵mask操作；再转换模块动作识别，包括数据预处理操作，经过连续编码模块后的数据处理，获得动作检测结果；最后将类别检测结果，与类别标签target计算交叉熵损失，优化网络参数。该方法使用使用自然语言理解中使用的转换模块用于提取连续帧图像的时空特征，同时，整个识别过程中仅使用转换模块，进而降低了方法的参数量、降低了整体计算量、提高了动作识别频率。