本发明涉及视频动作识别与分析技术领域，公开了一种自下而上改进的视频动作分割网络及其分割方法。本发明在多阶段时间卷积网络的基础上，自下而上的先加入可分离和共享卷积改进每一层空洞一维卷积，再在残差连接后加入自适应时间融合模块；在增加输入单元之间的依赖关系的同时引入一种注意力机制来自适应加权网络不同层的时间上下文特征，从而减少无效高频信号的传输，提高多尺度时间上下文特征融合的有效性，提高每一帧的可识别性，减少模糊帧的出现。该改进的多阶段时间卷积网络及采用其的视频动作分割方法具有良好的图像动作识别性能，也进一步提高了视频行为识别的有效性和智能化水平。