本发明提出一种基于细粒度结构化稀疏的在线训练方法和系统，包括：基于预设学习率和权重梯度，训练稠密模型；对该稠密模型的权重进行细粒度结构化稀疏，得到稀疏掩码，并基于该稀疏掩码训练稀疏模型，且在训练该稀疏模型的过程中更新该稀疏掩码和该稀疏模型的模型权重；固定该稀疏模型的网络结构再次训练该稀疏模型，且在再次训练该稀疏模型过程中仅更新该稀疏模型的模型权重，保存完成经过再次训练的稀疏模型的模型权重和稀疏掩码作为在线训练结果。稀疏模型比稠密模型的规模小，比稠密模型的通道数也小。在部署模型时采用稀疏模型，由于稀疏模型规模小，可以有效减少计算量，达到加速模型运行速度的技术效果。