本发明公开了一种基于雷达回波图的降雨预测方法及装置，构建降雨预测网络模型，所述降雨预测网络模型包括编码器和解码器，所述编码器包括依次连接的四个特征平衡提取模块，所述解码器也同样包括依次连接的四个特征平衡提取模块，所述编码器的第一、第二、第三特征平衡提取模块的输出还分别与所述解码器的第三、第二、第一特征平衡提取模块的输入进行连接。本发明仅仅在输入雷达回波图的情况下，对未来降雨趋势进行有效预测，克服了现存的降雨预测方法所需资源巨大且全局信息丢失的问题，在实际的应用中简单且有效。