本发明公开基于深度学习的视频质量评价方法和服务器，其中方法包括如下步骤：载入用于视频质量评价的深度学习模型；根据深度学习模型实时计算当前终端的视频质量得分；实时计算当前终端的带宽；载入视频质量动态均衡策略，所述动态均衡策略为视频参数与视频质量得分和带宽之间的均衡策略；根据动态均衡策略动态重新分配视频参数。上述技术方案根据深度学习模型可以实时计算出视频质量，而后可以实现快速准确的视频质量评价，根据均衡策略，可以实现对终端视频的动态调整，从而提高终端视频质量。