本申请公开了显存管理方法、装置、系统及设备。其中，所述方法包括：确定通过图形处理单元运行的多个机器学习任务的优先级；若要为高优先级任务分配显存资源、且可分配显存资源小于高优先级任务的显存资源需求量，则释放低优先级任务占用的至少一部分显存资源；为高优先级任务分配显存资源，以至少根据显存空间的张量数据，运行高优先级任务。采用这种处理方式，使得在可分配显存资源不足时，将低优先级任务占用的显存资源分配给高优先级任务使用，由此实现对在一个GPU上并行的多个机器学习任务占用的GPU显存资源进行动态伸缩优化，这样就可以在保障高优先级任务性能的前提下，提升整体集群的资源利用率。