本发明公开了一种基于编码辅助信息的多实例图像分割方法，属于图像编码与实例分割技术领域。本发明针对现有多实例图像分割方法只用原始图像进行实例分割所导致的不足，提供一种基于编码辅助信息的多实例图像分割方法。本发明对输入图像通过图像解码算法得到不同大小的亮度和色差宏块，并提取出帧内预测方向信息，从而将得到的编码单元尺度谱和帧内预测方向谱作为编码辅助信息，能够充分利用了图像的信息。本发明将长短期记忆网络用于除文本分类和自然语言处理以外的领域，用长短期记忆网络将尺度谱、方向谱和原始图像融合在一起，从而提高多实例图像分割的准确度。