本发明公开了一种基于卷积神经网络的帧间图像模式决策方法，涉及图像处理技术领域，包括步骤：获取目标帧间图像执行合并模式后下一编码深度的编码图像和残差图像；以连接后的编码图像和残差图像作为输入信息，通过多层树CNN中的卷积层提取输入信息中的底层特征；通过多层树形CNN中预设层级数的残差层进行基于底层特征的逐层卷积；通过多层树形CNN中的全连接层进行各层卷积输出的全连接并获得目标帧间图像当前编码深度和分区划分下编码块的分区划分模式；根据各编码深度下各编码块的分区划分模式对目标帧间图像进行编码。本发明利用合并模式低编码比特率需求和卷积神经网络特征学习的优点，保持率失真性能的同时减少编码时间。