本发明公开了一种媒体播放终端设备的视频播放质量测试方法，包括步骤：A1.对媒体文件的每一视频帧赋予不同的帧序列号，确定与所述帧序列号对应的不同图形标记，并将所述图形标记叠加到所述媒体文件的对应视频帧上；A2.将该媒体文件作为测试源发送到媒体播放终端设备；A3.所述媒体播放终端设备将接收到的该媒体文件码流进行解码，并进行输出；A4.对输出的视频帧中的所述图形标记依次进行识别并生成与其对应的帧序列号，对所得到的帧序列号进行分析，作出视频播放质量的评价。本发明解决了媒体播放终端设备的视频播放流畅度的客观自动测试问题，能够节省大量的人力成本，大幅提高了测试精度和测试客观性。