本发明公开了一种神经网络的性能测试和训练方法和设备，涉及深度学习技术领域。其中，方法包括：采用多个场景的多张图片对目标神经网络进行测试，得到所述目标神经网络对每个场景识别的错误率；获取所述多个场景中每个场景在现实中发生的频率；根据所述错误率和频率，计算所述目标神经网络对每个场景识别正确的期望概率；如果存在一不满足要求的期望概率，针对所述不满足要求的期望概率所对应的场景对所述目标神经网络进行重新训练。本发明通过科学合理的性能指标发现表现不佳的场景，从而提高网络性能，提高识别的准确性。