本发明公开了一种船舶智能航行系统虚拟测试评价方法、系统、装置及介质，其中方法包括：选择船舶航行的虚拟测试水域，获取水域虚拟数据；选择船舶航行中的虚拟测试场景，获取场景虚拟数据；根据水域虚拟数据和场景虚拟数据显示虚拟画面，虚拟画面中包括虚拟船舶；获取基于虚拟画面的响应指令，响应指令为船舶驾驶人员或智能航行系统控制虚拟船舶输入的指令；根据响应指令生成测试结果，根据测试结果评估虚拟船舶由船舶驾驶人员控制或智能航行系统控制。本发明通过构建双盲人机混合测试，根据测试结果评估虚拟船舶由船舶由船舶驾驶人员控制还是智能航行系统控制，实现船舶智能航行系统智能能力的测试评价，可广泛应用于船舶智能航行评测领域。