本发明公开了一种基于图文匹配的智能人机交互方法及装置，属于计算机视觉领域。所述方法包括：收集用户的语音信息转为文字序列，使用自然语言处理技术提取文字序列中的目标特征；采集真实环境图像，并采用深度卷积神经网络对所述原始图像数据提取自然图像特征；对原始图像中的各个目标与文字序列中的目标分别进行匹配度计算，取匹配度最大的图像中目标为匹配结果，并转化为机器指令。该发明结合计算机视觉技术与自然语言处理技术实现复杂命令与真实图像的匹配，能够根据一条自然语言表达指令，自动定位图像中的相关实体目标，使得交互过程更加自然，能够应用于助残机器人、救援机器人、特种机器人等广泛场景。