本发明公开了一种未知室内环境下基于视觉的互定位方法。用户1与用户2分别对面前的室内环境进行拍摄；用户1将图像构成自己的数据库，用户2将图像共享给用户1；数据库利用R‑FCN识别出用户1图像数据库中每幅图像含有的语义信息，并将语义信息转换为对应的语义序列，构成语义数据库；用户1接收用户2的图像中将该图片通过R‑FCN转换为语义序列，将该语义序列与语义数据库进行匹配，若未检索到相同则继续沿着当前的方向行走，若检索到相同的语义序列则选取最具代表性的语义目标建立位置联系；此时以该目标为中心建立坐标系，实现了在未知环境下用户间的交互式定位。本发明解决如何在未知环境中快速、准确地完成用户间的相互定位的问题。