本发明公开了一种双目视觉室内定位与建图方法及装置，包括：实时采集左右图像，并计算出相机的初始位姿；实时采集角速度信息和加速度信息，并预积分得到惯性测量单元状态量；构建一个包含若干图像帧的滑动窗口，以图像帧与帧之间的视觉误差项和惯性测量单元测量值的误差项为约束，对相机的初始位姿进行非线性优化，得到优化后的相机位姿及惯性测量单元测量值；构建词袋模型进行回环检测，校正优化后的相机位姿；提取左右图像特征后转换为单词并与离线地图的词袋进行匹配，成功则优化求解得到优化后的相机位姿，否则重新采集左右图像并进行词袋匹配。本发明可在未知环境中实现定位与建图，以及在已建图场景中的定位功能，具有较好的精度和鲁棒性。