本申请公开了一种曼哈顿场景消失点、消失线检测方法及装置，该方法中针对每条直线，计算与该直线同方向同长度的相邻两条直线的线积分的差值，根据差值计算得到该直线的边缘响应，根据各直线的边缘响应以及非极大值抑制方法得到消失线，建立待检测图像的曼哈顿场景参数的贝叶斯概率模型，在待检测图像中搜索竖直方向消失点的位置，通过霍夫变换的方式确定水平方向消失点的位置，根据水平方向消失点的位置对曼哈顿场景参数进行初始化，基于贝叶斯概率模型和模拟退火算法对初始化后的曼哈顿场景参数进行优化得到消失点的位置。在本申请的技术方案中，能够鲁棒的检测出待检测图像中反映结构信息的直线，可以检测到全局最优的消失点避免陷入局部最优。