本发明公开了一种自动识别移动终端场景的方法，包括以下步骤：收集预定义特定场景下各显示界面的布局特征；通过统计分析预定义特定场景布局特征的情况得到第一分类器；当移动终端上产生待识别的界面时，用第一分类器判断待识别界面是否为预定义特定场景。本发明不需要参考当前程序和界面名称，仅根据终端显示图像内容即可快速识别到用户终端当前使用场景。由于不需要参考当前程序和界面名称，还能适用于未知应用和恶意应用伪造程序和界面名称的情况，通用性强，使用方便。本发明还公开了一种自动识别移动终端场景的装置。