本发明涉及一种基于硬件加速的ORB特征点匹配系统及匹配方法，属于硬件加速以及同时定位与建图以及图像拼接技术领域。所述系统包含摄像头模块、PS端和PL端；PS端包括图像存储模块、方向向量计算模块以及位姿计算模块；PL端包括FAST算法执行模块、地址计算模块、旋转不变性描述子及签名计算模块、汉明距离计算模块、旋转不变性描述子存储单元、签名存储单元、匹配结果存储单元；摄像头模块连接PS端，PS端和PL端相连，所述方法对特征点环境像素进行低复杂度降维，构建低位宽的签名值，在匹配时对待匹配的特征点进行粗筛选得到粗筛后的特征点，再计算及比较特征点BRIEF描述子的汉明距离。所述方法节约了存储器资源，提高了ORB特征点匹配精度和速度。