本发明涉及一种行人流量检测方法和系统，属于图像预处理及识别技术领域，解决了现有自注意力模型的训练时间超出预期时间及全连接层的二分类效果差等问题。该方法包括：获取预训练图像集、训练图像集和验证图像集，使用数据增广的方式对预训练和训练图像集进行扩增；构建检测模型，检测模型包括自注意力模块和代替全连接层的支撑向量机；使用预训练图像集对检测模型进行预训练；使用训练图像集对预训练后的检测模型进行正式训练，然后使用验证图像集进行验证以生成训练完成的检测模型；获取待检测图像，并将待检测图像发送给训练完成的检测模型以获取识别结果。预训练数据集进行预训练显著减少了训练时间及使用支撑向量机能够提高二分类性能。