本发明提供一种基于高斯交叉注意力网络的跨模态行人检测方法，包括：S1，获取多源行人图像；S2，对多源行人图像进行数据预处理得到多源行人图像训练集；S3，对多源行人图像进行人工标注得到真值行人位置边界框坐标；S4，构建基于高斯交叉注意力的检测网络；S5，利用多源行人图像训练集训练基于高斯交叉注意力的检测网络，得到训练好的基于高斯交叉注意力的检测网络；S6，利用训练好的基于高斯交叉注意力的检测网络进行行人检测。本发明采用基于高斯交叉注意力的检测网络提取多源行人图像的深层显著特征并融合，直接获得表示行人位置的边界框坐标，在网络训练和实用中更为便捷灵活，节省计算资源和降低时间消耗。