本申请提供一种毫米波MIMO天线与混合波束成形优化方法及系统，该方法包括：获取训练样本集；构建深度学习神经网络模型；初始化深度学习神经网络模型的相关参数；利用训练样本集，对深度学习神经网络模型进行训练，保存训练后深度学习神经网络模型；将设定的网络输入数据中输入到保存的深度学习神经网络模型中进行预测，获取所述频谱效率取最大值时的最优天线子阵列、发射端最优模拟预编码器矩阵和接收端最优模拟组合器矩阵。本申请利用深度学习神经网络将天线选择问题与混合波束成形问题联合优化，能够同时兼顾性能与算法复杂度，可以在保证性能的前提下降低时延，使得毫米波大规模MIMO系统能提供实时服务。