本申请提供了一种并行计算方法及装置，所述方法包括：将卷积神经网络目标层的N个输入矩阵进行水平方向的拼接，获得第一拼接输入矩阵；矢量处理器根据所述计算标识对所述第一拼接输入矩阵进行水平方向的计算处理，得到拼接输出矩阵；从所述拼接输出矩阵中筛选出所述N个输出矩阵，并将所述N个输出矩阵作为卷积神经网络下一层的N个输入矩阵。本申请通过将输入矩阵进行水平方向的拼接，从而减少了处理器换行处理流水线时所需的载入和存储带来的额外开销，提升了矢量处理器在处理小尺寸数据时的计算性能。