本发明公开了一种规模可扩展的卷积神经网络加速系统，包括XDMA模块、存储器接口模块、同步模块、控制模块、外部存储器以及至少一个加速核；发明卷积神经网络最主要的运算为乘加计算，这些计算采用专用电路来实现，无论在性能和功耗上相比处理器皆有较大的提升；本发明提出了多通道并行运算的架构，克服了脉动阵列架构闲置率高、可扩展性差的缺点；将输入数据、权值参数分别存储于输入缓存单元、权值缓存单元中，以便于运算过程中高效地存取数据；按照既定规则切换权值参数缓存和输入缓存单元缓存的地址，依次将输入缓存单元和权值参数输入运算单元进行卷积运算，统一了不同尺寸、不同步长的卷积运算流程，简化了硬件设计结构。