本发明公开了一种基于中断的神经网络加速器多任务调度方法，该方法包括：通过待部署神经网络模型的每个神经网络生成正常指令序列，处理正常指令序列生成中断位置；获取中断位置进行网络切换所需必要数据，并将必要数据对应操作编码为虚拟指令；将正常指令序列和虚拟指令封装，得到包含虚指令的指令序列；在运行阶段时，同时调度多个神经网络对应的指令序列，对每个神经网络对应的封装后的包含虚指令的指令序列进行解封，得到正常指令和虚拟指令，根据任务切换请求对正常指令和虚拟指令进行微调。该方法通过监控当前神经网络任务执行状态，在任务切换时仅仅对极少数必须备份和恢复片上缓存进行备份和恢复，实现低延迟、低代价的多任务切换。