本公开涉及具有时钟选通的用于执行矩阵乘法的硬件单元。本公开提供了用于经由多级管线执行矩阵乘法的硬件单元和方法，其中，与管线的一个或多个级相关联的存储元件基于已知具有零值或者能被视为具有零值的数据元素和/或其部分而被时钟选通。在一些情况下，可以基于每个数据元素，基于该数据元素是否具有零值或者可以被视为具有零值来对存储元件进行时钟选通。在其他情况下，可以基于部分元素，基于该数据元素的位宽来对存储元件进行时钟选通。例如，如果数据元素的位宽小于该数据元素的最大位宽，则与该数据元素相关的一部分位可被视为具有零值并且与该数据元素相关联的一部分存储元件可以不被时钟控制。