本实用新型提供了一种用于加气块砌体竖向灰缝填充的装置，其包括灰缝压实组件以及混凝土料槽；灰缝压实组件包括灰缝模壳以及混凝土捣具，灰缝模壳由两块用以抵靠在竖向灰缝两侧砌体上的灰缝侧挡板、连接两块灰缝侧挡板的灰缝中间挡板以及连接灰缝侧挡板的上沿和灰缝中间挡板上沿的捣具限位板围合而成，在捣具限位板上开有一条条形捣具孔；混凝土捣上部为手柄，下部为若干根插杆；混凝土料槽包括底槽板以及槽侧板，混凝土料槽设置在灰缝模壳的前侧，两混凝土料槽侧板分别与灰缝模壳的两个灰缝侧挡板相接，底槽板的下边沿与灰缝模壳的灰缝中间挡板的下边沿平齐。本实用新型的灰缝填充质量高，而且还能节省后续的勒缝工序，有助于提升施工效率。