本实用新型公开了一种铁棒除锈设备用杂质清除机构，包括机架、夹持座、活动板、滑槽、连接轴套、调节螺杆、第一固定座和第二固定座、打磨辊、转动轴以及驱动组件。本实用新型一种铁棒除锈设备用杂质清除机构由于打磨辊与转动轴之间通过固定螺钉相连接，进而便于实现对打磨辊的快速拆装，进而便于对打磨辊进行更换，避免了打磨辊在长期的使用过程中，打磨辊的打磨效果降低；另外由于第二固定座的内壁设置有内螺纹，进而便于通过第二固定座的内螺纹与调节螺杆之间相互互补的作用，对夹持座相对于打磨辊的之间的相对距离进行调节，进而便于打磨辊对铁棒上的杂质进行打磨清除。