本发明公开了一种基于视觉的服装标识判别与剔除装置，其包括服装翻转装置、相机以及剔除机构；服装翻转装置包括输送部以及翻转执行部；翻转执行部用于将服装从不带标识的一面朝上的状态翻转成带有标识的一面朝上的状态；相机用于获取翻转后的服装的图像；剔除机构与输送部对接，并能够在第一状态与第二状态之间切换；其处于第一状态与第二状态时，分别将服装输送给第一承接单元与第二承接单元。本发明的基于视觉的服装标识判别与剔除装置的设置位置安排在两个检针机之间，在服装的一侧被检针处理之后，服装翻转装置负责将服装翻转，相机获取服装的图像供控制器判别，控制器根据判别结果控制剔除机构对标识不符合要求的服装进行剔除。