本发明公开了一种柔性装配系统，包括工控机、数据采集卡、运动控制卡、六自由度装配平台、第一视觉平台、第二视觉平台和支承平台，六自由度装配平台包括四自由度运动平台和两自由度调节装置，两自由度调节装置包括两自由度运动平台、夹持机构，夹持机构包括外框、可转动连接在外框内的柔性腕、安装在柔性腕上的两个夹持片、与两个夹持片相对应的两个驱动件、设于外框上的两个第一测力传感器以及设于柔性腕上的两个第二测力传感器，第一视觉平台上安装有第一图像采集设备，第二视觉平台上安装有第二图像采集设备。本发明还公开了一种柔性装配方法。本发明快速消除零件装配过程中的振颤问题，提升零件装配的效率，提高装配过程的快速性、稳定性。