本实用新型公开了一种小型浮动式取水装置，废水缓冲池内壁连通有用于抽取上清液的吸水固定管，吸水固定管的出水端连通有抽水泵；废水缓冲池内设有与吸水固定管的进水端连通的吸水软管，吸水软管的进水端连通有吸水短管，吸水短管的进水端设有用于滤除漂浮物的过滤网，吸水短管上侧设有能够漂浮在废水缓冲池内液面上的浮桶，浮桶内底面设有配重物。本实用新型吸水软管能够适应浮桶不同位置、高度的变化，吸水短管的进水端与液面能够保持固定的较小间距，从而使吸水短管始终能够汲取到水质最好的上清液，吸水短管的进水端上的过滤网能够滤除漂浮物，进一步提高了汲取到的上清液水质，能够有效降低后续处理上清液的装置工作负荷。