本申请公开了一种用于拼接显示的信号处理装置及其信号处理方法，其中信号处理装置包括：采集模块、控制模块、拼接处理模块和输出模块；拼接处理模块具有多个信号处理通道；采集模块，用于采集待显示视频信号；控制模块，用于根据输出模块中显示单元的开窗数量，调整拼接处理模块拼接处理待显示视频信号时信号处理通道的通道数量；拼接处理模块，用于对待显示视频信号进行拼接处理；输出模块，用于将拼接处理后的待显示视频信号输出至显示单元，解决了现有的视频信号处理装置在客户只开启部分显示单元时，未被开启的显示单元对应的输出模块无法对输入的视频信号进行处理，造成了硬件资源浪费，无法发挥出其应有性能的技术问题。