提供一种交互服务器及其控制方法和交互系统。所述交互服务器包括：通信器，与显示设备进行通信来接收第一发音信号；存储装置，存储在接收到第一发音信号之前从显示设备接收的第二发音信号的发音历史信息；提取器，从接收的第一发音信号提取发音元素；控制器，基于存储在存储装置中的发音历史信息和提取的发音元素中的至少一个产生响应信息，并将所述响应信息发送到显示设备。因此，交互服务器针对关于用户的各种发音，理解用户的意图，以根据意图产生响应信息，并将响应信息发送到显示设备。