本发明涉及智慧医院建设及管理技术，公开了基于多模态数据的医患风险评估方法，其包括医患关键词库、医患人员数据库和医患记录数据库；方法包括；采集诊间问诊过程中的语音信号和院内监控的视频信号；对采集的信号通过冲突评估模型提取医患特征；对提取的医患特征进行拼接；医患风险的评估，针对提取的医患特征对比医患关键词库、医患人员数据库和医患记录数据库中的医患等级，通过医患风险评估模型更新医患等级；依据医患等级进行医患人员数据库的更新。本发明基于视频追踪、语音识别及模态特征融合，综合多种风险因素评估院内人员可能造成的医患威胁，防患医患事故于未然。