本发明涉及医疗保健信息学技术领域，本发明公开了基于文本与图像识别的抑郁症检测系统，文本抑郁检测模块，其被配置为：对待检测文本进行分词处理；基于分词后的结果，确定文本关键词；对文本关键词进行分类得到文本抑郁分类结果，并计算出文本抑郁程度；图像抑郁检测模块，其被配置为：对待检测图像根据是否存在人脸进行分类；对不存在人脸区域的图像进行抑郁程度分类，得到图像的抑郁分类结果；或者对存在人脸区域的图像提取人物表情特征；对人物表情特征进行分类，得到图像抑郁分类结果；输出模块，既支持只输出文本或图片情感分析的结果，又支持同时考虑文本和图片的情感分析结果，通过对两者结果的归一化加权运算，得到总体的检测结果。