本发明提供了一种计算机图形界面交互方法及系统，该方法包括：S1，计算机图形界面接收用户语音或文字指令，如果是语音指令，则使用语音识别技术转写成文字指令；S2，基于文本相似度计算技术，将用户的文字指令与当前图形界面交互知识库的控件指令匹配；S3，如果通过控件指令未命中控件，则使用控件标签来计算用户的文字指令与控件的匹配度；S4，根据步骤S2或S3得到与用户的文字指令相匹配的命中控件，将命中控件更新到交互状态中，并自动触发用户的文字指令对应的操作事件。本发明运用人工智能技术改进计算机图形界面交互方式，使得计算机能够根据人的语音或文字指令生成相应动作，实现计算机适应人，具有简单直观、智能化、人性化的特点。