本发明公开了一种基于XR技术的人机交互方法及系统，包括：基于交互任务，通过采集用户位置和用户观察视角，获取用户的主视角图像、辅助视角图像，以及主视角图像和辅助视角图像之间的配置方法和融合模式；基于用户观察视角和用户位置，根据配置方法和融合模式，构建基于用户观察视角的多视角融合图像，用于为用户提供不同的视角图像；本发明通过采集用户的不同指令，根据用户的位置生成对应该用户位置多视角图像，用户能够通过切换主视角图像和辅助视角图像，或者通过选择图像中的特征点，来进行多角度图像的观察，实现了对于同一物体的多角度观察的技术需求，并为多用户融合的人机交互智能处理技术提供了技术参考。