本发明提出了一种基于增强现实与移动交互的虚拟装配方法。该方法利用LeapMotion来获取人手的手势数据，将其投射到虚拟环境中与虚拟模型进行交互；利用IKF和IPF来估计手的位置和方向；通过Kinect获取到的人身的关节数据来定位人的位置，再利用AR技术将虚拟的3D装配机器人以及装配零件的模型投射到人的身前；磁力反馈利用电磁力让操作者感受到装配过程中零件之间的相互作用力。本发明利用AR技术让操作者可以360度无死角观察零件，提高了虚拟装配过程中的沉浸感，同时电磁力反馈让操作者更清晰地感受到了零件之间的相互作用，从而可以知道零件之间的适配情况，更加接近真实装配的情况，操作更自然方便。