本发明公开了一种基于动态３Ｄ手写数字识别的虚拟人交互系统及方法，所述系统包括手势与数字识别模块、中央服务器模块与虚拟人控制模块，所述手势与数字识别模块用于提取手部区间，识别手势及手写轨迹；所述中央服务器模块用于连接手势与数字识别模块和虚拟人控制模块，实现数据的采集，传输和命令发送；所述虚拟人控制模块为在实际中与人进行互动的载体，展示出虚拟人，根据从中央服务器模块接受来的命令，对虚拟人进行动作、语言、表情等操控，实现与人的交互，该系统将空中手写数字识别技术与虚拟人交互技术进行结合，为人们提供了一种更加生动有趣的交互方式。