自然人机交互的基础模型：研究运动目标实时获取的非确定性模型、在线三维笔运动模型等模型;构建面向自然草图交互的感知、认知与行为三位一体的心理模型;建立面向人机融合的实时交互模型，以可预测方式保障有人参与的物理信息系统中的实时交互。

　　自然人机交互的关键技术：研究笔式三维交互技术，探索VR下最优笔杆握姿， 充分发挥手指的灵活度;研究草图交互技术，设计场景草图素材的提取策略与场景草图创作辅助方法;基于多通道情感感知机制，建立音视频情感数据的解耦和融合机制，实现非特定用户头部跟踪与表情识别。