近日，北京航空航天大学  王琼华 教授团队开发出一套 悬浮真 3D 显示实时交互系统，展现出了该种 3D 显示与交互系统的雏形。该系统能够动态地显示裸眼3D图像，在 3D 片源分辨率为 4K 下实现 30 帧/秒的 实时、准确的手势交互，并且支持通过预设的 多种手势实现多手对多物体的独立交互。

 

该成果以“ 基于 Leap Motion 手势识别的悬浮真 3D 显示实时交互系统”为题发表于《 液晶与显示》（ESCI、Scopus收录，中文核心期刊）2022 年第 5 期。

 

1. 悬浮真3D显示实时交互系统构成

 

该系统主要分为显示模块和交互模块，并通过计算机进行衔接和数据处理。

 

图2：系统结构（图源：液晶与显示, 2022, 37(5): 658. Fig. 6）

 

显示模块基于集成成像 3D 显示，这一技术可追溯到 1908 年 Lippmann G. 提出的集成摄影术。集成成像 3D 显示利用光路可逆原理，使用透镜阵列将光线在特定的空间点先汇聚再发散，如同光本就是从汇聚点发出的一样，从而模拟真实物体表面发光或反射光的情况，因此被认为是一种裸眼真 3D 显示。

 

在此基础上研究人员应用了悬浮器件—— 二面角反射镜阵列。从一个点光源出发出的光经过每个二面角反射镜单元后，被反射 2 次汇聚成悬浮于空中的像。因此集成成像 3D 显示的 3D 图像将被投射出整个系统之外，带来更强的视觉冲击，也为更自由的交互提供便利。

 

图3：悬浮真 3D 显示原理（图源：液晶与显示, 2022, 37(5): 655. Fig. 2）

 

图4：二面角反射镜单元（图源：液晶与显示, 2022, 37(5):655. Fig. 3）

 

交互模块通过体感控制器 Leap Motion 采集手势数据。Leap Motion 是一款基于双目计算机视觉的体感控制器，它通过顶部的透明窗口拍摄图片，提取用户手的关节特征，进而反映整个手的手势和姿态。Leap Motion 采集到的数据将被送入计算机处理，把用户手势反映的信息转化为控制 3D 片源变化的指令，实现 3D 片源随着手势动态变化，也就能结合显示模块实现 3D 图像随着手势动态变化。

 

图5：Leap Motion 以及参考坐标系（图源：Leap Motion 官网）

 

2. 准确手势交互的实现方法

由于 Leap Motion 的参考坐标系和 3D 图像的参考坐标系原本不存在关联，因此悬浮于用户身体左侧的物体可能与位于用户身体右侧的手产生交互，这就自然而然带来违和感和交互的不便利性。

 

为解决此问题，研究人员通过标定以及矩阵变换的方法，将 Leap Motion 的坐标映射到 3D 图像的参考坐标系；相当于在 3D 图像所在的虚拟空间生成了一个虚拟手来控制 3D 图像的变化，而这一虚拟手由于现实中用户的手处在相同的空间位置，达到了虚拟和现实的统一。

 

3. 多手对多物体的独立交互

 

目前国内外进行了一些悬浮真 3D 显示手势交互技术研究，但多数仅考虑单个 3D 物体的交互或 3D 场景的整体交互，未考虑复杂 3D 场景中多个 3D 物体的独立交互。那么如何理解独立交互呢？想象一下我们日常生活中用到的个人电脑，我们新建两个窗口，只拖动位于上层的窗口，这一交互操作不会对位于下层的窗口产生影响，反之亦然，那么我们认为这两个窗口对象都是可以独立交互的。

 

 

 

图6：2D 显示鼠标交互

 

在 2D 显示下的鼠标交互，由于两窗口重叠的区域窗口会发生遮挡，我们能够交互到的只有上层的窗口；而且鼠标只能单点交互，不能同时拖动两个窗口，因此独立交互较容易实现。而在 3D 显示、手势交互的系统中，1 和 2 两个 3D 物体一旦发生重合，重合区域既属于物体 1 又属于物体 2。因此有时用户只需要对 1 进行交互的时候不小心穿过了 2，就会导致 2 也被交互了，我们称这种现象为 交互串扰。当系统由单手交互扩展到多手交互，每只手都需要进行不同的交互，因此在 3D 物体互不干扰的前提下，还需要能实现不同物体同时响应对应手的交互。

 

为此研究人员提出一种交互通道机制。每个 3D 物体都有一个通道用于连接一只虚拟手。成功连接的 3D 物体与手建立其交互关系，它的交互通道就被这只手的数据占用了，那么其他手将无法占据这一交互通道，其他的 3D 物体将不会再容许这只手占用交互通道，使得成功连接的 3D 物体与手成为独立的交互组合，直到手主动放弃交互。

 

/uploads/allimg/220512/120625F60-6.jpg

图7：多物体交互的通道机制（图源：液晶与显示, 2022, 37(5): 657. Fig.5）

 

利用交互通道机制，可以有效减少多手对多物体之间的交互串扰，实现独立交互；当然在特定的手势下也可以让 3D 场景全局或局部的几个物体按照同一交互方式进行交互。交互通道机制使交互的设计与实现更加灵活，更加有助于激发用户的创造性。