动作捕捉X视觉交互传感器

动作捕捉

动作捕捉传感器，顾名思义，就是利用各种传感器技术，捕捉和量化用户的动作信息，然后将这些信息转化为数字信号，参与到人机交互的流程中。根据使用条件不同，可以分为需要追踪辅助类型和无需追踪辅助类型。动作捕捉传感器让人和交互对象的交互更符合“直觉”更“自然”，是通往“无感交互”和“自然交互”的重要桥梁。

带有追踪辅助的动作捕捉常常用于影视，3A游戏，制造业，广告行业等当中，2022年大火的现象级“猫咪模拟器”游戏《Stray（迷失）》中，Blue Twelve Studio就利用工作室的四只“打工猫”，在猫身上贴上用于光学追踪的白色定位点，以便采集猫咪的动作数据，为玩家提供更加拟真的游戏体验。

图：带追踪辅助的动作捕捉

stray中猫咪很自然地把油漆罐推翻

而在以往的工作流程中，形成同样自然效果的动画，动辄需要动画师成百上千个小时的K关键帧（keying)工作。

而相对应的，无追踪辅助的动作捕捉技术则不需要上述的定位点，由传感器直接读取用户的动作，直接转化为数字信号，更加适合运用在互动装置，产品设计和体验设计的项目中。

Leap motion是一种典型的无辅助动作捕捉技术。

无感交互

构成让用户“无感知”体验的关键要素有两个：1.传感器的尺寸；2. 传感器的刷新率，前者能够确保交互界面的实现能够被完美地隐藏起来不被用户察觉，后者能够确保整体的交互体验完美流畅没有“延迟”和“滞后”。

Leap motion 的母公司Orion提供的一段Demo展示：Leap motion具有很高的刷新率。

而这种无缝的真实感，可以极强地增强用户的交互体验，在这种交互模式下，用户不再需要去触摸不符合“常规理解体验”的屏幕或者键盘抑或其他形式的“控制面板（control panel）”，而是可以直接在虚空中挥动自己的双手，和想要交互的对象完成自然的交互。

Leap motion X Touch designer

如何去做

首先，我们需要一套Leap motion传感器，并且利用随机赠送的数据线连接到你的电脑的USB3.0高速连接口。

虽然Leap motion官方的驱动程序提供了对于此传感器的最基本的监视器和状态展示Demo，但很遗憾这个默认驱动程序并不开源，也无法通过简单的操作将数据传输到其他软件中。

为此我们以常用的影音互动软件touch designer来展示，如何从Leap motion中读取信息并用于交互。

首先，你需要确保你的touch designer的版本能够适配leap motion的驱动，这里我们推荐运用第四代Leap motion驱动，代号为Orion。

然后我们可以根据以下的操作流程简要操作（仅供参考，以实际操作为准）：

1. 依次在网格编辑器界面中装载“leap motion.chop", "select.chop",

"geomtry.comp","render.top","light.comp","camera.comp"等；

2. 选择一个你喜欢的几何体或者选择filein.sop以导入你的模型（尽量缩减面数防止显存溢出），或可以直接选择你喜欢的伪全息投影的素材；

3. 在select.chop中选择Name依次为“lpalm.rx","lpalm.ry","lpalm.rz"的三个channel，分别导出至geometry.comp中rotate当中的tx,ty,tz坐标点。

4. 调整渲染摄像机角度，灯光等。

总结和小贴士

leap motion的操作和使用固然简单，但是其本质上并不是一台照相机，仅能用于获取手部的信息。

特别是对于一些想要利用交互装置去获取实际的视频/照片的同学而言，你恐怕需要额外增加一个传统RGB摄像头。

所以我们可以总结一下Leap motion作为传感器的优缺点:

总之，站在前人的技术成果的巨人肩膀上，我们后来的设计师们，一定能够利用这些新的传感器，开发出体验感更好的交互装置/产品/系统来。

Ref:

https://developer.leapmotion.com/

本文由WELLDESIGN独家编辑，未经授权请勿转载。