大家都知道做手部的追踪是十分困难的，因为手部会有很多自接触和遮挡的情况，比如我们在握手，握拳，手指交错时等动作。那么为啥要做手部的追踪呢？因为做手部跟踪是最自然的人与机器交互方式，解决这个问题就可以做裸手交互，继而可打开更多沉浸式计算的大门。比如我们平时用的VR头显以及AR眼镜等等，如果有了裸手跟踪的加入那将交互的“不受约束”提升更高的一个台阶。那么现有的方法就没有解决么？有，但是现有的追踪方法不是为了处理普通手势表现的有限自接触和自遮挡而设计的。今天给大家介绍一种能够解决手部追踪问题的新技术，就解决了这个问题。

这是一篇在SIGGRAPH Asia上发表的论文-《Constraining Dense Hand Surface Tracking with Elasticity》（《基于弹性约束的密集手部表面追踪》）下面我们来看看成果展示视频。

上面的演示视频是使用124个摄像头，6核Xeon CPU和Tesla V100 GPU以30fps捕获的手部动作。

Facebook研究团队通过基于视觉追踪和基于物理的可变形模型相结合，建立第一个通过大量自接触和遮挡手势来追踪的高度逼真手部变形的算法。从而允许追踪双手交互和高挑战度的人手配置。

包括以下的这些情况：

双手的自接触和遮挡

单手快速运动和自接触

‍

physics term的影响

变形模型的影响

碰撞的影响

几何一致性项的影响

照片一致性的影响

单手快速运动

双手自接触快速运动

双手接触导致手部变形

通过基于视觉的跟踪算法与基于物理的可变形模型相结合，得到了一种对常见手势所表现出的普遍存在的自交互和大规模自遮挡的鲁棒性算法，允许追踪双手交互和一些最难的人手动作。

这种基于弹性约束的3D手部模型提供了最接近真实手部弹性的物理特性。手部的可见区域由摄像头捕捉追踪。当遮挡发生时，追踪系统则会从基于弹性约束的3D手部模型导出变形和碰撞。结合两个计算，系统就可以追踪各种手部复杂动作的自接触和自遮挡。

好啦~这个技术先大概的跟大家聊这么多，如果想了解更多的小伙伴可以去读一下全文，希望论文里的技术早日能够在生产中使用~

论文作者：

Breannan Smith, Chenglei Wu, He Wen, Patrick Peluse, Yaser Sheikh, Jessica Hodgins, Takaaki Shiratori

论文地址：

https://research.fb.com/publications/constraining-dense-hand-surface-tracking-with-elasticity/

全文地址：

https://research.fb.com/wp-content/uploads/2020/11/Constraining-Dense-Hand-Surface-Tracking-with-Elasticity.pdf