揣度的身体姿态能够包罗用户102的一个或多个关节的姿态

9 4月

揣度的身体姿态能够包罗用户102的一个或多个关节的姿态

正在一个实施例中,系统能够操纵非线性活动学优化解算器来揣度一个或多个关节姿态。例如,非线性解算器可操纵骨架解算器功能来揣度反向活动学的单个帧(单个身体姿态)。

图2是取用户102相联系关系的示例身体姿态。此中,计较系统108能够生成取用户102相联系关系的身体姿态200。身体姿态200包罗反向活动学的骨骼帧,后者可包罗一个或多个关节的列表。正在特定实施例中,身体姿态包罗取用户102相联系关系的一个或多个关节的关节姿态,例如但不限于头部姿态210、手腕姿态220、肘部姿态220、肩部姿态240、颈部姿态250、上部脊椎姿态260、下部脊椎姿态270、臀部姿态280、膝盖姿态290或脚踝姿态295。

简单来说,对于肘关节姿态预测,设备能够确定头部姿态并通过摄像头捕捉前臂/手腕图像,然后由颠末锻炼的机械进修模子按照所述消息及前臂/手腕和肘部的肌肉关节对应关系来预测揣度肘关节的姿态。

相关的设置成底细当昂扬和繁杂。但这家公司仍然正在积极地进行摸索,并且将来愈加难以实现,并但愿可以或许早日研发出用于消费者头显的动捕手艺。(映维网Nweon 2022年03月19日)对于好莱坞式的切确动捕手艺,虽然担任Reality Labs事业群的准Meta首席手艺官安德鲁·博斯沃思(Andrew Bosworth)先前暗示Quest 2当前的内向外逃踪无法支撑动捕,

正如前面所言,人体关节肌肉之间存正在必然的联系关系对应性,所以正在通过上述体例揣度整合出上半身姿态后,颠末锻炼的机械进修模子能够进一步按照上半身和下半身的联系关系对应性,以揣度整合出的上半身姿态做为输入,然后揣度包含双腿的下半身姿态。最初,系统能够整合上半身姿态和下半身姿态。

正在图3B中,系统能够操纵诸如Mask R-CNN等手艺来生成朋分掩模并划分多个区域。朋分掩模能够暗示为二维矩阵,每个矩阵元素对应于输入图像中的像素。

正在特定实施例中,非线性解算器可利用参数和预定静态权沉来揣度身体姿态200,其揣度用户102的关节正在特按时间或形态的最可能姿态。揣度的身体姿态能够包罗用户102的一个或多个关节的姿态,例如肘关节230。

Generator405可设置装备摆设为领受生成的上身姿态205做为输入,并输出生成的下身姿态215。正在特定实施例中,上半身姿态205可取下半身姿态215组合以生成姿态425。正在特定实施例中,Discriminator410能够设置装备摆设为正在区分由Generator405揣度生成的“假”姿态425和来自锻炼姿态数据库440的“线。正在特定实施例中,一个或多个锻炼姿态435可包罗来自一个或多个图像的姿态。

图4示出了用于锻炼生成匹敌收集(GAN)400进行姿态预测的设置装备摆设。GAN能够包罗两个的神经收集,一个Generator405(“G”)和一个Discriminator 410(“D”)。正在特定实施例中,Generator405和Discriminator410能够实现为神经收集。

因为关节肌肉正在人体活动期间存正在必然的联系关系对应性,所以系统能够按照反向活动学骨骼模子,通过对一个关节姿态简直实来预测揣度其他关节,然后再整合成一个完整的身体姿态。

正在特定实施例中,图像数据和朋分掩模可用于评估非线性解算器揣度的一个或多个两头关节姿态的精确性,并随后更新非线性解算器以正在后续迭代中更精确地预测一个或多个关节姿态。例如,非线性解算器能够领受一个或多个输入并揣度一个或多个关节的两头姿态,例如肘关节姿态。

图3A是头显摄像头正在其无限视场内捕捉的手臂图像。此中,102为用户左臂,106为左臂握持的节制器。

对于姿态预测,能够起首通过前述体例并按照头部和前臂/手腕捕捉图像预测揣度整合上半身姿态,然后颠末锻炼的机械进修模子能够按照上半身姿态来预测揣度整个下半身姿态。最初,系统整合上半身和下半身的姿态。

如图3所示,正在特定实施例中,能够通过利用颠末锻炼的机械进修模子来处置上半身姿态205,并按照对应关系来生成下半身姿态215。图3示出了操纵输入的上身姿态生成下身姿态。具体而言,颠末锻炼的机械进修模子300能够基于生成性匹敌收集(GAN)并操纵上半身姿态205来生成下半身姿态215。然后,计较系统能够将生成的上半身姿态205取生成的下半身姿态215相连系。