Snap专利为手机AR滤镜提出更好的人体网格处置惩罚方案

检察引用/信息源请点击：映维网Nweon

天生人体网格，并根据人体网格变形外部网格

（映维网Nweon2023年03月10日）可爱狗耳朵，怕羞的红晕，炫丽的烟花，你大概不会对诸如Snapchat等应用的AR滤镜感到陌生。为了改进AR图形的放置和定位，体系检测图像或视频所刻画的职员，并天生表现骨骼的rig。然后，可以根据rig的移动变革调解AR图形。

在AR滤镜方面富有履历的Snap以为，由于上述方法必要及时天生一个人的rig来调解AR图形放置，这增长了处置惩罚复杂性、功耗和内存需求。别的，rig仅表现图像或视频中人的骨骼或骨骼布局运动，不思量职员的任何外部物理属性，比方重量和皮肤属性等。

针对这个题目，团队在名为“Deforming custom mesh based on body mesh”的专利申请中提出一种通过天生人体网格，根据人体网格变形外部网格的方法，从而进步诸如智能手机如许装备的利用服从。

Snap表现，通过基于对所刻画对象的身材网格的改变来变形外部网格，可以更有用地将一个或多个视觉效果应用于人像，无需天生rig或骨骼布局。特殊地，发明可以将一个或多个加强实际元素应用于图像或视频中刻画的人或对象，然后基于由对象身材网格的改变所来修改一个或更多个加强实际元素。

这简化了将AR图形添加到图像或视频的过程，并明显镌汰了天生这种AR图形的计划束缚和本钱，并镌汰了处置惩罚复杂性、功率和存储器需求量。这使得可以或许在小型移动装备及时无缝高效地将AR图形添加到根本图像或视频中。

图1是通过网络互换数据的示例消息体系100框图。消息收发体系100包罗客户端装备102的多个实例，每个实例托管多个应用，包罗消息收发客户端104和其他外部应用109。每个消息收发客户端104颠末网络112通讯地耦合到消息收发客户端102的其他实例、消息收发服务器体系108和外部应用服务器110。消息收发客户端104同时可以利用API与当地托管的第三方应用举行通讯。

消息收发客户端104可以向用户出现一个或多个AR体验。作为示例，消息收发客户端104可以检测由客户端装备102捕获的图像或视频中的职员。消息收发客户端104可以为图像或视频中刻画的职员天生身材网格。

身材网格可以是3D网格或多边形网格，包罗界说图像或视频中刻画的多面体对象形状的点、边和面的聚集。网格可以是多个闭合曲面的聚集。

消息收发客户端104可以吸收用户对要添加到图像或视频的AR图形的选择。消息收发客户端104可以得到与AR图形相干联的外部网格。

消息收发客户端104可以基于主动创建身材网格和外部网格之间的对应关系来变形外部网格。在致使外部网格变形之后，消息通报客户端104可以将外部网格定位在图像或视频内的3D身材网格之上或相对于3D身材网格定位。

消息收发客户端104然后可以在图像或视频内表现AR图形。在一个示例中，AR图形可以是时尚项目，比方衬衫、裤子、裙子、连衣裙、珠宝、钱包、帽子、眼镜、徽标或任何其他符合的项目或对象。

图5示出了外部网格变形体系224的框图。外部网格变形体系224包罗一组对输入数据举行操纵的组件510。输入数据在练习阶段期间从一个或多个数据库得到，而且在利用AR/VR应用时，输入数据可以由消息客户端104从客户端装备102的RGB摄像头得到。

外部网格变形体系224包罗呆板学习技能模块512、骨骼关键点模块511、身材网格模块514、图像修改模块518、AR效果选择模块519、外部网格模块530、3D身材主子哦谁人模块513、满因素割模块515和图像表现模块520。

在练习期间，外部网格变形体系224从练习数据501吸收给定的练习图像或视频。外部网格变形体系224利用呆板学习技能模块512在给定的练习图像或视频应用一种或多种呆板学习技能。呆板学习技能模块512从给定的练习图像或视频中提取一个或多个特性，以估计图像或视频所刻画的用户的3D身材网格。

呆板学习技能模块512检索与给定练习图像或视频相干联的3D身材网格信息。呆板学习技能模块512将估计的3D身材网格与作为练习数据502的一部门提供的ground truth服装3D身材网格举行比力。

基于比力的差异阈值或毛病，呆板学习技能模块512更新一个或多个系数或参数，并得到一个或更多个附加的练习图像或视频。在已经处置惩罚了指定命量的时期或练习图像批之后和/或当差异阈值或毛病到达指定值时，呆板学习技能模块512完成练习，而且呆板学习技能单元512的参数和系数存储在练习的呆板学习技能307中。

在练习期间，呆板学习技能模块512从骨骼关键点模块511吸收2D骨骼关节信息。骨骼关键点模块511追踪给定练习图像中刻画的用户的骨骼关键点，并提供骨骼关键点的2D或3D坐标。呆板学习技能模块512利用所述信息来辨认练习图像中刻画的用户的区分属性并天生3D身材网格。

由呆板学习技能模块512天生的3D身材网格提供给身材网格模块514。身材网格模块514可以追踪图像或视频中刻画的对象，并更新与对象相干联的3D身材网格。在一个示例中，身材网格模块514可以基于由3D身材追踪模块513提供的3D身材追踪信息来追踪对象。身材网格模块514可以在3D中更新3D身材网格，而且可以调解3D身材网格的位置、身材范例、旋转或任何其他参数。

图6是外部网格变形体系224的输出的图解表现。具体地，图6示出了由身材网格模块514天生和追踪的3D身材网格600。在一个示例中，身材网格模块514可以跨视频帧追踪3D身材网格的变革。身材网格模块514可以向外部网格模块530提供对3D身材网格的改变，以基于对3D身材网络的改变来更新和变形外部网格。

在一个示例中，身材网格模块514可以确定视频第一帧的法线切线空间中的3D身材网格的第一组坐标，而且可以确定第二帧的法线正切空间中的第二组坐标。身材网格模块514可以及时盘算法向切线空间中的第一和第二组坐标之间的变革，而且可以将法向切线地域中的第一组坐标与第二组之间的变革通报到外部网格。

具体地，外部网格模块530可以基于法线切线空间中的第一和第二组坐标之间的变革来更新和调解外部网格的3D位置和3D定向。以这种方式，外部网格模块530无需利用真实天下对象的rig或骨骼信息就可以变形与AR图形相干联的外部网格。

外部网格模块530可以从AR效果模块519吸收AR图形的指示。外部网格模块530可以访问数据库并在数据库中搜刮与给定AR图形相干联的外部网格。外部网格模块530可以得到外部网格的放置信息。

在一个示例中，放置信息可以指定与真实天下图形相对应的身材网格边沿或身材部门。放置信息同时可以指定边沿或身材部门之间的最小间隔。作为相应，外部网格模块530可以在多个视频帧中保持外部网格（和相应的AR图形）的位置，使其间隔身材网格的边沿或身材部门至少最小间隔。

在一个示例中，放置信息可以指定主体网格的相对UV通道坐标。相对UV通道坐标可用于在刻画对象的图像或视频内保持和放置外部网格（和相应的AR图形）。在这种情况下，外部网格模块530可以得到与真实天下对象相对应的身材网格的UV通道坐标。

外部网格模块530同时可以基于UV坐标和放置信息中的相对UV通道坐标来盘算外部网格的一组UV通道坐标。比方，放置信息可以指定3D主体网格的特定UV通道坐标的最小或最大间隔。作为相应，外部网格模块530可以将外部网格放置在UV坐标的最小或最大间隔内的一组UV通道坐标处。效果，与外部网格相干联的对应AR图形添加到图像或视频中对应于UV坐标集的位置。

基于针对3D身材网格检测到的放置信息和变革，外部网格模块530可以根据在3D身材网格中检测到的变革变形外部网格。在一个示例中，如果3D身材网格确定为沿着第一轴移动第一量，则外部网格雷同地沿着第一轴运动第一量。作为另一示例，外部网格可以以与3D身材网格相对应的方式旋转或扭曲。具体地，如果3D主体网格确定为沿着旋转轴旋转第二量，则外部网格雷同地沿着旋转轴转动第二量。

另一个示例是，外部网格可以根据图像或视频帧中身材形状、身材状态或身材属性的更改而变形。比方，人由于呼吸而周期性地扩张和紧缩3D身材网格的胸部（或上身），以是可以根据这一点，外部网格的相应部门（但不包罗外部网格的任何其他部门）可以根据呼吸周期的尺寸膨胀和紧缩举行变形。

AR效果选择模块519基于与从身材网格模块514吸收的对象相干联的身材网格，选择一个或多个AR元素或图形并将其应用于图像或视频中刻画的对象。将与图像或视频中刻画的真实天下对象相连合的AR图形提供给图像修改模块518，以出现刻画穿着AR对象（比方AR衬衫）的职员的图像或视频。

图像修改模块518可以基于由效果选择模块519选择的AR效果来调解由摄像头捕获的图像。比方根据用户3D身材网格的更改更改AR服装的物理属性（变形），并应用一个或多个AR元素。图像或视频由图像表现模块520提供给客户端装备102，然后可以发送给另一用户或存储以供以后访问和表现。

在一个示例中，图像修改模块518和/或外部网格模块530从3D身材追踪模块513吸收表现图像中刻画的用户的3D位置的3D身材追踪信息。3D身材追踪模块513通过利用附加的呆板学习技能处置惩罚练习数据501来天生3D身材追踪信息。可以从满因素割模块515吸收满因素割。满因素割模块515通过利用呆板学习技能处置惩罚练习数据501来天生满因素割。

如图7所示，AR效果选择模块519可以将一个或多个AR图形730应用于图像或视频700中刻画的对象。此中，所述对象对应于由客户端装备102利用外部网格720捕获的3D身材网格710。比方，外部网格模块530可以吸收3D身材网格710，而且可以从存储装备得到与AR图形730相干联的外部网格720。

外部网格模块530可以得到与外部网格720相干联的放置信息740。放置信息740可以指定相近参数742和/或UV通道坐标744。基于放置信息740，外部网格模块530可以指定在图像或视频中放置和定位外部网格720（以及对应的AR图形730）的位置。

在一个示例中，外部网格模块530可以盘算外部网格720和3D身材网格710之间的对应722。如上所述，所述对应关系可用于基于3D身材网格710怎样变形来沿着一个或多个轴724在3D中变形外部网格720。当外部网格模块530变形外部网格时，相应的AR图形被雷同地变形并基于放置信息740举行渲染，从而在图像或视频内表现。

如图8所示，在外部网格基于变形信息和3D身材网格710的移动而变形之后，渲染相应的AR图形730以表现在图像或视频之中。具体地，图像或视频800包罗用户810的刻画和变形AR图形730（AR衬衫）。

相干专利：

Snap Patent | Deforming custom mesh based on body mesh

名为“Deforming custom mesh based on body mesh”的Snap专利申请最初在2021年8月提交，并在日前由美国专利商标局公布。