SMPL经典论文

摘要

1. 模型参数从这些数据中学习：
   休息姿势模板、混合（blend）权重、与姿势相关的混合形状、与身份相关的混合形状、从顶点到关节位置的回归器
2. 与姿势相关的混合形状是姿态旋转矩阵的线性函数，这个简单设定 允许从大量对齐了3D网格的不同姿态下不同人体中训练整个模型
3. 使用线性混合蒙皮或者双四元数混合蒙皮-DQBS 来生成SMPL
   （线性权重混合会造成糖果包装问题，胳膊会像拧糖纸那样畸形，而四元数旋转可以在旋转路径的圆弧上插值）

1. 介绍
目的：创建逼真的动画人体，表现不同的身体形状，通过姿势自然变形，像真人一样呈现软组织运动，能够快速渲染，易于部署，并与现有的渲染引擎兼容。
特点：目标函数通过惩罚注册网格和本模型的逐顶点误差（per-vertex disparities）来进行训练。
方式：

1. 为了解人如何随姿势变形，使用1786种不同姿势的不同对象的高分辨率3D扫描，将模板网格与每次扫描对齐，以创建训练集，根据对齐扫描自动估计所有参数；
2. 使用主成分分析（PCA）从CAESAR数据集中学习男性和女性体型的线性模型。为每次扫描注册一个模板网格，并对数据进行姿势规范化；
3. 以各种形式训练SMPL模型，并将其与用完全相同的数据训练的BlendSCAPE模型进行量化比较；
4. 我们扩展了SMPL模型，通过调整Dyna model来捕捉软组织动力学。我们计算SMPL和Dyna训练网格之间的顶点误差，转换为静止姿态，并使用PCA降低维数，生成动态混合形状。然后根据部件的角速度和加速度及动态变换的历史来训练软组织模型，使用不同身体质量指数的身体训练DMPL，并学习身体形状对模型的影响。动画显示DMPL更逼真；
5. 使用标准渲染引擎，SMPL模型可以比CPU上的实时动画制作速度快得多。SMPL具有低多边形数、简单的顶点拓扑、干净的四边形结构、标准拟合以及合理的面部和手部细节（尽管在这里没有拟合手部或面部）。SMPL可以表示为可以导入动画系统的Autodesk Filmbox（FBX）文件。SMPL模型可以在Maya、Blender、Unreal Engine和Unity中驱动。

2. 相关工作

1. 混合蒙皮-骨架子空间变形方法，将网格的表面附着到骨骼结构。网格曲面中的每个顶点都使用其相邻骨骼的加权影响进行变换（LBS），大量试图解决变换问题的方法如四元数或双四元数蒙皮、球形蒙皮等，然而，这些方法通常会产生不自然的结果，这里我们重点学习如何纠正混合蒙皮的局限性。
2. 自动匹配-现有方法不能解决LBS的问题是因为他们没有学习修正了的混合形状（ corrective blend shapes-没有关注体型空间的变化），我们假定运动结构已知，现有方法主要局限性在于模型没跨越身体形状的空间。Miller等人[2010]将蒙皮权重从已知模型转移和调整到新模型，而没生成混合形状，产生标准LBS伪影，目标函数也不清晰。
3. 混合形状- 姿态空间变形模型（PSD）定义了相对于基本形状的关节姿态变形（即顶点位移），也被称为“散乱数据插值”和“纠正包络”。本文类似WPSD， 为特定的关键姿态定义修正形状，以便在添加到基本形状中并通过混合剥皮（如LBS）进行转换时，产生正确的形状。在修正时使用如径向基核（RBF），计算距离和权重，对样本进行非线性的加权。
4. 学习姿态模型-最开始是采集特定的关键帧，保存他们的蒙皮变换模板，然后插入到需要估计的模型中，但这种方法只有在接近所存储的姿态模型时才有效果。目前还不清楚需要多少这样的形状来模拟完整的人体姿势。随着模型复杂性的增加，控制所有这些形状以及它们如何相互作用的复杂性也在增加。|| 为了解决这个问题，Kry等人学习了每个关节变形的低维PCA基础。与姿态相关的变形用基向量的系数来描述。Kavan等人使用使用非线性剥皮方法生成的示例网格来构造线性近似。James和Twigg结合了学习骨骼（非刚性、仿射骨骼）和直接从注册网格中学习混合权重的想法。|| 另一种解决混合剥皮局限性的方法是通过多重包络（MWE），不是通过骨变换矩阵的加权组合来计算每个顶点的权重，而是学习这些矩阵的元素的权重。这就增加了模型的容量（更多的参数）。就像[James和Twigg 2005]一样，他们对骨骼转换进行了过度参数化，以提供更多的表达能力，然后使用PCA来去除不必要的自由度。他们的实验通常涉及到用户交互，而目前的游戏引擎并不支持MWE方法。

有位大佬把主体部分解释的很清楚，鄙人跟着学习了一遍，在此放上链接
https://blog.csdn.net/JerryZhang__/article/details/103478265

剩下的部分略做翻译：

6. DMPL: Dynamic SMPL

虽然SMPL用pose模拟静态软组织变形，但它并没有模拟由于身体运动和与地面的作用力而发生的动态变形。给定包含软组织动力学的四维配准，我们只通过只优化具有个性化模板形状的SMPL模型的姿态来拟合它们。SMPL和观察到的网格之间的位移对应于动态的软组织运动。为了建模这些，我们引入了一组新的附加混合形状dynamic blend shapes。这些额外的位移与身体和四肢的速度和加速度而非姿势有关。将这些想法应用到基于顶点的附加模型中。

…
输入t时刻的动态控制向量和shape相关系数β，输出预测的rest pose中的顶点偏移

7. Discussion

• 高质量的培训数据是很重要的
• 训练所有参数（模板形状、混合权重、关节回归器、形状/姿态/动态混合形状）来最小化顶点重建误差对于获得一个好的模型很重要。在这里，该模型的简单性是一个优势，因为它能够使用大量的数据来训练所有内容。与径向基函数相比，学习的线性函数的更大支持允许模型推广到任意姿态；此外，简单的线性形式使它在游戏引擎中快速动画，而无需在权重中烘烤。由于旋转矩阵的元素是受约束的，因此模型在训练集外泛化时不会“爆炸”
• 理想情况下，一个人应该有足够多来自不同的人的姿势数据来学习一个真正的身体形状依赖的姿势变形空间
• SMPL性能的关键是使混合形状成为R*（θ）的线性函数。这一公式、足够的训练数据和良好的优化策略使学习模型成为可能
• 最接近我们的工作是Allen等人的开创性工作[2006]。他们的模型更复杂，使用径向基函数进行散射数据插值、形状相关的姿态变形和一组固定的承载角。因此，训练它也是复杂的，需要一个良好的初始化。他们的数据有限，难以过拟合，所以限制了他们的体型PCA空间。因此，该模型不能很好地推广到新的形状和姿态。我们更简单的模型让我们从大型数据集学习它，并拥有更多的数据使简单的模型
• 我们的姿态混合形状函数也非常不同于分散的数据插值方法，如WPSD使用离散数量的姿态，并使用rbf在它们之间进行插值。在实践中，可能需要大量的姿势来很好地覆盖姿态空间。这使得动画变慢，因为必须在运行时找到最近的关键姿态。
• 局限性：
  1. 如果我们建立一个非真实的动画角色空间，身体部位变化很大的空间，或者包括婴儿和成人的人类空间，那么一般的方法可能会不起作用。这一限制可以通过训练一个更一般的函数来解决，它将R（θ）和β一起预测混合形状系数。请注意，动态混合形状系数确实取决于身体形状，因此应该可以对姿态混合形状做同样的操作。这不会使模型或运行时行为显著复杂化，但可能需要更多的训练数据
  2. SMPL模型仅是关节角度和形状参数的函数：它不模拟呼吸、面部运动、肌肉张力，或任何独立于骨骼关节角度和整体形状的变化。如果有适当的分解数据可用，这些数据可以作为附加的混合形状（如DMPL）学习
  3. 虽然我们学习了大多数模型参数，但我们并没有全部学习它们。我们手动定义模板分割成部分，mesh的拓扑和静息姿态。理论上，这些也可以学习，但可能重大的努力只有微小的改进
• 未来工作
  SMPL使用了207个pose blend shapes，可以通过对混合形状进行PCA来减少。这将减少乘法的数量，从而提高渲染速度。
  我们的动态模型使用PCA来学习动态混合形状，但我们可以直接学习这些混合形状的元素，就像我们对姿态混合形状所做的那样。
  我们将我们的模型拟合到注册网格，但可以将SMPL拟合到mocap标记数据、深度数据或视频。我们预计，优化SMPL-LBS模型的姿态和形状将比优化类似质量的SCAPE模型要快得多

8. 结论
我们的目标是创建一个骨骼驱动的人体模型，可以捕捉身体形状和姿势的变化，或者更好地优于以前最好的模型，同时与现有的图形管道和软件兼容。
为此，SMPL使用了标准的剥皮方程，并定义了可以修改基本网格的体型和姿态混合形状。我们对不同姿势和不同姿势的人进行数千次对齐扫描来训练模型，可以从大量数据中学习参数，同时直接最小化顶点重构误差。
具体地说，我们学习rest template、关节回归器、身体形状模型、姿态混合形状和动态混合形状。
令人惊讶的结果是，当BlendSCAPE和SMPL在完全相同的数据上进行训练时，基于顶点的模型比基于变形的模型更准确，渲染效率也明显更高。
同样令人惊讶的是，一组相对较小的经训练的混合形状在纠正LBS的错误方面和它们在DQBS中所做的一样好。利用四维配准网格，我们扩展了SMPL，以使用自回归模型来建模动态软组织变形，作为姿态随时间变化的函数。
SMPL可以导出为一个FBX文件，我们提供脚本在公共渲染系统中使模型动画。这将允许任何人真实生成动画人体。