SMPL 人体模型简要

悠悠 2022-10-10 09:43 280阅读 0赞

smpl是指2015 马普的一篇文章“SMPL: a skinned multi-person linear model”中构建的人体参数化三维模型，人体可以理解为是一个基础模型和在该模型基础上进行形变的总和，在形变基础上进行PCA，得到刻画形状的低维参数——形状参数（shape）；同时，使用运动树表示人体的姿势，即运动树每个关节点和父节点的旋转关系，该关系可以表示为三维向量，最终每个关节点的局部旋转向量构成了smpl模型的姿势参数(pose)。考虑到与目前的市面上的渲染器，SMPL模型使用得较多，当然目前已经有SMPLH  SMPLX

SMPL  源码

\['v\_template', 'weights', 'posedirs', 'pose', 'trans', 'shapedirs', 'betas', 'J'\]:

basicModel\_m\_lbs\_10\_207\_0\_v1.0.0.pkl

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1pIQU5HMjAxMkxJQU5H_size_16_color_FFFFFF_t_70][]

(a )中的是由平均顶点集以及权重所描述的人体模型。

(b )中平均顶点集在体态的影响下发生了位移，同时体态对关节也产生了影响。

(c )平均顶点集在体态与动作的两重影响下发生的位移，注意此时的图并未有任何的pose。

(d) shape和pose双重影响下的SMPL模型；总共四项，分别为经过体型与姿势影响的顶点集、经过体型影响的关节，以及姿势和权重。

具体代码解析：Linear Blend Skinning

full\_pose = torch.cat(\[global\_orient, body\_pose\], dim=1)

vertices, joints = lbs(betas, full\_pose, self.v\_template,

self.shapedirs, self.posedirs,

self.J\_regressor, self.parents,

self.lbs\_weights, pose2rot=pose2rot, dtype=self.dtype)

betas:       体型pca对应的参数1 \* 10，

global\_orient: 1 \* 3 根节点旋转向量

body\_pose:   23 \* 3 关节点旋转向量

shapedirs:    6890 \* 3 \* 10  形状位移矩阵PCA (由体型引起的位移形状位移的PCA)

posedirs:     6890 \* 207 \* 3  23 x 9 =207所有207个姿势混合形状组成的矩阵 (由姿势引起位移的pca)

j\_regressor:   6890 \* 24  , 是从不同的人在不同的姿势的例子中学习回归矩阵，从mesh中回归出关节点

parents:      24 每一个节点的父节点，显然根节点没有父节点

lbs\_weights:  6890 \* 24 混合权重矩阵，即关节点对顶点的影响权重 (第几个顶点受哪些关节点的影响且权重分别为多少) 6890个顶点，，每一个顶点受到24个关节点的影响

骨骼蒙皮算法

第一步：体型带来的位移偏差  图b

v\_shaped = v\_template + blend\_shapes(betas, shapedirs)

J = vertices2joints(J\_regressor, v\_shaped)   获得各个关节的位置

第二步：pose带来的位移偏差（影响很轻微，考虑到速度的时候可以舍弃）图c

pose\_feature = batch\_rodrigues (full\_pose)\#旋转向量转旋转矩阵

pose\_offsets = torch.matmul(pose\_feature, posedirs)

v\_posed = pose\_offsets + v\_shaped

第三步：基于运动树进行关节点变换 图d

J\_transformed, A = batch\_rigid\_transform(rot\_mats, J, parents, dtype=dtype)

J\_transformed: 应用姿势旋转后关节的位置   24 \* 3

A: 所有其他节点相对根节点的刚体变换矩阵  24\* 3 \* 3

第四步：线性蒙皮算法 图d

T=  lbs\_weights \* A  ：6890 \* 3 \* 3 得到每一个顶点3\*3

v\_homo =T \* v\_posed  得到最终的6890 \* 3 mesh顶点

J\_transformed： 最终的关节点

第五步：有位移考虑位移

if apply\_trans:

joints += transl.unsqueeze(dim=1)

vertices += transl.unsqueeze(dim=1)

目前SMPL模型也得到了长足的发展，但是因为市面的渲染器对应的接口还是SMPL，所以SMPL的使用还是比较普及。

SMPL SMPLH  SMPLX

STAR此模型是发布SMPL模型的研究人员2020最新的科研成果，是对SMPL模型的有效改进。

参考[https://zhuanlan.zhihu.com/p/256358005][https_zhuanlan.zhihu.com_p_256358005]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1pIQU5HMjAxMkxJQU5H_size_16_color_FFFFFF_t_70]: /images/20221005/c8cf7e68f7834bf08bf998d0f705a988.png
[https_zhuanlan.zhihu.com_p_256358005]: https://zhuanlan.zhihu.com/p/256358005