题目

3D Scanning Deformable Objects with a Single RGBD Sensor

概述

使用单一的RGBD传感器(Kinect)，允许扫描过程中有大量的非刚性形变，并且在没有严重约束到用户和相机的前提下，达到高质量的扫描结果。

解读：

单一：之前的部分解决的方式是采用多个Kinect来实现的，而本论文的方法是建立在单一传感器的基础上的改进。

大量：之前的方式大多建立在一个或若干个非刚性形变，而本论文提到的方法是允许扫描过程中的非刚性形变是“大量”的。

没有严重约束：一些系统需要用户在Kinect前面保持比较僵硬的姿势先扫描，这对于一些孩子或者小动物可能无法实现，而本论文提到的方法不会对用户有太多的约束。

高质量：本论文使用了束调整（bundle adjustment）来得到改进的数据对齐（data alignment），从而达到模型高质量的目的。

论文内容

曲面变形模型（第2章，第3章）

这个部分主要介绍了三角网格曲面模型和嵌入式变形模型。

本文介绍的方法就是建立在用三角网格曲面模型表示的，所以需要对三角网格进行参数化，下表标记，并使用线性组合来估计位置的坐标。

本来的方法是允许曲面进行形变的，所以通过嵌入式形变模型来解决。在模型中，一组K个“ED节点”在网中均匀取样，每个顶点都由一组固定的权重控制它的变形，就是由离它最近的c个节点决定，在论文中c取值为4，并且允许整个网格产生形变网络。并通过遵循的标准实践构建的变形增加E(G)，来防止变形产生在不合理的地方，具体实现通过，引入刚度（rigidity），让它在发生形变的ED节点处增加，然后使用非线性最小二乘优化。

束调整（bundle adjustment）的程序预处理（第4，5，6章）

这个部分主要介绍了包括部分扫描提取，粗扫描比对，错误分配。

部分扫描提取：首先将RGBD序列预处理为一组高质量的组合（set），并且只是部分扫描，减少拟合曲面模型的计算复杂度，然后继续通过变形段划分为参考形态，融合成一个完整的网的结果，使用形变去提供一个很好的初始估计的变形参数。

粗扫描对比：首先通过邻接段快速地产生一组参数，然后通过这组参数快速地找到当前段的首帧（frame）和尾帧，并且使用ED对齐算法来进行估计。

错误分配：在参数传播的过程中，随着i的增加，会使结果越来越不可靠，所以直接对准Vj，Vi使用一组参数进行匹配对齐扫描，对结果进行精炼。

束调整（bundle adjustment）（第7章）

这部分主要就是讲了这个全文最重要的方法，束调整，用来改善数据校准和恢复细节。

变形条件：使用段的数据点，使用ED图对它进行形变，因此增加了相近变形面的距离的能量，提供给法向量去对应。

表面正则化条件：使用拉普拉斯调整。这样有可能缩小通过拖拽的内边界顶点集表面，所以我们添加一个能量条件来激励等距（isometry）。

解决：通过上面的计算，得出的结果代入下面式子

week1-1

我们可以找出最小值，然后使用Levenberg–Marquardt 算法去最小化E（V）的导数。这样使表面光滑并且改善了对齐。

存在的问题

1.如果粗尺度重建失败，就不能进行比较理想的变化。

2.计算成本比较高

心得

之前就比较喜欢这种基于Kinect开发的东西，所以挑了这篇来看。可能是比较少看这种科技论文，虽然前前后后啃了有一个星期，包括查了一些相关的其他人的博客，但是这篇的实现的部分基本还是看不太懂，可能自己还不太适应英文论文这种形式，而且可能自己需要多看一些比较靠近基础的论文，才能理解它里面比较多的引用。