本文介绍: 研究人员提出了第一种仅凭口腔区域稀疏照片集就能无创重建整个人特定牙列的方法。该方法的基础是从高质量口扫模型学习到的新参数牙列先验parametric tooth row prior)。新的基于模型的重建方法将牙齿与照片匹配,从而准确匹配可见牙齿,并合理生成遮挡牙齿(occluded teeth)。

在这里插入图片描述

Abstract

近年来,基于图像人脸重建方法日趋成熟。这些方法可以捕捉整个面部或面部特定区域(如头发、眼睛或眼睑)的高精细静态动态几何模型。遗憾的是,基于图像的口腔捕捉方法,尤其是牙齿捕捉方法,却很少受到关注。然而,牙齿的精确渲染对于面部表情的逼真展示至关重要,目前高质量的面部动画都是通过繁琐的手工工作制作牙列模型。在牙科领域开发了专门的口腔内牙齿扫描仪,但这种扫描仪还难以广泛使用

文章中,研究人员提出了第一种仅凭口腔区域的稀疏照片集就能无创重建整个人特定牙列的方法。该方法的基础是从高质量口扫模型学习到的新参数牙列先验parametric tooth row prior)。新的基于模型的重建方法将牙齿与照片相匹配,从而准确匹配可见牙齿,并合理生成遮挡牙齿occluded teeth)。该方法不仅能无缝集成到整个面部的摄影测量相机重建设置中,还能从普通的未校准照片甚至手机拍摄的短视频中获得高质量的牙齿建模

Introduction

由于牙齿表面有半透明的牙釉质涂层,牙齿具有极强的镜面反射性,而由于牙齿下面的牙本质,牙齿又具有高度反射性,两者都表现出很强的表面下散射。因此,牙齿只有很少的可见特征,最明显的特征是单个牙齿之间的边界,这甚至不是牙齿表面的特征,因此使用摄影测量photogrammetric)方法重建牙齿非常具有挑战性。

从另一方面看,牙齿是刚性的,不同对象的牙齿形状变化是可控的,因此牙齿可以很好地进行统计建模statistical modeling)。基于相机的口腔内部重建由于 nontrivial occlusions 而变得更加复杂。如果不使用专用的嘴唇扩张装置,人们通常很难将嘴张得足够大,即使这样,通常也无法通过单一位姿看到整个口腔。

因此,这篇文章首次提出了一种方法,可从口腔区域的稀疏正常照片集重建牙齿。在这些图像中,人可以做出自然的嘴部表情,而无需在机械支撑下不舒服地张开嘴巴。

Contributions:

Teeth Prior Model

人类通常有 32 颗牙齿(去掉智齿后为 28 颗),分为上下两排,基本对称。牙齿分为四类:门牙(incisors)、犬牙(canines)、前臼齿(premolars)和臼齿(molars),如下图所示

在这里插入图片描述

Data Preparation

为了建立牙齿数据库我们医学牙科领域获得了 86 排不同牙齿的高分辨率石膏三维扫描图像,其中包括上排牙齿和下排牙齿。其中一部分扫描结果下图所示

在这里插入图片描述
Teeth Templates. 为了建立和训练模型,需要一个牙齿数据库每个牙齿都有独立几何图形,并在不同研究对象之间保持一致。研究人员首先手动artistically create创建一个牙齿模板网格。由于四类牙齿的形状迥异,因而创建了四个独立模板网格。为了完整起见,研究人员将牙齿一直建模到牙根。

Template Fitting. 现在,我们希望将牙齿模板网格实例与石膏扫描模型中的单个牙齿相匹配研究人员设计了一种半自动模板拟合方法。首先,用户通过点击牙齿间边界以及牙齿和牙龈边界的几个点,为每颗牙齿定义一个分割轮廓。如下图(a),左门牙的轮廓用紫色标出,其他轮廓用绿色标出。根据所选点之间的高曲率路径自动计算分割轮廓。此外,用户还可以为每颗牙齿选择几个预定义landmarks(门牙和犬齿为三个,前臼齿和臼齿为五个),这些 landmarks 将指导配准分割下图(a) 用红色显示了其中一颗门牙的 landmarks。

在这里插入图片描述
对于每颗牙齿,首先根据选定的 landmarks 将适当的模板网格与牙齿进行刚性对齐然后使用迭代拉普拉斯形变进行非刚性变形,以紧密贴合分割后的牙齿区域(上图(c,d))。

所有扫描模型拟合后的结果一个包pertooth 网格对应关系的齿列数据库。虽然上述方法中有几步需要人为操作,但建立数据库一次性的(one-time investment)。

Parametric Teeth Model

从数学上讲,参数化牙齿模型是对典型牙列的形状和姿态偏差进行编码计算结果数据库平均值(如下图所示)。

在这里插入图片描述

在这里插入图片描述

Teeth Fitting

Teeth Boundary Extraction

可以通过手动标注输入图像来获得牙齿轮廓。虽然这种方法是可行的,而且算法也可以在这种数据运行,但随着图像数量的增加,这种方法很快就会变得极为繁琐。特别是对于基于视频的牙齿重建使用案例手动标注是不切实际的。因此研究人员希望自动检测输入图像中的牙齿轮廓。

在这里插入图片描述
如上图所示,研究人员定义三种类型的牙齿边界:牙齿、牙龈及嘴唇。明确区分牙龈和嘴唇对于防止牙齿模型牙龈线与嘴唇边界错误对齐至关重要。为了识别边界,文章采用增强边缘学习(BEL) 算法。BEL 是一种用于边缘和物体边界检测的通用监督学习算法,它根据小块图像上的大量通用快速特征(包括梯度滤波响应直方图不同尺度的哈尔小波)将图像像素分类为边界。研究人员在一组手工标注的输入图像上分别训练三个检测器,每个检测对应上述特定的牙齿边界。下图显示训练数据的几个示例

在这里插入图片描述

Reference

[1] Wu, C. , Bradley, D. , Garrido, P. , Zollhfer, M. , Theobalt, C. , & Gross, M. , et al. (2016). Model-based teeth reconstruction. International Conference on Computer Graphics and Interactive Techniques. ACM.

原文地址:https://blog.csdn.net/myDarling_/article/details/134627373

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任

如若转载,请注明出处:http://www.7code.cn/show_28864.html

如若内容造成侵权/违法违规/事实不符,请联系代码007邮箱suwngjj01@126.com进行投诉反馈,一经查实,立即删除

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注