摘要：我们描述凿：实时housescale系统 （300平方米以上）密集三维重建
板载通过使用动态一个谷歌探戈[1]移动设备 空间散列截断签订距离场[2]映射， 和本地化的视觉惯性测程。通过积极 剔除不包含表面场景的部分，我们避免 不必要的计算和内存浪费。即使在非常嘈杂 条件下，我们通过生产高品质的重建 利用空间雕刻。我们能够重建和渲染非常 在实时的2-3厘米的分辨率在移动大场面 设备无需使用GPU计算的。该用户能够 查看并与通过实时重建相互作用 直观的界面。我们提供定性和定量
上公开可用的RGB-D数据集[3]，并在数据集的结果 从两个设备收集实时。 引言
近日，手机厂商也开始加入
高品质的深度和惯性传感器到移动电话和
片。我们在工作中使用的设备，谷歌的探戈[1] 手机和平板电脑具有非常小的主动红外投影 深度传感器，高性能的IMU和组合 视摄像机宽视场（第四节-A）。其它装置，例如
作为Occiptal Inc.的结构的传感器。[4]具有类似的功能。 这些器件提供了板载的，完全集成的传感 平台的3D绘图与定位，与应用
从移动机器人为手持设备，无线增强 现实。
(a) CHISEL creating a map of an entire office building floor on a mobile device in real-time.
(b) Reconstructed apartment scene at a voxel resolution of 2cm.
Fig. 1: CHISEL running on Google’s Tango [1] device.
实时3D重建是一个众所周知的问题
计算机视觉和机器人[5]。的任务是，以提取 从喧闹的序列中的真实场景的真3D几何 传感器读数在线。解决这个问题是非常有用 导航，映射，对象扫描，等等。问题 可以分解成两部分：定位（即 估计传感器的姿态和轨道），以及映射（即 重建场景几何和结构）。
考虑房子规模（300平方米）的实时3D绘图 和本地化探戈般的设备上。用户（或机器人） 绕着大楼，扫描现场。在房子规模， 我们只关注功能，分辨率
约2-3厘米（墙壁，地板，家具，家电等）。至 便于扫描，实时反馈被提供给用户的
该设备的屏幕。用户可以导出生成的3D扫描 而不丢失任何数据。图1显示了这种用法示例
（一）凿上创建一个地图上整个办公室建筑物楼层的 移动设备中的实时性。
（b）于2厘米的体素分辨率重构公寓场景。 图。 1：钻探谷歌的探戈[1]设备上运行。
案件进展（第三节）。
众议院比例尺制图需要的三维重建 算法运行完全板载;和足够快，使实时
相互作用。重要的是，整个密集的三维重建 必须符合设备的限制（2-4GB）记忆里 （第四节-A）。由于一些移动设备缺乏足够 强大的独立图形处理单元（GPU），我们选择 不依赖于通用GPU计算进行
这个问题无论是在创建或渲染3D听话 重建。
3D映射算法涉及占用电网[6]
关键点映射[7]点云[8-10]已经存在 手机在小规模。但大多数现有的方法 要么需要脱机后处理或云计算
在规模，我们创造出高品质的3D重建 有兴趣。
许多国家的最先进的实时三维重建算法 [2，11-14]计算截短符号距离场
的场景（TSDF）[15]。该TSDF存储离散估计 的距离，以在场景中的最近的表面。而 允许非常高品质的重建中，TSDF是
非常消耗内存。以前的作品[12，13]已经扩展 的TSDF较大的场景通过存储移动体素化 并逐步丢弃数据 - 但我们有兴趣 在保持体数据供以后使用。的大小 TSDF需要重建整个房子可能对
几千兆字节的顺序（第IV-D）中，并将所得 重构的网具有100万顶点的顺序。
在这项工作中，我们详细介绍一个实时的房子规模TSDF 3D 重建系统（称为凿），用于移动设备。
在实验上，我们发现，在空间的大部分（？93％） 一个典型的场景是在实际上空的（表I）。遍历空 重建和渲染废物的目的，空间
计算时间;并存储它浪费存储器。因为 此，凿利用由引入的数据结构的 Nie?ner等。 [2]，动态空间哈希[16] TSDF
（第III-F）中，存储该距离场数据作为twolevel 结构，其中静态3D体素块是动态 根据现场的观察分配。由于
数据结构具有O（1）访问的性能，我们能够 快速识别场景的部分应该呈现，
更新或删除。这使我们能够最小化的量 时间我们花费在每个深度扫描，并保持重建 在实时上的设备（表9E）运行。
对于本地化，雕刻刀使用的视觉惯性测程的组合 [17，18]和稀疏基于二维关键点映射[19]如 一个黑盒子输入（第三节-J），增量相结合 扫描到模型ICP [20]来校正漂移。 我们提供上公开定性和定量结果
可用的RGB-D数据集[3]，并在所收集的数据集 实时从两个设备（第四节）。我们比较不同 方法创建（第四节-C）和存储
（第四节-D）的TSDF的内存效率方面，速度， 和重建质量。凿子，能生产高质量， 户外和室内大型三维重建 场景实时车载的移动设备。 II。相关工作
映射范一般分为两类：
具有里程碑意义的基础（或稀疏）的映射，以及高分辨率 密映射[19]。虽然稀疏映射产生 一个节律一致的地标地图基于关键 在环境特点，密集映射在全球范围注册
所有传感器数据转换成一个高分辨率的数据结构。在这 工作中，我们主要关心密集的映射，这 是高品质的三维重建至关重要。
因为移动电话通常不具有深度传感器， 以前的作品[9，21，22]在密集的重建移动 手机已经竭尽全力，从提取的深度
一系列的注册单眼相机图像。由于我们的 工作的重点是集成了深度感应器的移动设备， 如谷歌探戈设备[1]，我们并不需要 执行昂贵的单目立体作为先决条件密
重建。这使我们能够拯救我们的内存和CPU 预算三维重建本身。
一个密集的3D绘图的最简单的方法是存储 多个已注册的点云。这些基于点的方法 [8-10，22]自然深度数据转换成3D预测 点。虽然简单，点云并没有捕捉到当地现场 结构，嘈杂，并没有捕捉到负（非表面） 关于场景的信息。这个信息是关键 现场重建在高噪音水平[23]。 Elfes [6]介绍占用电网映射，这 将世界分成含有格素入住
概率。入住电网保护当地结构，
优雅地处理冗余和缺失数据。尽管有更多的 比点云功能强大，占用电网从走样苦， 大约表面法线和内部缺乏信息/ 障碍外部。入住电网映射早已
被证明在实时探戈执行[1]设备使用 一个八叉树表示[24]。
Curless和Levoy [15]创建占用替代 网格称为截断符号距离场（TSDF） 其存储的签名的距离场的一个体素化 现场。该TSDF里面障碍阴性，阳性 外面的障碍。表面被隐式给出零
在TSDF的等高线。当使用比占用更多的内存 网格，该TSDF创建更高质量的面 通过保持局部结构重建。
在机器人技术，远程域在运动规划使用 [25]，映射[26]，和场景理解。距离场 为机器人提供有用的信息：以最近的距离 障碍，梯度方向带他们远离
障碍。瓦格纳等人最近的工作。 [27]探讨
直接使用了机器人手臂的运动规划TSDF的;制造 使用的梯度信息隐式地存储在TSDF 本地优化机器人运动轨迹。我们有兴趣 自主飞行机器人同样的轨迹规划
通过直接使用TSDF数据。实时内建3D绘图， 导航和里程计已经在实现飞行
机器人[28，29]使用占用网格。凿是免费的 这项工作。
Kinect的融合[11]采用TSDF同时提取 移动深度摄像头和场景几何中的姿态 即时的。为使扫描融合大量使用GPU的 和渲染，Fusion是能够创造非常高质量的， 在一个小的高分辨率表面重建
区。然而，像占用网格映射，该算法
依赖于一个单一固定大小的3D体素网格，并且因此是不 适宜重建非常大的场面因为内存 约束。这一限制在扩大产生了兴趣 TSDF融合到大的场面。
移动窗口的方法，如Kintinuous [12]延长
Kinect的融合，通过记录一个移动的格素场面大 在GPU。由于相机移动网格之外，区域 这不再是可见的变成了表面表示。 因此，距离场数据被过早地丢弃
以节省内存。当我们要保存距离场数据，以便 它可在以后用于后处理，运动规划，和