|
6 f. f1 c1 h) B! E0 n- D
原标题：汇总教程 | 视觉/激光/多传感器融合SLAM，三维重建，运动规划，从入门到进阶！
5 T* B# Q9 l& k
5 U" l2 u. v; \2 O+ y4 q 计算机视觉life”，选择“星标”
4 t! @+ ]' _4 s0 p/ F, m! a 快速获得最新干货
2 }4 c/ M' K0 E: Y 背景介绍
% Z; R+ Z0 ^$ T1 Q 这两年 自动驾驶领域非常火热，发生了一轮又一轮的融资， 图森未来在美股上市，被称为“全球自动驾驶第一股”。 大疆创新正式推出旗下智能驾驶业务品牌“大疆车载”，华为、小米也纷纷下场。近日，自动驾驶干线物流企业千挂科技完成2亿元Pre-A轮融资，MINIEYE完成D轮累计8亿融资。。。 E* \1 q7 s2 o0 `( p5 y! A- R
在 增强现实（AR）领域， Facebook已经从社交网络公司改名为元宇宙公司Meta，字节跳动重金收购AR/VR头显公司Pico，腾讯、阿里也纷纷入场，连罗永浩也告别了社交平台，将在AR领域再次创业，不知道是AR领域的明灯还是Ming灯。。。 ) K" q6 H" A/ P e7 ~
在 机器人领域， 扫地机器人公司 石头科技上市， 物流机器人极智嘉在筹备IPO， 清洁机器人公司 高仙完成B+轮1亿美元融资。。。
- p0 _+ _" I9 a1 \8 ?$ Z. v 在自动驾驶、无人机、增强现实、机器人导航等领域的技术栈中，即时 定位和建图（SLAM）是其中的核心技术之一。 SLAM中所涉及到的传感器有 相机、激光雷达、IMU、GPS、轮速计等，面对不同的平台和传感器配置，如何选择适合自己的技术方案呢？
' a" |) ], ]! m( I2 l: ~) k6 d 视觉SLAM基础
4 M* c% Z( o, E ORB-SLAM2是业内最知名、应用最广泛的视觉SLAM开源代码之一。它有如下优点： : ?2 Z q% H( v2 u
0 _: u* C' m, P7 w, ?* s 支持 单目，双目和RGB-D相机的完整开源SLAM方案，能够实现 地图重用、回环检测和重新定位的功能。
s; B5 I- K! Z+ m7 k& s 支持轻量级定位模式，可以达到零漂移，此时不使用局部建图和回环检测的线程，可以用视觉里程计来跟踪未建图区域。
/ ]: d$ f. ]! w" d; r; z 采用ORB特征，具有旋转不变性、光照不变性、尺度不变性，匹配速度快，适合实时应用。无论是在 室内的小型手持设备，还是到 工厂环境的无人机和城市里驾驶的汽车，ORB-SLAM2都能够在CPU上进行实时工作。 : f9 P: a" J" R/ v+ z7 M
跟踪、局部地图、闭环、重定位等所有的任务都采用相同的ORB特征，使得系统内数据交互更高效、稳定可靠。
' j9 y2 L* K. [% D% G- A8 X 单目初始化和应用场景解耦，不管是平面还是非平面场景，都可以自动 初始化，无需人工干预。 9 a- [" U* ]& y. e
地图点和关键帧创建比较宽松，但后续会进行严格筛选，剔除冗余关键帧和误差大的地图点，增加建图过程的弹性，在 大旋转、快速运动、纹理不足等恶劣情况下可以提高跟踪的鲁棒性。
8 F/ L4 L! m2 @+ s& F 采用共视图，使得跟踪和建图控制在局部共视区域，与全局地图大小无关，可以 在大场景下运行。 7 c" g* Q: b" w; [. c
使用本质图（Essential Graph）来优化位姿实现回环检测，耗时少精度高 。 . i$ c+ O' Z h5 \& J
相比于直接法，可以用于宽基线特征匹配，更适合于 对深度精度要求较高的场景，比如三维重建。 X& [/ o& R# k' k" c1 h
定位精度高，可达厘米级，是特征点法SLAM的经典代表作品。 # c9 ^. M8 E7 `) J
代码可读性强，包含很多工程化技巧，非常实用。
5 p% P6 r0 N; [& J
0 Z# R: M& G# w: L4 d ORB-SLAM2 用于室内三维重建
4 R8 W7 ^0 M- D. } ORB-SLAM2详细注释的代码持续更新，网址：
! X9 X2 w" C' X4 L2 w1 q: h https://github.com/electech6/ORB_SLAM2_detailed_comments & K4 J3 l+ A/ G, t& \& a! ]$ y- O
视觉惯性SLAM技术
: m9 o3 Q8 I3 V. U9 s ORB-SLAM3是在ORB-SLAM2的基础上开发的视觉惯性SLAM技术，于2020年7月发布。它在定位精度和效果上几乎碾压了同类的开源算法，受到极大关注。
! w3 [( ?4 B4 U7 r" T- g 它有如下特点： , y( x( a- f, m- Z8 z- h$ Y+ Z
1、 第一个可以运行视觉、视觉惯性和多地图，支持单目、双目和RGB-D相机，且支持针孔和鱼眼镜头模型的SLAM系统。
9 Y) ?* v, m+ o3 b8 R9 N 2、该算法可以在不同大小，室内和室外环境中鲁棒、实时的运行，精度上相比于以前的方法提升了2~5倍。
3 q3 |% L( t9 m' A6 h9 @ 3、 多地图系统可以让系统在视觉信息缺乏的场景下长时间运行。比如当跟踪丢失的时候，它会重新建立新的地图，并在重新访问之前的地图时，无缝地与之前的地图合并。 7 t( C7 v0 C3 W) u
4、实验结果证明，双目惯性模式下，该算法在无人机数据集EuRoC上可以达到平均3.6cm的定位精度，在手持设备快速移动的室内数据集TUM-VI上达到了9mm的定位精度。
( s! h# W7 m, w 从室内到室外，丝滑闭环 4 M O* n1 ~! L$ W: z1 e3 t' y
全网最详细ORB-SLAM3代码注释地址：
. F) j' _, L* u& A7 q https://github.com/electech6/ORB_SLAM3_detailed_comments
, L% E7 _; c* ?( i VINS-Mono/Fusion 系统教程 * o3 f7 g# z# q
VINS即Visual-Inertial navigation Systems，是视觉惯性导航系统的统称，不过我们平时所说的一般是指VINS-Mono/Fusion。 香港科技大学飞行机器人实验室（沈邵劼团队）在2018年开源了VINS-Mono算法。第一作者秦通（2019华为天才少年），该论文获2018年机器人顶级期刊IEEE Transactions on Robotics最佳论文奖。它用一个单目相机+惯性测量单元（Inertial Measurement Unit，简称IMU）实现了紧耦合的视觉和惯性联合状态估计，在保证高精度里程计效果的同时，还可以同时估计出传感器外参，IMU零偏以及传感器时延。2019年该团队开源了VINS-Mono的升级版VINS-Fusion，它支持多种视觉惯性传感器类型，包括单目+IMU，双目+IMU，以及纯双目。VINS-Mono和VINS-Fusion在当年一骑绝尘， 是非常经典且优秀的VIO框架。
$ H3 |- j9 z; `% p: v3 H5 E 以下是VINS-Fusion在汽车SLAM上的效果：
1 K" n: I* v5 h4 e( S 以下是讲师详细注释的 代码地址： 9 I5 O0 s2 X# G9 _
https://github.com/xieqi1/VINS-Mono-noted 5 ~" `7 Z G; [2 q+ X7 Y' o
https://github.com/xieqi1/VINS-Fusion-noted ( G: D, E/ g) [6 [" o& H
基于LiDAR的多传感器融合技术
5 d( p9 I3 {* Y& Z4 D/ ]/ V1 k 多传感器融合SLAM是自动驾驶、智能机器人中的核心技术。 目前工业界用的主流多传感器融合SLAM框架包括LOAM/A-LOAM、LeGO-LOAM、LIO-SAM等。 8 r1 m5 m8 [/ p1 U
" \+ v; h3 P x# p# v$ L0 s LOAM是Ji Zhang早期开源的多线LiDAR SLAM算法。该代码可读性很差，作者后来将其闭源。
8 |# z: Q6 w6 @# E$ z. r1 }0 \ A-LOAM是港科大秦通博士（VINS-Mono一作）在LOAM原有代码基础上，使用Ceres-solver和Eigen库对其进行重构和优化，在保持原有算法原理的基础上，使其可读性大大增加，作为入门多线激光slam最好选择。 " Z$ W1 m& Q2 O4 y0 t
LeGO-LOAM 是Tixiao Shan在原有LOAM基础上，做了一些改进包括:1、对前端里程计的前量化改造，提取地面点更适配水平安装的LiDAR; 2、使用SLAM中的Keyframe概念以及回环检测位姿图优化的方式对后端进行重构。
3 d) C. `$ f7 E2 }1 u
4 _. ]7 J6 [5 h* V3 J) I, u6 q- J+ w, W. a' J3 d4 O
LIO-SAM 是Tixiao Shan在LeGO-LOAM的扩展，添加了IMU预积分因子和GPS因子：前端使用紧耦合的IMU融合方式，替代原有的帧间里程计，使得前端更轻量；后端沿用LeGO-LOAM，在此基础上融入了GPS观测。同时前端后端相互耦合，提高系统精度。 - o: }+ z1 c, J6 r1 r7 L: F8 F
7 g& n* j. H) Y2 W1 v LIO-SAM 的效果 & C0 T4 ] s+ v* \" w
: Y8 F" w4 i# b
LVI-SAM是Tixiao Shan 2021年最新的开源工作，他将LIO-SAM和VINS-Mono进行了结合，是一个通过平滑和建图实现激光雷达-视觉-惯性里程计的紧耦合框架，由两个紧耦合子系统组成：一个视觉惯性系统VIS和一个激光雷达惯性系统LIS。当两个子系统中的一个发生故障时，系统也可以发挥作用，这增加了它在无纹理和无特征环境中的鲁棒性 . p6 O5 E! m9 C7 e
, k7 B5 z# d* v( H% m6 z: Z% s 独家注释代码 3 W ?- E' G6 O6 ~
https://github.com/xieqi1/a-loam-noted
3 t: g. v1 q4 M+ L* f https://github.com/xieqi1/lio-sam-noted
5 L8 l% q6 L5 j, o. M; M2 _1 C, V https://github.com/electech6/LVI-SAM_detailed_comments
( _! R" K+ P7 ?- G0 |- C! o. Q 激光SLAM技术 : Z2 l" X) _ f- L
Cartographer是Google推出的一套基于图优化的激光SLAM算法，它同时支持2D和3D激光SLAM，可以跨平台使用，支持Laser、IMU、Odemetry、GPS等多种传感器配置。该算法可以实现实时定位和建图。
0 s( F* V* {9 [" h' Y7 @' r# t Cartographer建图过程
& c! T( @ |) `. X Cartographer建立的栅格地图可以达到5cm的精度，该算法广泛应用于服务机器人、扫地机器人、仓储机器人、自动驾驶等领域，是最优秀的激光SLAM框架之一。
0 j4 S# U& @) C9 H Cartographer做了超详细源码注释
4 H. j/ d8 [ h" B. |. c( _ https://github.com/xiangli0608/cartographer_detailed_comments_ws 0 x/ k: @$ A: [; c* k
机器人运动规划 + I/ v5 L' `& B2 z
运动规划和SLAM什么关系？
) k* r0 Q/ p6 x! J 其实在企业里，SLAM算法工程师、运动规划工程师通常是 相对独立的岗位，SLAM技术通常可以得到稀疏的定位地图，结合后处理可以得到稠密的三维点云地图。此时我们需要用一定的规则将其转化为 栅格化地图，机器人在这个 地图的基础上进行运动规划（导航）。SLAM和运动规划是自主机器人的两个核心技术。 2 t: z2 `/ S7 D2 c/ G5 N, N7 l1 r
简单来说，解决机器人导航问题一般被称为运动规划，就是让机器人可以自主根据传感器获取外部环境信息，在当前环境中找到一条适合机器人行走的最佳路径。这不是一个简单的工作，因为地图可能发生变化，其他运动的物体也是必须要绕过的障碍物，所以常常需要更改自己的规划，如何在这种复杂的环境下高效率地实现最佳路径，就是运动规划的使命。
% a; z1 c9 N8 H" o& _% Y/ _- x7 h1 t 运动规划在移动机器人的应用 4 R/ C4 c$ t7 ~! A) o
独家注释代码 . q9 u6 _9 W* {1 y
https://github.com/felderstehost/ros-navigation-noetic
3 P$ _/ `4 s2 ]4 A9 t- q% ]. V# ^ 视觉几何三维重建技术 ) E7 A3 y( Y& \% x
; u+ Z5 Z O+ z4 B- J 三维重建是指用相机拍摄真实世界的物体、场景，并通过计算机视觉技术进行处理，从而得到物体的三维模型。英文术语：3D Reconstruction。
]7 e% y1 P" ^+ M: | 涉及的主要技术有：多视图立体几何、深度图估计、点云处理、网格重建和优化、纹理贴图、马尔科夫随机场、图割等。
7 N) H& e9 |, E! C" c 是增强现实（AR）、混合现实（MR）、机器人导航、自动驾驶等领域的核心技术之一。 三维重建结果
2 ~2 Y" c$ {; ~9 M) C! b9 ?5 G. h5 K5 A s& Y3 N1 ?/ ?* U& c
全网最详细的代码注释地址： 2 _: }( b8 Y E
https://github.com/electech6/openMVS_comments 7 v. f4 y5 _0 a: o+ i8 f; P
深度学习三维重建技术框架 * u" ~9 o+ c4 {' _* |
传统的重建方法是使用光度一致性等来计算稠密的三维信息。虽然这些方法在理想的Lambertian场景下，精度已经很高。但也有一些常见的局限性，例如 弱纹理，高反光和重复纹理等，使得 重建困难或重建的结果不完整。因此，传统三维重建方法在重建的完整性等方面仍有很大的改进空间。
5 r. v" E( ?) i 近年来深度学习在三维重建上取得了很大的成功。基于学习的方法可以引入比如 镜面先验和反射先验等全局语义信息，使匹配更加鲁棒，从而解决传统方法无法克服的难题。因此掌握基于深度学习的三维重建前沿算法非常重要。另外，在这个大数据时代，深度学习已经是大家必须掌握的技能，传统视觉算法已经很难有新的突破，各个领域都在朝深度学习方向研究，近几年各大视觉会议论文都是基于深度学习来实现三维重建，各个大厂招聘也越来越看重深度学习三维重建方法。 , }) i9 b: g- y' y' r8 t
C++编程入门到进阶 - N; |! M8 x* h% z7 _+ H
很多初学SLAM的小伙伴都有个疑问：号称宇宙第一语言的Python，简单好用，包又多，功能又强大，为啥SLAM算法里很少使用呢？ , k$ L: @3 A0 V
SLAM知识星球嘉宾刘国庆在知乎做了回答 * m i) p4 q5 p8 G; L
这里再补充几点： % a1 j M( f" ~& ]: R e! v( o
5 @; V& k6 V! X& s C++具有 极高的性能和运行效率，很多语言都是在C/C++基础上封装的，比如Python。就这一点足以秒杀众多的高级语言。 ! x; n! ~" c+ N$ j1 D
C++发展了三十多年一直是编程常青树，一直使用，一直在发展，C++岗位需求会 越来越旺盛，只增不减。
4 w* u9 s' l( V5 ?# M4 [, h2 L7 ?& A C++能够 操控底层，非常适合 和硬件打交道。 / m, ^, [# e6 Z7 w5 }' s
, h/ t( E( h F3 M9 e, D
很多小伙伴都是机械、自动化、通信等非计算机专业，也没有经历过系统的C++训练，而在具体的项目中，比如SLAM算法框架中，通常的代码并不是我们在书上看到的那样简单直白。很多同学在学习SLAM的过程中感觉C++是一座难以跨越的大山， 学习过程漫长而痛苦，项目开发遇到bug也不会调试，书看完了代码还是不会写，代码一改就错，一错就懵。 9 C8 l5 i# u0 G- y- U, ~
相机标定技术框架 ' i& h/ m$ {1 U; b1 u5 w2 u
* J+ G; f! i* X
相机标定是指借助专用的标志物（如棋盘格）来估计相机的图像传感器参数（内参、外参）和镜头参数（畸变系数）。 ; X6 G E& z8 V Q* D2 {% K
它是一种计算相机二维图像和三维世界相对映射关系的一种方法。标定相机过程涉及相机成像模型、多视图几何、非线性优化等知识。
9 Q( M' _7 V# K/ ]% e2 ?! ]5 K 相机标定是三维视觉的基础。 ' U" \- W' S1 J$ M
( l, d; t: p+ \' E) j8 k# h+ k
毫不夸张的说， 相机标定是一切三维视觉的基础。它广泛应用于 双目视觉、手眼机械臂、机器人定位建图、图像拼接、三维重建等场景。
8 Z2 j/ S/ i% i 全国最大的SLAM开发者社区 6 ?5 j9 p/ U: n; m9 }/ B! [
SLAM社区：一个人啃SLAM，难受到自闭，硬顶还是放弃？ 9 V) r; U/ ]7 r4 b
在我们的SLAM和3D视觉知识星球里，很多刚入门的同学问的最多的问题我总结了一下，主要有：
; f- L' J. Z# {: c1 ~( b% B+ c1 v5 Z- ]1 S
机械/自动化/数学等非计算机专业能否转SLAM？+ m2 t d S" \
导师不懂，但要我做SLAM方向，怎么入门？1 W# e/ O. O$ A5 { d
编程基础差，数学不好，能否学习SLAM？
* h0 ]& [, n2 k$ t* H% q& G5 o/ T 看完十四讲，下面怎么学习？
3 f1 ~. e/ {/ V5 z; W 需要学哪些开源框架？怎么学习呢？# H2 s2 C# O1 D: b, q
编译遇到很多问题，怎么解决？% n8 B5 }1 g1 y4 E8 ?
只有自己一个人学SLAM，没人讨论好痛苦，怎么办？
6 ?# F) h0 Q' |: J 想要和小伙伴组队系统的学习，有资源吗？) _1 s1 v' E! K! e3 G) j$ _' A
, e/ B6 k! {* f( F" V1 v 我们建立了全 国最棒的SLAM和三维视觉交流社区，包括 小白入门图文/视频教程、学习过程疑难点解答、每日最新论文/开源代码/数据集分享、在线学习小组、笔试面试题、实习/校招/社招岗位推荐、星主直播交流等。
8 H8 B! l9 E4 J' Q Y2 s2 ]/ x
5 u3 T) d4 b% n: e 2018年创立、 3500+会员、 6100+主题分享、 9500+问答评论、 130+教学视频
4 w1 `! Z* G5 y* p8 m2 _ 教程：图文视频教程、涉及 代码调试/OpenCV/PCL/G2O/Ceres/视觉SLAM十四讲/LVISAM/R3LIVE 1 z. }- k7 @* t
资讯：每日论文分享、行业资讯汇总、每周汇总、精华汇总
4 L* Z3 ~- Y% O* Z2 f2 f 直播：每月至少3次，涵盖学习经验/求职面试/实习历程/行业介绍 ' L1 k9 d5 g3 Z" {- Y
活动：学习小组、行业资源对接、会员激励、有偿招募助教/兼职 ?/ U# _% t A) U' M0 k( U2 `/ |3 N. F
求职：内推职位、SLAM面试题、笔试练习 + G+ y. w" w% A/ G1 T/ V
…… 3 }' D+ d- z( Y% `% u. o+ q
1 A0 o* @: r" L' `: K
3 y; W( F) Y) ^ x 独家重磅课程官网：cvlife.net # ?* t, b( [* F0 k
1、SLAM社区： 一个人啃SLAM，难受到自闭，硬顶还是放弃？ & ?4 O" B" y5 _5 T8 G# Q
2、C++实战： 为啥SLAM代码都用C++不用Python？ ' ]# @# ] d. S% ]8 H4 E: }# {
3、多传感器融合SLAM 激光雷达-视觉-IMU多传感器融合方案！ $ Y( d3 w# s" z6 R+ V3 O! a
4、VIO灭霸：VIO天花板ORB-SLAM3第2期上线！（单/双目/RGBD+鱼眼+IMU+多地图+闭环）
$ e7 l4 @! [6 Y2 {7 B: S1 C 5、视觉SLAM基础： 刚看完《视觉SLAM十四讲》，下一步该硬扛哪个SLAM框架 ？ ' V, W2 H0 F0 a" [( B9 `
6、机器人导航运动规划： 机器人核心技术运动规划：让机器人想去哪就去哪！
6 _; H* \, J2 _) I 7、详解Cartographer： 谷歌开源的激光SLAM算法Cartographer为什么这么牛X？
' V8 k7 N# m$ X8 V* y! G7 x 8、深度学习三维重建 总共60讲全部上线！详解深度学习三维重建网络
' J! ^) N+ ?3 a7 N2 e; ~8 W& C3 o 9、三维视觉基础 详解视觉深度估计算法（单/双目/RGB-D+特征匹配+极线矫正+代码实战）
5 T" M, {2 Y! g' Y* w' h 10、 VINS:Mono+Fusion SLAM面试官：看你简历上写精通VINS，麻烦现场手推一下预积分！
% L/ f ]- Z% S* Z7 [ 11、图像三维重建课程：视觉几何三维重建教程（第2期）：稠密重建，曲面重建，点云融合，纹理贴图 ' }9 P4 h# L; |* |
12、系统全面的相机标定课程：单目/鱼眼/双目/阵列 相机标定：原理与实战 返回搜狐，查看更多 " B1 \8 ?) o* v% p( M6 @( f; W/ p+ ?
; H' V6 t) w" n1 J/ q# T# M0 v" Y
责任编辑：
) l3 ?/ l/ u/ _; r# s D# ?: P" V) t7 a+ I+ M
3 w( H" I: a9 v! k E
$ h/ A0 V! K' c8 M
& f8 o+ F" [* \/ e) n | 
