|
; m' a2 V( l; k/ m/ S' k# _ P6 B 原标题：声声声声临其境，一起坠入阿里云超音感空间
Y2 `! u- @9 Y7 r, d
. m9 f: V/ |* ~" M8 h: j$ D9 n- d
; ^$ V1 C3 Y# N0 T1 J
" O4 ]/ L) R3 |: H$ q 大众对沉浸体验的追求，不再仅局限于“视觉”。声之切，境尤升。
) K) I7 n7 v7 S8 t
5 ?3 `/ C3 R" g* F" S7 C3 Y) N; m5 c, X' p; [& Y h
随着硬件技术的升级、软件内容的丰富以及5G网络环境的优化，推动几经浮沉的VR产业走向正循环。 5 A! T6 `6 B+ N) n9 {
就在去年，「Roblox上市」、「Facebook更名为Meta」、「微软收购暴雪」等将元宇宙相关产业推向风口，而Oculus Quest 2（VR一体机）出货量破千万台的成绩，更是一件将沉浸式VR从概念落地场景实践的标志性事件。
; U( F+ q7 f8 x8 `" v5 K2 Y 在本次云栖大会阿里云视频云的8K VR视频技术展台，体验者通过佩戴Pico VR头显，感受清晰度高达8K的360度VR视频，实时捕捉超高清细节。
* L- H. h% T) L% `: U4 I 不仅如此，体验者还能以“声”临其境，感受令人惊艳的全景声技术带来的沉浸式视听体验。 ! U" I- V5 X6 @: Y0 a
2 i2 h' `" q N) c# ~/ l7 O+ O, P 
( I- b" P! F5 h2 M" L
01“视”之外的沉浸之“声”
+ ?8 Q a" n( l; ~: S4 d 「沉浸式视听体验」一词已多次出现在大众视野，究竟什么是沉浸式视听体验呢？ 6 q8 l1 f$ {' h" O e! E6 b l
“沉浸式视听体验”是指通过视频、音频及特效系统，构建大视角、高画质、三维声特性，从而具备画面包围和声音环绕的主观感受特征，观众在所处位置就能获得周围多方位的视觉、听觉信息，带来身临其境之感。 4 C% w ^8 s& g9 ^# j8 H
听觉作为仅次于视觉的重要感官通道，对沉浸式的视听体验至关重要。随着用户对视听体验的极致追求，在“视”之外，沉浸之“声”技术应运而生。 % R& Q# H# @( l1 B5 {9 h
「沉浸式音频」是指能够呈现空间的还音系统的声辐射，至少能覆盖观众的前、后、左、右、上五个方位。除此之外，还能真实地营造出声场的水平纵深和垂直高度，即从听者角度能精准地定位声音的方向和位置。
2 U1 q9 l8 M8 _; ~! l, X0 C 从技术角度是如何实现呢？
" D5 E2 Y" {! b: f- z 其实，真实世界的声音来自环境的四面八方，人耳往往可以通过声波的时间差、强度差、相位差、频率差等辨别声音的方位。 : }& j/ ?0 p! V. D0 I0 z( [
但现有的立体声和5.1环绕声只能呈现部分方向传来的声音信息，若想获得声音带来的沉浸感，需要尽可能全方位再现真实世界的声音，也需要一种沉浸式音频技术来实现。
/ S X- W$ T. U% c. [  图片来源于网络
& w0 v# [& h. O! ]3 o( p' @
02一个「球面」的声场？! @# c6 w" O+ R5 O$ t+ {* u2 T% L
沉浸式音频主要技术有三大类: 基于声道 Channel Based Audio（CBA）、基于对象Object Based Audio （OBA）、基于场景 Scene Based Audio（SBA）。 ( d7 j5 t, [& H- j9 z8 n1 I
❖ 基于声道技术（CBA）：在传统 5.1 环绕声的基础上，增加了 4 个顶部声道，通过增加声道的方式来补充空间中的声音信息，但只能呈现部分方向来的声音信息。
; ?! u- f9 \$ f3 l% p# v ❖ 基于对象的技术（OBA）：是目前主流技术，并在电影领域已广泛应用，如 Dolby Atmos 全景声。该技术会产生大量的数据和运算，除了声道的音频外，还有关于声源的元数据Metadata，即：声源（位置/大小/速度/形状等属性）、声源所在的环境（混响Reverb/回声Reflection/衰减Attenuate/几何形态等），该技术在VR领域只适合主机VR上的大型游戏，对于普通移动端的硬件设备来讲，算力及带宽承载具有较大压力。
6 S0 a1 _- X9 C# r ❖ 基于场景的技术（SBA）：用来描述场景的声场，其核心的底层算法是Ambisonics 技术,可被映射到任意扬声器布局中。Ambisonics技术的特点是：声源贴在提前渲染好的全景球上，即所有声源将被压缩在了这个球上。 , @* j! W4 i' F: {9 w. {
 图片来源于网络
, i4 r7 Q& _% q
本文的音频体验展示便采用了Ambisonics的录制格式（文末体验DEMO）。 ( Q1 x4 v6 O4 b+ d" c
Ambisonics作为全景声的一种录取格式，在上世纪70年代就已经问世，但一直没有获得商业上的成功。
8 {2 W/ S; `. R: f% f' W 随着近几年VR，AR等相关领域的兴起，Ambisonics开始逐渐被讨论。与其它多声道环绕声格式不同，Ambisonics传输通道不带扬声器信号，允许音频工作者根据声源方向而不是扬声器的位置来思考设计，并且为听众提供了用于播放扬声器的布局和数量，因此，大大增加了灵活性。
9 b! M" A; U+ F* J2 B# f5 n& j Ambisonics音频格式可以解码任何扬声器阵列，并且可以完整地、不间断地还原音源而不受任何特定编解码播放系统的限制。
1 m2 K" d; e: q1 q5 q; ?, h, k( T 下图是一个一阶的Ambisonics结构，4个MIC垂直部署在一个四面体上，播放效果与Dolby Atmos类似，但和Dolby Atmos不同的地方是：Dolby Atmos 只解决了半球的声场。 " M$ h: S- I% M! P, A
而Ambisonics除了水平环绕声音，还可以支持拾音位置或者听众上下的声源，即整个球面的声场。 $ t# E; z" h+ ?; x
# d7 E: U4 H3 {! `$ e
 图片来源于网络
1 c! Z* z' m8 p q( P) C7 u( \
03实现声声入耳的引擎：AliBiAudio# b V( M" L" u- H+ u( G( [
全景声不仅仅是增加几个声道那么简单，而是把整个声音系统架构都颠覆了，从之前基于声道来混音的技术上升为基于对象的音频处理技术，使人在环境中的听觉感受与现场实际声音一致。
/ W! e! i2 G5 m" |, r6 ~( {6 W 将全景声音频重建成用户可测听的形式有两种途径，一种是多扬声器重建，即电影院或家庭影院中的音响系统，其本质是将全景声音频转换到5.1.4或7.1.4格式；另一种是耳机重建，即将全景声音频通过双耳渲染技术转换为双声道音频，并保留其全部空间信息。
3 x! N i( }1 [% g 相对于多扬声器重建，耳机重建成本低、易部署、效果好。 & k5 T5 r0 K+ f% ~* P
不言而喻，耳机重建全景声音频，需要一个双耳渲染的过程，以此来通过两个立体声通道创建空间和维度的听觉感知效果。
6 l( z( y" T+ @& f C0 t6 H 
8 c' `8 M4 B9 _; J
AliBiAudio 就是一个阿里自研的双耳实时渲染引擎，结合头部跟踪坐标，可以达到人转动，声源位置不动的效果。当前双耳渲染引擎，具有支持全平台、多场景、易部署等特性。该引擎既可以部署在移动端，也可以部署在云端，并支持三大场景的渲染。
' t6 z& D( G; n ❖ 单声道输入：用于虚拟会议场景，可将不同位置的人，渲染在不同的角度发声，通常部署在服务端。 ' l3 w. q5 y$ j" t
❖ 5.1/7.1 输入：用于影视剧渲染，得到更逼真的环绕声，类似优酷中的“帧享”音效。既可以部署在端上（如：Apple Music 空间音频），也可以部署在服务器上（如：作为媒体处理，将多声道数据下混成2路数据）。 1 T: j& L4 o; ?/ M; H
❖ Ambisonics输入：对Ambisonics格式进行渲染，用于VR直播，VR点播，当前部署在Aliplay中。 2 K9 w1 j7 U0 O- j& |8 V$ B/ |+ f+ G
$ [3 ~3 ?$ o$ Y+ q. t6 S
04如何让声音跟随脑袋一起摇摆
, E$ f @9 i. n! P3 u ❖ HRTF
; z* L7 ?$ G. W( e+ Y 双耳渲染引擎的核心模块是人头传递函数HRTF（ Head-related Transfer Function ）。
( G8 `3 p+ Z9 Z- X/ ~7 Z3 B1 d$ o0 N 每一方向都有两个HRTF，分别代表音源到左右耳的房间冲击响应，通过720度扫描可以得到一个球形的HRTF库，如下图是一个ARI HRTF 数据库的分布。
9 Q2 \' c9 n) b7 i4 v* z 
1 F1 n/ o( J7 k, a
ARI HRTF 数据库
1 |1 |1 Q; T$ b$ ? 在渲染时，通过输入的角度信息，先从数据库中选出当前角度的HRTF对。然后再将输入数据分别和HRTF对进行卷积得到左右耳信号。为了得到更逼真效果，还可以添加一定量的房间混响如下图所示： 2 [# W% i( M+ P* U4 |
1 G' H6 T# ]$ S) O |
本项目对大量HRTF库进行筛选，获取到一个最优的数据库。
& z8 O2 l1 ]) d9 p5 [, }' E# t" u/ J8 T ❖ Ambisonics数据格式
4 {( d1 w9 }+ Q3 n: |. H8 q Ambisonics 的基础功能是让来自不同方向点声源，作为360度的球面来处理，这个中心点，就是麦克风放的位置。当前广泛用于VR 和 360 度全景视频的Ambisonics 格式，是一个叫做Ambisonics B-format的4声道（还有另一种格式叫A-format）。由W, X, Y and Z组成。对应着360度球面的，中心，左右，前后，上下。 # r0 V) W; m* W
$ G. a2 [" ~7 u& a4 \
W 是一个全向- }6 c) q# ^3 r, M' ~! s3 |
X 是一个双极 8 字指向，代表前后: y% }' d7 \5 V
Y 是一个双极 8 字指向，代表左右
8 W" i0 X0 F' R0 d+ K+ o Z 是一个双极 8 字指向，代表上下, G$ Y$ {1 k2 F8 X: D3 ?* D! Y
* M8 n" j9 F; n- P7 x+ l B-format 有两种格式分别是ambix 和fuma（它们只是排列顺序不同），而A-format 代表4个mic 采集的原始数据。B-format和A-format的关系如下：
3 k3 I3 o5 S6 m% b9 t- U  图片来源于网络
4 ~: @' }8 x) o/ I' ]$ D. f
❖ 头部跟踪
9 O6 o6 [5 z7 J1 K9 J 该技术利用了某些特定款式耳机中的传感器信息，如：加速度计和陀螺仪，从而更好地跟踪头部运动，并做出相应的音频调整。 7 ?1 V/ n' e- o) l
Apple已经从 iOS 15 开始通过兼容耳机带来支持头部跟踪的空间音频功能，目前Android 13的发布预览版已完全支持在兼容设备上使用头部跟踪的空间音频。本次云栖大会的展台体验便主要利用了Pico头显设备中陀螺仪的信息。
3 R, y1 I6 V B) V% G7 v  图片来源于网络
; b& u$ a' _! I
05一起「声」临其境9 Q8 y' z& T# F( c. a. U- Y7 T
「佩戴耳机」体验全景声，效果更好哦！
7 J: Z& M6 H- |2 L 现场体验中，声音的变化会随着头部的转动而转动，本次线上DEMO体验将依靠手动界面移动来模拟头部转动。 * w( Q8 G0 x3 g5 N
01听：无人机掠过头顶 # O$ l6 s6 e$ [$ X9 Z t
9 b* P. c! J: ]0 P; G 无人机逐渐升起从头顶掠过，当视角跟随（模拟）无人机时，声音相应地实时变化。 7 ?2 T8 M' T. D+ X# z1 r `
02听：滴答滴答 / K! q( m/ f9 m% @7 e# Z" w
+ [* E* }* M2 n0 K: B
聆听水滴的同时，发现左方有无人机的声音，视角随声而转，一路跟随，感受无人机由近及远的变化。 " W. t' W4 E. E1 h& ]% Q* V: v; |
03听：沉浸游园
+ \6 o( l+ X3 D, r" r. _& F
P. R7 x' ~) m 主持人在介绍园区时，用户向四周左右观看（模拟），在此过程中，主持人的声音呈现与他在你视角的位置始终保持对应。 3 P6 }6 n3 `+ s Z: k" l1 F( v. q
04听：PING PANG之声
% O& ~; e9 I9 @+ L+ f; g6 Q8 o
1 J7 @8 v! o7 Q! l) e" G" C |8 ~ 沉浸式场景怎能少了运动！一转头，乒乓之声已被“抛之脑后”。 ' R! g% ]- w$ F0 G' }
06音频的未来，炫到无法想象; y! E' o! z- F. P5 d
除此之外，全景声双耳渲染技术还可运用于多个场景，带来沉浸视听的无限想象力。 ! p- F5 x* `' z$ r( I0 ~
❖ VR演唱会
& }' s C: L, {# W5 T% T 现场混合360度视频和全景声音频， 同时将数据传输到相应的移动平台，并进行实时直播。让观众可以达到“不在现场，胜似现场”的感觉。 0 x0 l2 ]* y( k" Q L. b
* Y5 m, w8 ^5 B: p7 A ❖ 沉浸式影院 3 J6 Z" A) W( ~$ C+ o1 U. i
也可以称之为沉浸式投影，是一种成熟的高度沉浸式虚拟现实系统。它将高分辨率的立体投影技术、三维计算机图形技术和音响技术等有机地结合在一起，产生一个完全沉浸式的虚拟环境，大大增加观影的沉浸感。
6 ~* a t/ n% P. Q ❖ 智慧教育
/ u) M7 s6 H0 F) q9 y& Q 沉浸式教学模式逐渐受到教育界的关注。例如，IBM研究院和伦斯勒理工学院联合开发的“认知沉浸室 ”，它能让学生置身于中国的餐馆、商场、园林等虚拟场景，与AI机器人练习汉语对话，大大提升了学生的学习兴趣和专注力。
5 D( d' h0 q( O9 H8 B ❖ 虚拟会议 $ h3 |/ c1 W7 c' a; i! I
以Facebook基于VR开发的虚拟会议为例。而为了更贴近现实，Workrooms还加入了沉浸音频功能，让用户交谈时，声音的发出的方向跟他们所处的房间位置一致，从而进一步增加参会者的沉浸感。
: a3 `) z6 h q; T/ e 图片来源于网络 $ R* ^2 V, A" _4 [) G3 p/ I
未来的沉浸音频技术将如何发展？ ; F/ H4 {3 H8 K& p- I
以双耳渲染引擎的核心模块HRTF为例来说，当前的HRTF模型，是一个固定模型，无法适应不同人的声音感知差异，尤其在正前方的外化能力还不够好。若想得到更逼真的声音效果，需对HRTF进行进一步优化，使其适应每个人的个体差异性。
* I( U! R2 M% b! d/ @$ ^3 L 比如：根据每个人的人头大小，耳廓信息以及肩膀的形状独立建模。在国外HRTF的建模与个性化发展已经成为趋势：
" M9 a8 E" ^, R 3月开始，杜比支持个性化HRTF的定制。 2 p4 U; G% V4 N* H
图片来源于网络
* D' f f- V0 {1 ^2 G 9月开始，iPhone升级了ios16，通过人脸扫描，可以定制自己的HRTF。 6 H( g/ [3 g2 o! H4 z' i% ]
图片来源于网络 1 a1 M7 |- h. c/ q2 C7 R+ R% h+ e
此外，用机器学习的方法，将面部，耳部图片，转化成HRTF也在火热研究中。 t2 O" h3 ?2 b. S
未来，阿里云视频云将继续探索基于深度学习与信号处理的的音频技术，为VR超高清视频直播带来以「声」临其境的超沉浸之感。 . a. x4 _# ?/ y1 Q
参考文献：
9 K4 |9 v9 l1 W7 ~; A9 A [1] 5G 高新视频—沉浸式视频技术白皮书
& H" i% {6 D5 {6 J) v! } [2] https://m.fx361.com/news/2018/0326/3298705.html 6 N. }/ ~ o4 i$ d0 H8 R
[3] https://3g.163.com/dy/article/ELBCI2OG053290QL.html?clickfrom=subscribe & |) \' V. H+ F" B; ^" }
[4] https://www.birtv.com/Magazine/content/?246.html : @: ^/ B; A; ^
[5] https://m.midifan.com/article_body.php?id=6201
7 G4 }1 @9 K% U5 k/ ` [6] https://sound.media.mit.edu/resources/KEMAR.html . _# d' N; M3 \" D; p- L8 k
[7] https://juiwang.com/assets/projects/hrtf_nn_bem/hrtf_nn_bem.pdf 1 `7 l, x, [# _- N
[8] https://www.tvoao.com/a/208656.aspx返回搜狐，查看更多
8 m0 i& q* o' o, d& J0 i+ }# Q- z2 b. Y" z
责任编辑： 4 ?" K) U) E( N" ^. N, a
3 Q: |, B$ h2 m" w8 F& ]0 x5 S4 H& a7 D% Z s9 C/ P
& b$ D, r5 j, u; g1 Z
L' q$ _* o" ~) z1 u | 
