|
. \- \& M4 z0 P, Y( S5 i hi，我是为你们的xio习操碎了心的和鲸社区男运营 我们的网站：和鲸社区 Heywhale.com& ~+ e- }: [( q! T9 I5 e! Y
我们的公众号：和鲸社区（ID：heywhale-kesci） 有干货，来！大家好，事情的起源是这样的，我司搞了个声学图像水下目标检测的比赛，项目的同学托我来这里宣传宣传。
4 l* `# C0 }6 X, B; }* u 好嘛，举手之劳。 % I& u& N1 K# o- G0 }- b
4 d: E' O& j9 _/ ^' n1 N 但是我仔细看了下题目，咦，声学我懂，但是声学图像是啥？刚看到数据集的图片，我是懵的
* ^6 l9 I z! b' f9 \ . e7 B4 G7 }8 e( A: [
唯一的感觉是“金色的，怪好看的 ”，但你问我这具体画了啥？别问，问就是“我只能分清前视和侧扫” 3 J' Z: `% l9 W, b
刚刚恶补了一下办赛老师的ppt，终于给整明白了，让我来个脱水版的说明。
- `8 F- V+ V3 @: V# z5 G# m 先看这两张图 0 b8 L* E" {& u2 E/ M) ^# S
2 G$ u- o7 [# l& |( l 第一张图是《国家地理》杂志某一期的封面，采用航拍的视角，记录了沙漠中的骆驼（以及它们的影子） & m1 K v8 `7 D( Q
; @: P O7 W' s! Q/ _ \) c
第二张是一张声呐图像，显示的是海底的一辆自行车。 R/ l. i8 H: [
其实声呐图片和清晨/傍晚俯拍的照片是一样一样的，都是声源/光源在被观测物体斜上方，然后观测者以俯视的视角观测。
4 f- Z8 j& m+ m7 ~4 V) |; P8 \" d 基于对图像的观察。你会觉得对于此类图片，识别物体的本身其实挺困难的，反而，“阴影”成为了我们识别物体的关键。 & h8 r+ U3 ]6 p" [+ J# {4 z- j
有了这么个和已有认知的连接，似乎声呐图像就好懂了一点。 7 M$ P4 _9 L$ N! V8 m4 X
% H# e4 q* C0 _5 k
你看这就是辆小汽车
. }, K+ o$ Y* ?$ u. K$ T: C 0 C+ H o, x7 L, r% p
这就是人工堤坝和沙坡
9 ^& O( R, l; t2 | 再往本质说，声呐图像就是根据收到回声时间的分布产生的图像。声呐发出一个触发脉冲，并在水中进行传播，碰到沙地/障碍物会反射，那么收到回声的时间越长，就说明目标物离声呐发出的距离越远。 , p, J; T% u5 K8 X/ a9 N
下面右图是左图顶边的切片，可以看得到绿圈和红圈的两张图像上的峰谷值是相对应的。
6 X2 Z% `$ G% |' p
& i) _1 V# m! l [ 仔细观察下图④⑤⑥⑦的位置，距离声呐竖直方向的上的距离④<⑤<⑥<⑦，但是空间上⑥到①的距离小于④到①的距离，所以⑥在声学图像上离原点更近。而①④、①⑤、①⑥长度比较接近，所以他们会在声学图像上，产生一个高光区域（即图片上的“强反射”） 2 ]- H* ~2 ~3 J& f; p% X; M9 r3 v' m% o
而⑥，⑦中间类似“背坡”，收不到声音，所以就产生了一块阴影。 / O# J3 `. c" x9 `1 h
& }5 U# y& y$ b) [ ]8 ]
大致就是这么个意思，你品，你细品。
9 b& [8 Y/ T) C8 f7 a% `7 z 还想掌握更多细节，或者觉得我说的不太好懂，你可以查看以下视频，以及比赛的讨论区 0 ?+ J* g5 b/ i( p
2020“水下目标检测算法赛”
/ T7 O( t3 n( _4 ^- P 水下目标检测算法赛（声学图像赛项） / 讨论区 $ Y9 Z6 {! }& d0 P; Q5 r: ^
有了前面的讲解，现在在回过头看声呐图片，是不是有那么点儿意思了？ , w% u- \; L' k, d
! r# T' y6 @- l1 n: y 你看这个侧扫声呐图像，显示的是稍微有些起伏的沙地，而这个前视声呐图像显示的是两根柱子。 3 Z9 U: o1 }. ~/ g! A) C9 D3 L: A( u) T
讲完图像之后，我们再来讲讲题该怎么做 # F, N/ y4 M1 k
办赛老师甩了我们一篇论文[1]，里面有一句话引起了我的注意“至今，没有专门为声呐图像设计的目标检测技术”。的确，我之前在四处找资料的时候也发现，相关资料少，使用的方法比较传统。
, T4 u' D: G5 ^9 C 举个例子： , A/ _4 v3 L4 v* I+ @9 }
WACV 2020收录的相关文章[2]中，使用主要的框架为Faster R-CNN
3 }# o6 K8 R% R9 r/ c+ D3 v- g+ v 老师给的论文中，使用的方法为CNN/FCN w& d: e1 `* b, e9 }1 q M+ a
8 k: x: ~# J0 u! _1 g1 I* O 其中Faster R-CNN发表于NIPS 15，CNN和FCN则更是CV领域传统艺能。可见，这个题目的答题空间之大。
3 p+ [7 ?4 I8 q$ { 另外，WACV 2020收录的相关文章[2]也给了我们提示，其中写道：
, l( a$ Q I, f9 J7 I “声纳图像的目标检测任务面临着数据量不足和噪声干扰两大挑战，这两大挑战导致了模型的过度拟合。”
* f" k7 u! f" R# R" E0 B 以上的信息整合后，解题思路呼之欲出：使用为光学图像设计的目标检测算法+针对声学图像特点进行优化。（对不起好像也没说啥有用的）
8 M$ C# r3 e0 y6 L7 P8 X1 } 要是不会，也别怕，现在排行榜上的大家也都还在摸索之中，说不定随便搞个光学目标检测算法就能登顶了呢？ % o& D, P* i- n- q; ?% S
" K) W% H0 \% C) t | 最后，要进行我们的传统项目，也是大家最最最期待的环节： / o8 J" K0 i, P9 x
官方baseline公布# ~4 b4 \! n7 g# _
使用Google Object Detection 完成水下目标检测
! b- g1 w$ H# Y/ b! t https://www.heywhale.com/mw/project/5e6331644b7a30002c98895e 3 W* u5 j7 {5 l
项目优雅介绍了baseline的使用全流程，欢迎大家试用
7 Y! u8 ?. O" L, X 什么？你说你不想努力了，只想找（划掉）富婆（划掉）操作更简单的baseline？行吧。
) L* _" {" D9 G! P- \2 x: ] 懒人版声学 Baseline & R U6 c7 R0 O! }8 \6 z2 l* r
https://www.heywhale.com/mw/project/5e69d767ae2d090037791205 $ ?- y5 W9 b0 k# b
某位想出道的参赛选手为了大家，在官方baseline的基础上优化了一个更流畅的版本，连代码文件都不用拆开，直接调用＋传参就可以了 8 H3 A0 B( J0 R& ~2 |3 h& E
运行 tfrecord_generator.py, 采用 -path 参数传入大赛数据集的压缩包
4 _8 J5 O( E6 A9 U" z* ? 运行 model_train.py, 采用 -path 参数传入预训练模型的文件夹地址 运行 inference.py, 采用 -step指定希望被用于推理的训练步数, -path指定被推理图片放置的文件夹路径有了它，三行代码，你就可以交上作业了，真是妙啊 ; a3 `& s3 \3 w& [2 G5 W
% Y0 A( V! [2 @9 `4 C6 V 再提一嘴，这次数据集的大小也非常友好，只有1.32GB，训练百八十次都不会心疼，平时输在算力的同学们，这次也可以大展身手了。
; I. B# l( `6 y( V 你不算我不算，声呐图像怎么办？ i2 ]1 ~- p! a2 |7 }1 X7 [
你参赛我参赛，海底世界任我探！ : D9 N; ~: \( } ?$ _! _
期待在排行榜上看到各位的大名。以上。
* Q& c( N+ N, m/ q/ ~8 e 相关资料：
$ Q8 B5 r2 `- P/ i2 c# W 1.M. Valdenegro-Toro, "Learning Objectness from Sonar Images for Class-Independent Object Detection," 2019 European Conference on Mobile Robots (ECMR), Prague, Czech Republic, 2019, pp. 1-6.
1 U- S- B- t3 H, U2 | 2.Qixiang Ma, Longyu Jiang, Wenxue Yu, Rui Jin, Zhixiang Wu, Fangjin Xu; The IEEE Winter Conference on Applications of Computer Vision (WACV), 2020, pp. 729-738
3 a$ Y# D+ n( }* l& ~5 M
4 t- r2 I$ n: W: f3 f( u
5 s ^3 |; L$ n5 m6 ?" |1 j9 {; w
; s) |* U4 X) Q( _2 X R. l | 
