|
, P& o1 M# k; ?) K N% a hi，我是为你们的xio习操碎了心的和鲸社区男运营 我们的网站：和鲸社区 Heywhale.com
+ w3 v+ L+ _( N( j 我们的公众号：和鲸社区（ID：heywhale-kesci） 有干货，来！大家好，事情的起源是这样的，我司搞了个声学图像水下目标检测的比赛，项目的同学托我来这里宣传宣传。 + e4 @4 \. b* v
好嘛，举手之劳。 + t' P5 F& r% `3 z: }) y
8 ]2 R( i& w6 L. G8 j' t: O 但是我仔细看了下题目，咦，声学我懂，但是声学图像是啥？刚看到数据集的图片，我是懵的
7 P; H' A1 c+ j* d5 c3 ~ 5 k; ]9 u' X7 F0 H N
唯一的感觉是“金色的，怪好看的 ”，但你问我这具体画了啥？别问，问就是“我只能分清前视和侧扫” ( A$ h1 ?% B$ s+ m) Y! ^$ m
刚刚恶补了一下办赛老师的ppt，终于给整明白了，让我来个脱水版的说明。 ) W* v7 c( J# H
先看这两张图
# I: }$ u4 n0 I3 n6 G* E" ~ - j3 Y0 S! l6 W; h( V
第一张图是《国家地理》杂志某一期的封面，采用航拍的视角，记录了沙漠中的骆驼（以及它们的影子）
3 S( l& z$ C0 Q7 O/ O/ [' i1 ? 1 H4 O. v% t9 v0 u5 o: J" C$ G! w
第二张是一张声呐图像，显示的是海底的一辆自行车。
& }! P. j) N @, f 其实声呐图片和清晨/傍晚俯拍的照片是一样一样的，都是声源/光源在被观测物体斜上方，然后观测者以俯视的视角观测。 7 n# K- t3 @+ ? p: w; k1 `
基于对图像的观察。你会觉得对于此类图片，识别物体的本身其实挺困难的，反而，“阴影”成为了我们识别物体的关键。 5 k+ n9 T( ^7 `# }4 n
有了这么个和已有认知的连接，似乎声呐图像就好懂了一点。 & O$ j/ [8 T5 Q9 l8 o
( d6 @! l3 X' J1 s 你看这就是辆小汽车 / k1 U8 b; H w1 t5 f( V
. V. _3 M! Y( k# f4 E( [
这就是人工堤坝和沙坡
; W6 N- W, g4 U& d0 [! A/ \ 再往本质说，声呐图像就是根据收到回声时间的分布产生的图像。声呐发出一个触发脉冲，并在水中进行传播，碰到沙地/障碍物会反射，那么收到回声的时间越长，就说明目标物离声呐发出的距离越远。
4 n6 z' k' j- P5 @) E! G 下面右图是左图顶边的切片，可以看得到绿圈和红圈的两张图像上的峰谷值是相对应的。 + G& i7 `4 _, i" c+ r i/ \
0 l, t R7 H' R! L 仔细观察下图④⑤⑥⑦的位置，距离声呐竖直方向的上的距离④<⑤<⑥<⑦，但是空间上⑥到①的距离小于④到①的距离，所以⑥在声学图像上离原点更近。而①④、①⑤、①⑥长度比较接近，所以他们会在声学图像上，产生一个高光区域（即图片上的“强反射”） % m' F0 v$ O% P5 q8 ]
而⑥，⑦中间类似“背坡”，收不到声音，所以就产生了一块阴影。 : Q- r7 T: P. s J8 [* X/ |
; A; B. _9 x" z$ R. } B& y8 o* @ 大致就是这么个意思，你品，你细品。
) ^2 |0 X2 Z' i9 a1 Q/ d6 l) x: B# @) M 还想掌握更多细节，或者觉得我说的不太好懂，你可以查看以下视频，以及比赛的讨论区
8 w5 C8 v' _+ \$ n1 O; j# _ 2020“水下目标检测算法赛”
" f9 S5 g: L2 ^8 {' j/ { 水下目标检测算法赛（声学图像赛项） / 讨论区 ! U1 [! b `" L$ s
有了前面的讲解，现在在回过头看声呐图片，是不是有那么点儿意思了？ & ]9 e, r3 @! y, b& L' D
) z: } L, S9 {5 Q1 q! w1 Y
你看这个侧扫声呐图像，显示的是稍微有些起伏的沙地，而这个前视声呐图像显示的是两根柱子。 8 D9 s, k7 _8 h5 u! n: R( j( v
讲完图像之后，我们再来讲讲题该怎么做 . V) P0 U5 Y* P+ X! J, b) _
办赛老师甩了我们一篇论文[1]，里面有一句话引起了我的注意“至今，没有专门为声呐图像设计的目标检测技术”。的确，我之前在四处找资料的时候也发现，相关资料少，使用的方法比较传统。 ; E0 R: e \+ ^3 p
举个例子：
# b. l0 q0 i' M7 T1 l& f) r WACV 2020收录的相关文章[2]中，使用主要的框架为Faster R-CNN ?3 Z: C" k; ~ z7 p: \
老师给的论文中，使用的方法为CNN/FCN ) Z, m t+ j [* |
1 ]8 t8 a k% c
其中Faster R-CNN发表于NIPS 15，CNN和FCN则更是CV领域传统艺能。可见，这个题目的答题空间之大。
) ]% ?4 S* [! S G8 m# N 另外，WACV 2020收录的相关文章[2]也给了我们提示，其中写道： . b! J3 H( ?4 ?# |, f% U
“声纳图像的目标检测任务面临着数据量不足和噪声干扰两大挑战，这两大挑战导致了模型的过度拟合。”
" k- `1 R5 c6 ?4 V( _0 ~ 以上的信息整合后，解题思路呼之欲出：使用为光学图像设计的目标检测算法+针对声学图像特点进行优化。（对不起好像也没说啥有用的） 8 u/ R g9 u3 s4 T6 W. k
要是不会，也别怕，现在排行榜上的大家也都还在摸索之中，说不定随便搞个光学目标检测算法就能登顶了呢？ : e) W8 r0 V9 L& N: t( f. g
1 C3 U, s1 y. @5 A& L
最后，要进行我们的传统项目，也是大家最最最期待的环节： 6 P9 P/ j8 u' f/ f
官方baseline公布' U7 R* l& x7 f4 j( m5 r8 G
使用Google Object Detection 完成水下目标检测
- P1 z, c. V) Z4 L$ y3 e) Y https://www.heywhale.com/mw/project/5e6331644b7a30002c98895e
, I; l4 Y; K( `" [) M 项目优雅介绍了baseline的使用全流程，欢迎大家试用 8 a( ]9 h8 p. _' R2 L
什么？你说你不想努力了，只想找（划掉）富婆（划掉）操作更简单的baseline？行吧。 & [& z& r% G% k& \$ f
懒人版声学 Baseline
. n% t( p" q5 e N1 F& F5 m$ z7 V6 X https://www.heywhale.com/mw/project/5e69d767ae2d090037791205 & ^$ u& R+ E# J
某位想出道的参赛选手为了大家，在官方baseline的基础上优化了一个更流畅的版本，连代码文件都不用拆开，直接调用＋传参就可以了 - Y4 R( O3 v6 ]! N" a# Q* R: [
运行 tfrecord_generator.py, 采用 -path 参数传入大赛数据集的压缩包
i+ {! Y0 K1 L w) {9 i4 | 运行 model_train.py, 采用 -path 参数传入预训练模型的文件夹地址 运行 inference.py, 采用 -step指定希望被用于推理的训练步数, -path指定被推理图片放置的文件夹路径有了它，三行代码，你就可以交上作业了，真是妙啊
! Y, \' a2 V4 g# b6 [8 Y! @" G1 A : |) U6 G0 M" E
再提一嘴，这次数据集的大小也非常友好，只有1.32GB，训练百八十次都不会心疼，平时输在算力的同学们，这次也可以大展身手了。
1 o8 k# Y. E; Y4 S% { 你不算我不算，声呐图像怎么办？ % i) b/ S5 G5 z. c6 F. f' E
你参赛我参赛，海底世界任我探！ ) a0 [, E; d; _3 w, ~
期待在排行榜上看到各位的大名。以上。 5 e8 G/ _6 L( U6 D- b
相关资料： ' `5 C9 E2 k: G* A& O5 q6 z
1.M. Valdenegro-Toro, "Learning Objectness from Sonar Images for Class-Independent Object Detection," 2019 European Conference on Mobile Robots (ECMR), Prague, Czech Republic, 2019, pp. 1-6. ' B) E) o4 e" r3 _
2.Qixiang Ma, Longyu Jiang, Wenxue Yu, Rui Jin, Zhixiang Wu, Fangjin Xu; The IEEE Winter Conference on Applications of Computer Vision (WACV), 2020, pp. 729-738 - N4 H* _) J: O l m7 e
5 `; I, v. c; q" Z+ @, F% z: T# y; ]3 {
) i d5 O* W+ }; ?6 j5 o
$ q0 W0 L5 I0 A% L7 g) Y | 
