|
" o5 F( t+ ^, s; h+ G
hi，我是为你们的xio习操碎了心的和鲸社区男运营 我们的网站：和鲸社区 Heywhale.com! q. `' i/ v Y
我们的公众号：和鲸社区（ID：heywhale-kesci） 有干货，来！大家好，事情的起源是这样的，我司搞了个声学图像水下目标检测的比赛，项目的同学托我来这里宣传宣传。 ' D$ U- s1 p8 |, b) Y. \
好嘛，举手之劳。
0 n E# g, k" \8 d5 u
/ P1 m# E" e# C3 k3 U, k 但是我仔细看了下题目，咦，声学我懂，但是声学图像是啥？刚看到数据集的图片，我是懵的
1 P" J q3 H0 g5 D3 h1 E
& g g2 Y1 u: v+ b7 v" G/ x& O 唯一的感觉是“金色的，怪好看的 ”，但你问我这具体画了啥？别问，问就是“我只能分清前视和侧扫”
; i' j! G7 ^1 m# M+ k9 E" p3 _ 刚刚恶补了一下办赛老师的ppt，终于给整明白了，让我来个脱水版的说明。
1 @3 r4 P: k9 }) B% ?$ d- A 先看这两张图 8 B" V3 p1 K; {" ` h; J$ B" e
. ?9 Q4 E- V4 w B- i: A, h7 l- N 第一张图是《国家地理》杂志某一期的封面，采用航拍的视角，记录了沙漠中的骆驼（以及它们的影子） ( D0 {0 M- _! y* w
" N3 A" O8 I$ e5 m$ n9 A
第二张是一张声呐图像，显示的是海底的一辆自行车。 1 [ c/ }) D1 c/ C$ r) l# F
其实声呐图片和清晨/傍晚俯拍的照片是一样一样的，都是声源/光源在被观测物体斜上方，然后观测者以俯视的视角观测。 6 m5 `. I Z9 m! j' P
基于对图像的观察。你会觉得对于此类图片，识别物体的本身其实挺困难的，反而，“阴影”成为了我们识别物体的关键。 1 n/ o' v, [: `7 `0 T
有了这么个和已有认知的连接，似乎声呐图像就好懂了一点。 0 x& N# q5 c) y3 O+ |( s
: F4 H7 N- b1 D7 [# O' @* g 你看这就是辆小汽车
4 x1 Z8 k( K) @. N. I0 \ ! H E9 r1 s8 }7 Q* I3 O; c1 E. {
这就是人工堤坝和沙坡 3 \; @& j, K% b
再往本质说，声呐图像就是根据收到回声时间的分布产生的图像。声呐发出一个触发脉冲，并在水中进行传播，碰到沙地/障碍物会反射，那么收到回声的时间越长，就说明目标物离声呐发出的距离越远。 % I7 S0 N4 m; P6 H! g
下面右图是左图顶边的切片，可以看得到绿圈和红圈的两张图像上的峰谷值是相对应的。
: a" W7 M" L8 h5 t+ P; z$ k7 ] ' T$ v- P. c9 C7 F/ W
仔细观察下图④⑤⑥⑦的位置，距离声呐竖直方向的上的距离④<⑤<⑥<⑦，但是空间上⑥到①的距离小于④到①的距离，所以⑥在声学图像上离原点更近。而①④、①⑤、①⑥长度比较接近，所以他们会在声学图像上，产生一个高光区域（即图片上的“强反射”） ; h( f* ]) X$ F S
而⑥，⑦中间类似“背坡”，收不到声音，所以就产生了一块阴影。
' N- U9 A+ t, O+ k
7 R% Q+ W0 V( M" n/ V' c5 R: Y 大致就是这么个意思，你品，你细品。
4 @9 B& t$ N# B0 j1 p) u 还想掌握更多细节，或者觉得我说的不太好懂，你可以查看以下视频，以及比赛的讨论区
% m4 q+ a+ c! E9 ~: `, m8 x7 v1 t 2020“水下目标检测算法赛” ( X* n% R6 P$ \+ g8 E1 e1 J* U9 Z
水下目标检测算法赛（声学图像赛项） / 讨论区 Y' N; a& i9 D
有了前面的讲解，现在在回过头看声呐图片，是不是有那么点儿意思了？ % Z. W# u# ] F0 _+ C4 D
$ \5 T% D, k+ N% s* a2 a& z: l
你看这个侧扫声呐图像，显示的是稍微有些起伏的沙地，而这个前视声呐图像显示的是两根柱子。 2 G6 z6 R q7 W5 m" u6 {9 y2 w
讲完图像之后，我们再来讲讲题该怎么做
- z! U# R! h3 N3 ]0 q- ]3 \ 办赛老师甩了我们一篇论文[1]，里面有一句话引起了我的注意“至今，没有专门为声呐图像设计的目标检测技术”。的确，我之前在四处找资料的时候也发现，相关资料少，使用的方法比较传统。
! q, K7 a0 T9 a# c 举个例子： - ^2 J* M" q% N, A# z
WACV 2020收录的相关文章[2]中，使用主要的框架为Faster R-CNN 4 `6 `2 q9 l# `* L6 w" r
老师给的论文中，使用的方法为CNN/FCN
$ M7 S' [6 f+ [- p0 N
, m) x4 R8 e: `& D 其中Faster R-CNN发表于NIPS 15，CNN和FCN则更是CV领域传统艺能。可见，这个题目的答题空间之大。 6 x! u4 K% L1 q2 v
另外，WACV 2020收录的相关文章[2]也给了我们提示，其中写道： ) S+ T7 k' e) B2 |* Z
“声纳图像的目标检测任务面临着数据量不足和噪声干扰两大挑战，这两大挑战导致了模型的过度拟合。”
+ s9 E) S* [% G6 B% c w 以上的信息整合后，解题思路呼之欲出：使用为光学图像设计的目标检测算法+针对声学图像特点进行优化。（对不起好像也没说啥有用的） ^* h9 p8 s% V) u* _; e& a; }! ?# g$ {
要是不会，也别怕，现在排行榜上的大家也都还在摸索之中，说不定随便搞个光学目标检测算法就能登顶了呢？ & P+ V, z/ P, d, @7 K0 E2 ?6 a
' Z& S" s( S' [+ K3 H$ T% h7 ` 最后，要进行我们的传统项目，也是大家最最最期待的环节： $ \3 J8 b' g+ Z" ^6 E0 |4 f* F
官方baseline公布
6 R5 e' h4 E) @: {% H( O& P0 X 使用Google Object Detection 完成水下目标检测 8 {4 N4 r Q5 d% K/ v( e2 y
https://www.heywhale.com/mw/project/5e6331644b7a30002c98895e
& J, Z* n# F& s* z6 M) ~/ z 项目优雅介绍了baseline的使用全流程，欢迎大家试用
9 X( X, C' s, h; U2 o3 R5 U: ] 什么？你说你不想努力了，只想找（划掉）富婆（划掉）操作更简单的baseline？行吧。 $ f7 M; _0 H' |$ B" D, O
懒人版声学 Baseline ' y0 z9 Q4 B' [: u0 ^
https://www.heywhale.com/mw/project/5e69d767ae2d090037791205 1 H9 A, T( Q$ Y4 Q$ M6 J1 B
某位想出道的参赛选手为了大家，在官方baseline的基础上优化了一个更流畅的版本，连代码文件都不用拆开，直接调用＋传参就可以了
/ v( i6 u, z6 w" G) U- m 运行 tfrecord_generator.py, 采用 -path 参数传入大赛数据集的压缩包 5 n' F! L r- o' @3 V* E
运行 model_train.py, 采用 -path 参数传入预训练模型的文件夹地址 运行 inference.py, 采用 -step指定希望被用于推理的训练步数, -path指定被推理图片放置的文件夹路径有了它，三行代码，你就可以交上作业了，真是妙啊 5 b) ?, T+ M; o9 R/ U
& ?( C' y# J2 x, M6 } 再提一嘴，这次数据集的大小也非常友好，只有1.32GB，训练百八十次都不会心疼，平时输在算力的同学们，这次也可以大展身手了。
* q4 ~. R2 m3 Z1 x+ N 你不算我不算，声呐图像怎么办？
/ ?: H" B8 z: l B" F 你参赛我参赛，海底世界任我探！
" l, X7 H5 L; \( q9 U5 |* v. U; G3 j 期待在排行榜上看到各位的大名。以上。 : z5 R' t7 K. n9 e
相关资料：
/ x# M7 A4 n) _& Y, H- t 1.M. Valdenegro-Toro, "Learning Objectness from Sonar Images for Class-Independent Object Detection," 2019 European Conference on Mobile Robots (ECMR), Prague, Czech Republic, 2019, pp. 1-6. ; n- D. M. {6 O/ d7 \
2.Qixiang Ma, Longyu Jiang, Wenxue Yu, Rui Jin, Zhixiang Wu, Fangjin Xu; The IEEE Winter Conference on Applications of Computer Vision (WACV), 2020, pp. 729-738
- ^& o( p/ A+ Y) u$ L3 H8 k( o m4 e8 t [+ ^) H& y" V/ @0 A
% k9 Z1 f9 K* S
' s8 h& e$ ~8 d8 u( `
- F; y0 i! Z# g% I4 ] | 
