|
' ]- g/ R+ b3 m: c
如何去思考并研究气象问题本身是一个需要不断学习和练习的过程,大量高质量的项目可以加深我们对气象科学中经典模式的深刻理解,从而可以掌握用合适的机器学习方法去进行气象研究和应用。在这里,我们集结了和鲸社区内优质的气象数据科学教程&项目,为气象er们提供了学习+实战的最佳平台!
; F) W5 ~3 W4 z0 H" z" [0 f 和鲸社区提供了相对自由的学习、研究、应用的方式,你可以在社区获得: / l- h' z! F+ A& g& ?! H2 G. v
气象数据科学语言教程用 Fortran/Python 语言进行数据读取/数据处理/数据分析/数值计算的实用气象项目气象可视化应用(雷达数据、地理信息数据、海洋数据等)项目阶梯难度的机器学习算法项目优秀气象项目/论文的整体复现 % B9 }7 R* Y, u6 x7 D. D
同时,你也可以系统地精进实战能力!训练营、Workshop 和练习赛等系列活动极大地丰富了气象研究的应用场景,从小白到进阶高手,与20w 数据科学业内人士+近1000位气象人同场竞技: , P: c2 ?3 l4 T3 j; i
题目全部来自业内大牛提供的气象场景案例不用处理环境装包,精力全放在解决具体气象问题上支持多种气象数据科学主流语言:Python、Fortran、Julia、R活动提供讨论区进行讨论,可以参考别人的思路,灵活交流和分享复现自动出分,实时获取每次代码实践的准确性和算法效率,精确了解个人代码在所有提交代码中运行效率排名 . B p: y2 b' Y; C9 P: V
另外,在线数据科学平台 ModelWhale提供了学习和研究气象的工具及开箱即用的编程环境:
2 }; c4 V- J$ |9 V6 Z 环境免安装,一键复现和鲸社区优秀丰富的气象数据科学教程和项目内置 Cartopy 等海量镜像,Python、Julia、R、Fortran 登录即用,并支持 WRF 模式Canvas 无代码图形化建模、Notebook 编程随需选用,还可相互转化GPU 分布式离线训练,训练记录超参数比对多类型数据源灵活接入,数据权限分级管理,数据安全有效保障
9 i4 u- I9 ~5 A 所有的社区资源,都确保代码的完整,及在对应镜像下一键运行复现!(注:如有疑问欢迎留言与技术小哥切磋)铺垫结束,下面正文开始!
: V ]% L) F% P 1.气象数据科学语言教程(1)Python 基础 ; c4 v; E6 u# p+ v
说明:Python 在气象、人工智能、机器学习领域受到火热追捧,很大程度上在于它拥有非常庞大的第三方库,以及强大的通用编程性能。因此,想要逐渐掌握 Python 数据分析,可以通过学习和了解如何利用 Python 调用 Python 的各种第三方库和工具包,感受运用 Python 进行数据分析的便利性。 0 W9 e- F. T8 E; w4 Y' P% v
科赛 x 机器之心从零上手Python关键代码
# N. B, B; m ^+ h Python基础 Python100例 3 [8 H4 C7 u# p. j1 v
Python入门教程 ; H1 B- C5 P0 g! F( p0 G3 ^* u
(2)Numpy教程 5 M. @& G& O6 w
说明:Numpy 是 Python 数值计算的基石,它提供多种数据结构、算法以及大部分设计 Python 数值计算所需的接口。Numpy 能够赋予 Python 快速处理数组的能力,除此之外,Numpy 的另一个主要用途是在算法和库之间作为数据传递的数据容器。
2 P: l+ Z( H+ D 教程:
% T9 D3 Q+ W, Y) C4 F5 G Numpy快速上手指南——基础篇 - c* R+ z4 P# i! u$ b( |
Numpy快速上手指南——进阶篇
/ z7 z' o5 D, @0 h f8 Q3 E- A) w Y, _ Numpy入门教程
2 _2 A% q2 \. F) n! F2 } Numpy实战全集
) R( o* T' A, z% k; E 练习题: ! F. F4 [. H- x6 u, B4 H/ Z# [
这100道练习,带你玩转Numpy 1 I. s) d1 e4 I, W& |8 m: }, `
(3)Pandas教程 $ y V) P( g# D
说明:Pandas 为数据分析提供了高级数据结构和函数,使得利用结构化、表格化数据的工作快速、简单、表现力。做数据分析主要使用的 Pandas 对象是 DataFrame(用于实现表格化、面向列、使用行列标签的数据结构)和 Series(一种一维标签数组对象)。 ( C B2 r8 y$ s- Z5 |9 ~6 v
教程: 3 O' a8 G7 n! H7 x9 I
Pandas入门教程(1)
8 [2 @( v4 U* \ Pandas入门教程(2)
' X) x B+ Y/ J" {8 `" Y R Pandas入门教程(3) 4 t4 s. B# a- p% {: k
【Pandas教程】像写SQL一样用Pandas - Z* X1 X% E! q( j
高效分析:如何用pandas快速处理数据
( v- W! \$ _, S! M5 C) f/ ? Pandas基础命令速查表 5 T& N" ^8 e2 i- s& `! Z
练习题:
; j/ v, n5 \2 M Pandas120题
" ~$ Q5 w! C8 t |3 P 50道练习带你玩转Pandas 5 r1 a/ N1 Y, Z# W5 X3 U
这十套练习,教你如何使用Pandas做数据分析 6 n, x0 A' h2 X& J
(4)Xarray实例 3 R6 r. d o- I1 m
说明:由于气象数据大多为多维数据,Xarray 提供了一种高效读取和处理多维数据的方式方法,它特别适合处理 netCDF 文件,在类似于 NumPy 的原始数组上以尺寸、坐标和属性的形式引入标签,从而能提供给研究人员更直观,更简洁和更少出错的体验。该软件包包括一个庞大且不断增长的功能库,使用这些数据结构可以实现对气象数据的高级分析和可视化。
0 W$ p8 o/ E9 W$ L5 l, B8 b8 f% O& w xarray实例大全-目录气象行业数据分析案例 ; ~% \* r& P. V- ]& c
xarray实例大全(一)-气象数据示例
5 q* o5 H, r* l/ ]8 j9 S xarray实例大全(二)-月平均时间序列计算季节性平均值
( G& @1 V1 m5 ~/ g" S xarray实例大全(三)-比较加权与非加权平均温度 , U" M1 G1 k; b$ S" ^
xarray实例大全(四)-多维坐标的使用 8 Y% g0 \3 x/ c9 [' Z }
xarray实例大全(五)-可视化库
. F6 F" }4 S2 t# ~ C xarray实例大全(六)-ROMS海洋模型示例
5 V' X- a2 i# j xarray实例大全(七)-GRIB数据示例 5 Y3 `+ j7 E" y7 o& k: P' m
xarray实例大全(八)-使用applyufunc
# I# c( ^. b$ ^+ Y xarray高阶利用dask并行读取数据 . h, v& C& L; N) ?' Z
2.气象数据读取/数据处理/数据分析/数值计算 / g R8 I% I. f" [( G+ k
Workshop第一期:初探气象数据Part1 $ c% O4 o. c2 r% s/ M% j6 E
Workshop第一期:初探气象数据Part2 . y5 `& M. w. G' \6 `9 h
Python读取气象数据nc格式文件的入门级操作 1 W) B) Q' V+ l/ @( j
Python处理HDF格式数据示例 " q' n# n; D4 H( H+ h e
利用Python的requests和json包获取台风数据 9 }7 u: U9 d. W' |8 Y' b% D5 h
基于Python的Grads文件解析
$ x, u0 W9 w0 K5 W CALIPSO卫星数据处理 5 O' X$ U; U2 `# h! c0 |
摸鱼的气象& ython
1 ]& r0 X- Z. h F+ W3 W# s6 s Python之以温度为例的气象数据缺测处理方法 : s2 W v8 I. z$ ~3 d$ x6 q% o1 H- M: x
Python之一个简单的风数据处理和分析案例 3 R% b0 ]+ ]$ r$ G: n/ S: C+ D
常用气象数据下载——ERA5再分析(grib格式) - G7 Z* d, o# _
常用气象数据下载——我国台风历史轨迹数据 + c! x. J7 d4 r7 O" n
常用气象数据下载——耦合模式比较计划(CMIP6)
8 ^; y4 n6 \; i! k+ | 常用气象数据下载——TEMIS遥感数据 ' C! {( r* ? Q8 ]* r5 l4 t
常用气象数据下载——实时空气质量数据 / i/ o) |& h1 k u- E+ v$ g
常用气象数据下载——Hamawari8
( G. C6 M7 B4 W 常用气象数据下载——NCEP再分析资料 I& D5 U7 N4 H0 P" i- q* B
常用气象数据下载——探空资料 9 f5 l2 t) O6 W, ^7 P6 p1 `, P/ W
气象之批量下载气象数据(EC;NCEP;CMIP)(python)
$ I2 R% B1 f: a2 F3 C 气候变化趋势分析常用方法
) ]( h0 ?# g3 A [ 气象分析之气候变量场时空结构的分离-EOF 9 Z7 I- b3 B9 ~3 @9 R1 F3 {* v# Z
气象数据处理——重采样(Regridding)
, _7 x, Y3 b' _; {6 s# W 气象数据处理——湿位涡剖面分析 3 e2 k* s9 P4 e9 B* T7 u; t; t* T
气象数据分析——集合经验模态分解(EEMD) ' L1 Z0 x: u& @3 G! F; X
气象数据分析——相关系数与时间相关系数 ' Y5 b/ U8 J& S
气象数据分析——旋转经验正交函数(REOF) 3 V$ N0 E [( J0 R9 \- T& C
气象数据分析——经验正交分解(EOF) 8 R" [0 e* J4 p) ~5 D2 e
气象数据分析——我国逐年降水的经验正交分解 ; W: d$ _- E% S: _) h0 N* K! z
气象数据处理加速器——cdo
U: J6 H* {* o, W( c1 J 气象数据统计方法
w' \) p3 @' F2 z( y) a 供水管网压力预测(异常识别与缺失补全)
) M+ r2 Y1 c6 `& Y8 w5 o# `( f 特征重要性评估——Lasso回归系数 ) C) a' T8 v7 v: g# z) r% v/ f4 W% t
2020华为杯E题——数据探索性分析
/ G9 I( p2 |9 Q$ J$ B WRF模式模拟数据后处理(计算篇)
" w! y1 Z7 f0 M 结构方程模型(SEM)构建 3 s+ S/ |9 K9 ^2 L
多元多项式回归拟合能见度 8 D6 H: E/ x+ L' M; }. d- A2 B
两个变量场的相关分析——SVD分解 5 E4 E4 M* Q; E$ q7 l
小波分析——海温数据的时频域分解 ) u. h, I8 q2 q8 s0 p
基于DEM数据计算坡向、坡度和流向 ; c2 v# ^& h: F+ ^- f/ Q5 @1 |
基于随机森林对特征重要性排序
* G0 k5 C( S1 f/ ^ 基于DBSCAN算法的人类活动GPS数据挖掘 9 J. y6 Q4 |' s9 D/ w/ e7 M
基于ERA5数据分析中国区域气温与降水数据的时空分布 ( u' H/ O: M3 ?: l9 l. y
最常见的10种图像滤波方法 + h& Y9 ] B( I5 n
3.气象可视化(1)Cartopy绘图教程 1 u" \! @+ q3 p- {1 j1 h
气象数据可视化库-Cartopy官网例程大全(中文翻译版)
; |+ z f6 ^. E. _ Cartopy——绘制不同投影的地图
: R( u" h0 X Q% N: Y& b Cartopy 调用天地图在线服务(原创) , B$ K- T2 C" Q+ i
Cartopy绘图中国地图最正确的使用方式
% A) \! L8 A6 p3 d; j. }2 i. D (2)Metpy绘图教程
7 f' K, m' [. @+ s7 l Metpy气象数据可视化库官网例程大全——目录
2 b: Q* Q: }3 V6 [, B% N8 H 大气科学可视化示例——降水量 7 l" |! i. d; P# e% Z" @
大气科学可视化示例——AWS S3 NEXRAD 档案存取和绘图 1 n, x! G$ k& W# }; Z. v0 H6 \
大气科学可视化示例——声明300hPa + N& V) d- h: e D0 N- R
大气科学可视化示例——飓风追踪器
: B4 g. l) g6 | 大气科学可视化示例——观测数据截面 - q5 N! g5 b- ~
大气科学可视化示例——在旧版DIFAX图表上高空观测
% s; J$ a+ i/ E2 j6 `( ?" s2 ~ 大气科学可视化示例——风切变矢量
R* b s! I* x4 W; f, l5 M. G. Z6 T( h7 \; I0 Q, x* O8 b
% c8 F' ~# X4 G+ Z' {
M) a9 P! u" o. @, x# P
: j% R- a9 f: F/ K/ q @$ y
) Y1 ^) h! r7 ]4 u: f+ T8 m5 C |