海洋数据处理软件 -海洋数据统计

: } a9 n' d1 W6 C! H! c% J

气象海洋领域，常常会涉及到大规模的数据处理，比如高时空分辨率的模式数据、雷达数据和卫星数据等。

0 ?( v; \/ Z Q$ p* i) u

大部分情况，我们一般只会涉及小规模数据处理，对计算效率并不会太过追求。但是当数据量变大时，低效的数据处理所耗费的时间非常明显，因此高效的数据处理方式尤为重要。

, I1 H, C; l4 Z+ D

本篇以拟合一个高维数据的正太分布参数为例，介绍如何使用xarray+dask加速数据处理。

" U3 ~- T$ h, p$ A8 r6 V$ H* }

数据维度X[time, lev, lat, lon]，需要对三维空间每一点，沿着时间维度做正太分布拟合(正太分布拟合只是作为例子，这里可以定义你需要的操作函数)。

其中几个关键点解释一下：

9 [5 h3 V$ d- b5 G! v

（1）首先定义拟合正太分布的函数

0 q+ x3 V6 V. x' d/ X& j

def norm_fit(data): * A/ m$ ?! ^5 e2 _4 E loc, scale = st.norm.fit(data) return np.array([loc, scale])

8 f. {) i3 |' a; z; e6 }. P Y

这里需要注意的是，拟合的函数，输出参数，需要打包为一个数组。并且它的维度需要和后面aplly_ufun定义的输出维度一致。

1 q% S: Q. c- |6 m

（2）xarray分块

3 u" m, s' ~) M, L4 @5 N9 b

x = xr.DataArray(rs.randn(500, 20, 1500, 1500), dims=["time", "lev", "lat","lon"]) x = x.chunk({"lev":5, "lat":100,"lon":100})

8 |& R) q$ C5 T" O- C* \9 X) n

xarray结合dask可以将一个大型数组分成一个个数据块（chunk），需要注意的是我们需要沿着时间维操作，拟合需要整个时间维度的数据，因此时间维time不能分块，只能对其他维度分块。

) D0 X; E5 X8 _2 k

（3）xarray.apply_ufunc函数

' G; \4 u) \* k) v

result = xr.apply_ufunc(norm_fit, x, + N$ q7 d3 [; i9 N input_core_dims=[["time"]], output_core_dims=[["paras"]], dask="parallelized", J( H6 X, K/ x; |/ \, Z' L9 j0 A9 R8 Q output_dtypes=[np.float], % J# U$ ]. L }# m% y5 i9 M2 | dask_gufunc_kwargs={output_sizes:{"paras":2}} )

. `! c9 F! _6 o& g8 h4 t

apply_ufunc函数具体可以参考官网教程，这里只说使用时遇到的困难，即如何定义输出维度：输出维度是用output_core_dim定义的，将输出的拟合参数（期望和标准差）定义为paras维度，维度的大小为2，通过output_sizes参数设置。这样我们输入[time, lev, lat, lon]的数据，在每个空间点对时间维度拟合之后，输出的数据为[lev, lat, lon, paras]。（PS: 这里感谢深雨露大佬的指点）

以下是全部代码：

4 p% q+ W- i. j& v4 E* x# E

from scipy import stats as st " x6 B+ [* q& p" o% g1 H5 f import xarray as xr ; _7 Y, s9 u- w) `& o7 U import dask import numpy as np 4 T; P" W* O' Z, Z$ R from dask.diagnostics import ProgressBar $ H) k9 E K& J" l |7 j; ~% t1 t def norm_fit(data): loc, scale = st.norm.fit(data) . l" f5 S3 V0 l8 ?# i* g; b3 d4 {7 m return np.array([loc, scale]) / ^; @+ E3 Y' C4 [* I0 G v rs = np.random.RandomState(0) x = xr.DataArray(rs.randn(500, 20, 1500, 1500), dims=["time", "lev", "lat","lon"]) x = x.chunk({"lev":5, "lat":100,"lon":100}) $ i4 [8 u, j+ P# `: Y( H #使用apply_ufunc计算，并用dask的并行计算 result = xr.apply_ufunc(norm_fit, x, % X5 z- m8 e9 n; m! d' U input_core_dims=[["time"]], output_core_dims=[["paras"]], 9 n; Z' J# P7 h; U dask="parallelized", output_dtypes=[np.float], dask_gufunc_kwargs={output_sizes:{"paras":2}} 0 h8 u' @: K' q* Q9 y L ) , L a" m2 i- L! W #compute进行真实的计算并显示进度 & M! h4 E0 ]0 | with ProgressBar(): 3 f: r: l6 A9 }; R) s: R! w result = results.compute() #结果冲命名保存到nc文件 result = result.rename("norm_paras") result = result.to_netcdf("norm_fit_paras.nc",compute=False) + z2 Q4 K3 P- Q1 N& {7 O6 _ with ProgressBar(): result.compute()

转自：气海同途

8 Q4 D9 J. z$ g P. e) Q

关注【Ai尚研修科研技术平台】公众号，查看更多课程安排及免费数据资料

% s9 @. n) }& ]7 G

【大气，生态、遥感、水文水资源、地下水环境、统计语言、生信等】多领域视频教程​mp.weixin.qq.com/s?__biz=MzUyNzczMTI4Mg==&mid=2247576733&idx=3&sn=8f147b34d9652c454b954dcc2952ae38&chksm=fa78f3a0cd0f7ab630d262dbe674cd24ee8c06b2b0c12ab029b18a702e692dd6d8c48e0783e6&token=1162449722&lang=zh_CN&scene=21#wechat_redirect

" M, c8 ^4 Z! ^+ V! o5 P* P

推荐：

2 J9 {) V% ]4 c, I6 H, J

1、Python语言在地球科学领域中的应用实践技术应用

8 A$ u9 w _! d; ^5 b8 g

2、【夏令营】针对课题组人员AI培养计划:“开启AI科研之路”

, \, P. q0 p8 b5 _, A4 n1 X

3、Python在气象与海洋中的实践技术应用精品课程

4、Python在WRF模型自动化运行及前后处理中的实践技术应用

5、全套Python机器学习核心技术与案例分析实践应用视频

6、全套区域高精度地学模拟-WRF气象建模、多案例应用与精美制图精品课程

7、WRF DA资料同化系统理论、运行与与变分、混合同化新方法技术应用视频教程

3 f" ], ?, E, ^, G+ W # L3 X% T, h7 m8 e' x5 K) R: K