|
LLC4320模式简介 LLC4320是MITgcm 1/48°全球海洋模式，其诞生的直接原因是为即将到来的SWOT任务提供高分辨率的全球海洋模拟。 LLC4320模式在多个方面具有开创性，特别是其高空间分辨率（全球分辨率在 1 到 2 公里之间）、潮汐驱动、高频（每小时）输出，其海面高度信号中包含了内潮、内波、地转平衡等信号。除了在SWOT相关工作取得应用之外，该模式也在海洋亚中尺度、内波等研究方向得到了广泛应用。
: l6 z5 T. m0 p( @5 L$ a
该模式主要特征是：
, j; E: Z' [2 a) b! r
- • 全球覆盖（包含极地）
- • 垂向90层
- • 分辨率1/48°
- • 全球海洋分成13个face，每个face的网格数为4320*4320
- • 时间采样是1小时，总计时间维度9030
- • 共14 个月（2011 年 9 月至 2012 年 11 月）
- • 数据量巨大，PB级别
- • 以MDS自定义二进制数据格式存储，为MITgcm独有
- • 模型网格复杂，为lat-lon-cap (LLC) 曲线网格 ，很难在常规地图投影中可视化。
' u3 \. ^& ]8 J, d- N4 b+ {
在数据发布之初，该数据集存储在高度安全的NASA超级计算机上，只有获得NASA资助的研究人员才能访问。 后来，NASA Ames研究中心创建数据共享网站（https://data.nas.nasa.gov/ecco/），开放了LLC4320数据。任何人都可以通过互联网访问数据。在此网站上，您可以单击下载单个大小40GB的二进制文件。除非您知道如何解码其中的内容，否则这些文件毫无用处。
( _& o; l7 N* ~ h. n 6 g( Y* g, u3 r4 d* [9 v1 q
xmitgcm.llcreaderxmitgcm 是一个 python 包，可以将 MITgcm 二进制 MDS 文件读入 xarray 结构。通过 dask，xmitgcm可以实现并行计算。
为了使二进制数据方便利用，Ryan Abernathey等开发了xmitgcm的python包，其中llcreader用于读取这些二进制文件。该模块使用xarray和dask从ECCO数据门户网站在线访问数据，使模式大数据的操作变得轻而易举。 & ^# D# K- P( y( O9 w% C5 \
海面温度读取示例% s7 A" n$ k( Y3 w$ O& }9 G
以海面温度读取为例，展示其基本操作。用到了如下库： - • xmitgcm: 提供llcreader
- • xarray: 基本数据结构和操作
- • dask: 大数据并行和lazy计算
- • sholoviews: 交互式的图像展示
% ~# A1 F6 D2 Z+ b5 C$ n/ ~
1 导入库& z5 \1 v6 l: i, X+ f
! ^! \9 _+ V! V) mimport xmitgcm.llcreader as llcreader& r9 r! b$ h4 E d) a. x
%matplotlib inline
4 D5 v$ G/ O7 B- b; V# V4 W7 Qimport holoviews as hv2 P1 w ^( a! C' b- Y4 b6 Z7 A
from holoviews.operation.datashader import regrid
% h8 s- U& u6 M! [8 E+ V+ O4 \9 Whv.extension('bokeh')
' Z4 _) D. ~5 X# ]* g; d. f2 V1 A5 k4 c. V& P
2 初始化这里我们使用LLC4320模式数据： model = llcreader.ECCOPortalLLC4320Model()( g3 c% T' [& X# t/ }" H
model根据数据分辨率和来源，llcreader 可用模块有： - • llcreader.ECCOPortalLLC2160Model: LLC2160 accessed via ECCO data portal
- • llcreader.ECCOPortal LLC4320Model: LLC4320 accessed via ECCO data portal
- • llcreader.PleiadesLLC2160Model: LLC2160 accessed on Pleaides filesystem
- • llcreader.PleiadesLLC4320Model: LLC4320 accessed on Pleaides filesystem
- • llcreader.CRIOSPortalASTE270Model: ASTE Release 1 accessed via AWS
- • llcreader.SverdrupASTE270Model: ASTE Release 1 accessed on Sverdrup filesystem at UT Austin( ?9 Y5 m3 E+ H5 ~# y
3 海表温度参数设置. X1 V- Q* V- ]5 l7 A
5 Q" ]8 M( y7 o3 ?7 @
ds_sst = model.get_dataset(varnames=['Theta'], k_levels=[0], type='latlon')# S* z) q3 |8 V( ]: O% s
ds_sst这里的Theta是模式中固有的海表温度名称。这一行程序执行的lazy模式，数据并没有存储在本地内存，也不会进行计算。该变量的大小接近10T。 ds_sst.nbytes / 1e129.257148163328
如果想查看其他变量的名称： print(model.varnames)['Eta', 'KPPhbl', 'oceFWflx', 'oceQnet', 'oceQsw', 'oceSflux', 'oceTAUX', 'oceTAUY', 'PhiBot', 'Salt', 'SIarea', 'SIheff', 'SIhsalt', 'SIhsnow', 'SIuice', 'SIvice', 'Theta', 'U', 'V', 'W'] 比如Eta表示海面高度，U,V,W为速度。 get_dataset模块的全部参数设置为 get_dataset(varnames=None, iter_start=None, iter_stop=None, iter_step=None, iters=None, k_levels=None, k_chunksize=1, type='faces', read_grid=True, grid_vars_to_coords=True)
常见操作有： - • ds = model.get_dataset(varnames=['Eta'])
- • ds = model.get_dataset(varnames=['Salt', 'Theta'], k_levels=[1, 10, 40])
- • ds = model.get_dataset(varnames=['Theta'], k_levels=[0], type='latlon'). f9 q* O. { ~
4 {7 s) f3 Y1 n0 j) s) O) {% H
4 动态交互可视化6 `4 Y+ }. a, ?" ~; \
$ ?, y9 n' S, {' X) A \( xdataset = hv.Dataset(ds_sst.Theta.isel(k=0).astype('f4'))
' t$ Z) [3 i* _) n/ H1 ghv_im = (dataset.to(hv.Image, ['i', 'j'], dynamic=True)
( _ ^; [- _( e2 }+ \+ D .options(cmap='Magma', width=950, height=600, colorbar=True))
1 U$ H: _- W! r" G
8 G2 ^( I7 m$ `9 d7 g! I' K- C%output holomap='scrubber' fps=38 c# C0 G0 I2 {* i/ x9 J
regrid(hv_im, precompute=True)上图是南非Aghulhas Rings，可以看到强大的洋流和丰富的中小尺度涡旋。下图作为对比是LLC2160的结果，和4320的分辨能力比较有一定差距。 ) s. L! i/ T2 q' w+ A7 R+ H3 H
涡度计算示例下面展示LLC4320涡度计算步骤。 model = llcreader.ECCOPortalLLC4320Model()
6 j' K- O1 Y0 sprint(model)
0 W& d3 k3 E( Y/ Y/ z7 ^$ q, s1 M0 o- ?1 b7 ^6 Y
# volecity
5 Y* x- N2 b- gds = model.get_dataset(varnames=['U', 'V'], k_levels=[0], type='latlon',
3 s, Z" Y% ]/ q1 K5 e& A# r iter_start=model.iter_start,% w, J! O/ \1 x0 X4 K
iter_stop=(model.iter_start + model.iter_step),
! S- O' C/ {( `9 j4 K; ^8 t read_grid=True)
2 W' s% y2 ]0 Q. D5 C3 t! c E0 H5 M% c- \4 k- b4 F$ N3 X
# Normal gridding
( Z; q2 |" u+ O# vimport xgcm' x' R5 y6 O& ]* C6 {/ P1 ^
grid = xgcm.Grid(ds, periodic=['X'])
& R$ l3 ]2 u5 N2 b( e. s1 P5 P- w/ t* Q7 S9 l- }5 I2 j
# Calculate vorticity$ q3 \2 g, j; |- k
zeta = (-grid.diff(ds.U * ds.dxC, 'Y', boundary='fill') + grid.diff(ds.V * ds.dyC, 'X'))/ds.rAz! E9 R+ e5 u) y" D
zeta = zeta.squeeze().rename('vorticity').reset_coords(drop=True)9 f$ D# m' v+ W; L% c& x# \4 T
8 U8 n E4 p- ]% `0 i# @( w. q
# load data! T9 R( M% R) v4 O" w9 T6 d2 ]" Q
zeta.load()
, F1 A. J4 R" o/ X) m5 J# i0 ^( y5 t. x" L% D* J
# Show
; _6 t$ e7 d6 e) a! r( rdataset = hv.Dataset(zeta); q s3 i% ^3 `* U
hv_im = (dataset.to(hv.Image, ['i_g', 'j_g'])2 {% r" c& M5 u$ I1 f
.options(cmap='RdBu_r', width=950, height=600, colorbar=True, symmetric=True))/ _9 T' ]! k: o* ]1 f
Q9 ~; b7 P3 u; k3 K" n
regrid(hv_im, precompute=True)0 t3 i8 H- l4 y: w. }
扩展：云虽然 ECCO 门户实现了数据自由访问，但它的带宽有限，国内用户往往难以正常访问。虽然它适合交互探索，但如果想实际处理PB级别的数据，它可能无法提供足够的网络支持。 商业云存储（例如 Amazon S3 或 Google Cloud Storage）具备两全其美的优势。它既可公开访问，又具有极大的数据处理能力。 目前大量的地学大数据已经存储于云端，并可以通过Pangeo进行操作，这其中就包含LLC4320模式。 后面我将介绍云计算平台Pangeo。
& B5 n4 N7 E/ n9 o1 }3 T( _: K. X$ ^ E3 z1 d" }' z
# x7 \4 t2 |4 u* M& g7 P0 A
8 g$ K, w" T+ t" `: G
7 E1 ~- F# I2 m- [: d* U
4 q' c/ r4 a/ ]# n+ \" T! {6 M0 P [
|
