1. 微分与变分 变分（variation）这一词不论在海气模式中，还是在Machine Learning中，都能常常听到。比如资料同化中经常用到的三维变分同化、四维变分同化。在有限元方法中，变分的思想也是其基础。在机器学习中，变分推断和变分自编码器等等也被时常提起。在这些方法中，有的是使用了变分的基本原理，有的是用到了变分的思想。本文就来探讨一下变分的思想以及基本方法。
0 T6 h% y: u1 \8 \, ^ 研究物理问题往往需要对其现象使用数学工具进行建模，找到可以很好的描述其性质和特征的控制方程。因此，在对物理方程进行研究时，往往需要借助更高级的数学工具。变分就是一个很好的数学工具。提到变分，首先就不得不提到泛函分析。* k/ d3 ^9 a) g. S
相信大部分大气和海洋类本科专业出身的同学在本科阶段都学过数学分析（高等数学）和复变函数论。而数学分析、复分析和泛函分析都是广义上的分析学的分支。研究方法上有很多共性，只是研究对象不同。如果翻看这几门课课本的目录，可以发现编排的思路也比较相近。接下来，我将类比数学分析来讨论泛函与变分的思想。 Q( D; I9 r! l0 p+ s/ P9 D
数学分析主要研究的是实数域之间的关系。我们把一个实数集合到另一个实数集合之间的映射关系定义为函数。而为了研究函数的性质与特征，就需要知道这个函数的变化趋势与变化率。因此需要定义其导数，导数的定义如下所示。当x趋近于无穷小时，即可表示导数。
6 P$ H2 |( b' R$ q7 }; r8 ~
Y. C8 X; f7 L7 V
+ Y" L& T5 K6 h5 R 取极限之后，就有了微分的概念。因此，微分可以理解为是指函数在某一点处趋近于无穷小的变化量，可记做 和 。
! p, @/ K& w/ j2 F- K: r: Y7 \! r6 z. m8 Q1 M. G) s9 X3 R6 ]; S
& f/ o c4 a, a" S6 v
s5 N# M+ j- Y' W& n1 \
有了这些工具，我们就可以对函数求极大值和极小值了。比如下面这个例子，可以使用我们在数学分析中学到的方法，求解 和 处的 （假设二阶导数不为0），此时就求得了其极值点的位置和大小。+ M1 ~! S9 w( L8 g. O
" T; _9 d) {: c
然而，如果想要用类似的方法去分析有名的最速降线问题，则比较难处理。最速降线问题就是如下图所示，两点之间选择一个合适的路线使得小球下落速度最快。而这一下降的路线，可以用函数 来表示。如果有合适的数学工具用来求这一函数族的极小函数曲线 ，就能和上述求极值的方法去求得最小函数了。" w' O& U; z* M" Z& A" [6 W o
& t9 t& q3 L1 G- c 泛函分析与变分学给出了研究这类问题的思想与工具。如果自变量是一类函数的集合，而因变量是一个数域，则这一类函数和实数的映射关系被称为泛函。而变分就是在泛函自变量（也就是无穷维的函数空间上）取的“微分”。用通俗的话来讲，就是函数改变无穷小时，所对应的数域的数值变化。对应到具体问题上，就是路径改变了无穷小时，小球下落时间变化的那个无穷小量。
( N7 e9 ^% [ ^% w0 y2.推导Euler-Lagrange方程 而对函数做定积分是一种常见的泛函。接下来我们就来推导对泛函求极值的方法。考虑两个定点(a,m)和(b,n)，通过这两点的任意函数记为 ，则该泛函的形式如下。9 R+ y" G9 \- |5 o# x2 ?' Y& C3 m
6 r5 @( b- D) v& W6 o
1 _) g8 x2 }9 b2 k
* u: T7 D3 u6 O2 u! v 将函数 的变分记为 ，类似于求全微分的思想，可以将其展开为# X1 y3 l' Y. t/ u+ g6 A
, U0 E* C7 `8 @( y
" Y. s9 E" s2 G7 d
, b: K( ^& d) Z7 }6 i# P0 |5 I 接下来去化简括号中的第二项，将其推导至如下形式。由于边界是固定的，因此在a和b点的 是0，因此下式在推导分步积分时，前面那部分为0。
4 q3 D) k7 p7 V# K' h _2 X- ]: L K8 y0 e* S
1 i* k7 j" I4 y8 C( Z$ E4 h, I; r) W; Q6 J
4 u1 w. e8 J l$ J
v' x2 T! C( X! V" [& w2 r 这样，就推导出了该泛函的变分最终形式。
% ]3 D# a- r1 W( G4 I9 s* v
2 t) Q2 p4 t, Y
+ l- t5 a2 L- c; Z9 \! l0 P 类似于函数在趋近于极值处 。同理，此时需要满足 。因此，下式需要等于0。该式被称为Euler-Lagrange方程。是一个二阶微分方程，解出此微分方程，即可求得最小函数y(x)。
" \$ ?( j: n' w8 Z
+ @6 \1 l3 p* x# Y* | @3 l6 v6 ~, b, D
0 n( y4 I; D' q j3.泛函与海洋大气模式 泛函分析在研究海洋与大气模式中有着重要的作用。海洋与大气的控制方程可以写成算子的形式，而通过研究算子的性质可以研究数值方法的守恒性以及其他性质。以正压浅水方程为例如下所示。) t1 `' e5 s* I8 ^% q0 ?
% m% W+ l% T8 }8 _( _3 e5 ~4 K5 w
9 X( q" G6 @$ d- ~
可以写成如下的算子形式5 _4 @! d7 |! N3 |' @/ C
4 _( |& ?; I/ \* g" s
/ @, z0 O4 J$ |. u' K
: Y9 |+ ^& j; o; _* y7 j
" o/ o5 D/ Z1 V6 f# G1 r 通过对算子 的研究，即可分析数值算法的稳定性、耗散性与守恒性。接下来的几篇文章，将从算子的视角，分析数值模式中常用的数值求解算法，并探讨如何通过这种方式进一步提高数值算法的稳定性与守恒性。由于该部分内容对数学基础要求较高，因此在之后的文章中，为了保障文章的可读性，会在必要的时候对相应的数学知识进行讲解。
3 b( N0 q* d& m9 ` a. \
8 e' F8 F- [$ w; K, a' t8 x版权声明 本文创作的初衷是用于帮助数值模式的学习者。欢迎转载，转载请私信并注明作者和出处，请勿用于任何商业用途。% N+ p5 P3 L6 D' g2 G. ?6 m& t v
参考资料大气科学中的数值新方法及其应用. 王斌. 科学出版社, 2006.
' K6 T- m+ d9 I7 x; `4 F+ ?7 ~# g' K/ b8 U. Q
|
: `- F) q6 Q) l! A3 w