Differential Equation
「微分方程式」。函數方程式，只有四則運算、微分運算。
d
f(x) + 2 = ―― f(x) + 2 g(x)
dx
符號解數學公式
微分等於零。解是任意的常數函數。
d
―― f(x) = 0 ---> f(x) = c
dx
微分等於原本函數。解是ex。原理是ex微分之後還是ex。
d x
―― f(x) = f(x) ---> f(x) = e
dx
數學家以此為基礎，讓方程式漸趨複雜，發展各種求解技巧。由於這不是我的專長，就不多提了。例如彈簧位置符號解：
符號解演算法（Least Squares Method）（Regression）
函數方程式重新整理成「泛函數等於零」的格式。
函數方程式。
d
―― f(x) = f(x) + 1
dx
等量減法公理，兩邊同減一樣多的東西。（移項）
d
―― f(x) - f(x) - 1 = 0
dx
整理成泛函數的模樣。
d
L(f(x)) = ―― f(x) - f(x) - 1
dx
省略括號，簡化符號，比較好讀。
L(f) = f′ - f - 1
推定解是自訂函數，係數待求。
assume f(x) = ax² + bx + c find a,b,c
自訂函數代入泛函數。通常不是零，通常有誤差。
L(f(x)) = (2a + b) - (ax² + bx + c) - 1
平方誤差盡量小：函數每一處的平方，總和盡量小。
-∞累計到+∞，誤差無限大。因此大家只累計一小段區間。
argmin L(f(x)) dot L(f(x)) 點積風格
a,b,c
argmin ∫ L(f(x))² dx 積分風格
a,b,c
最小值位於一次微分等於零的地方。對各個係數偏微分。
{ ∂/∂a ∫ L(f(x))² dx = 0
{ ∂/∂b ∫ L(f(x))² dx = 0
{ ∂/∂c ∫ L(f(x))² dx = 0
如果積分很難算，可以偷工減料，對輸入取樣。
let x = -2, -1, 0, 1, 2
{ ∂/∂a L(f(-2))² + L(f(-1))² + L(f(0))² L(f(1))² + L(f(2))² = 0
{ ∂/∂b L(f(-2))² + L(f(-1))² + L(f(0))² L(f(1))² + L(f(2))² = 0
{ ∂/∂c L(f(-2))² + L(f(-1))² + L(f(0))² L(f(1))² + L(f(2))² = 0
整件事情宛如迴歸。一筆資料：輸入值、輸出值（零）。迴歸函數：自訂函數代入泛函數。
data: { (-2,0), (-1,0), (0,0), (1,0), (2,0) }
regression function: L(f(x)) = (2a + b) - (ax² + bx + c) - 1
自訂函數可以推廣成自訂函數網路。函數網路末端接上泛函數，即是代入。大量資料拿來訓練函數網路。
符號解演算法（Galerkin Method）（Linearization）
推定解是自訂函數的加權總和（基底的線性組合），係數待求。
assume f(x) = w₀ φ₀(x) + w₁ φ₁(x) + w₂ φ₂(x)
再推定泛函數與自訂函數的點積等於零。
可以想成施測。挑選數個函數，進行投影，必須為零。
{ L(f(x)) dot φ₀(x) = 0
{ L(f(x)) dot φ₁(x) = 0
{ L(f(x)) dot φ₂(x) = 0
值得一提的是，一次微分方程式，得到一次方程組，容易求解。
符號解演算法（Parker–Sochacki Method）（Approximation）
推定解是多項式函數（例如泰勒級數），係數待求。
多項式函數容易微分、容易移項。
數值解演算法（Euler Method）（Dynamic Programming）
函數方程式離散化，移項整理，得到遞迴公式，依序填值。
d
―― f(x) = f(x) + 1
dx
(f(x) - f(x - Δx)) / Δx = f(x) + 1 1st-order backward derivative
(f[i] - f[i-1] ) / Δx = f[i] + 1 implicit Euler method
f[i] - f[i-1] = f[i] ⋅ Δx + Δx
f[i] - f[i] ⋅ Δx = f[i-1] + Δx
f[i] ⋅ (1 - Δx) = f[i-1] + Δx
f[i] = (f[i-1] + Δx) / (1 - Δx) recurrence of f[i]
初始值設定方式。端看右式是否有g[i+1]、h[i+1]。
initial condition初始條件：下界設定初始值。一維陣列開頭、二維陣列上左。
boundary condition邊界條件：上下界設定初始值。一維陣列頭尾、二維陣列四周。
計算技巧，共三種。自由組合。
1a. explicit method (forward method) ：取舊值。
1b. implicit method (backward method) ：取新值。
1c. Crank–Nicolson method ：半新加半舊。雞肋。
2. operator splitting ：分割計算步驟。
3. semi-implicit method (symplectic method)：更動計算順序。
explicit。取舊值。
d/dx f(x) = f(x) + 1 ---> (f[i] - f[i-1]) / Δx = f[i-1] + 1
^^^^^^
implicit。取新值。不見得能夠移項整理。有時無法使用。
d/dx f(x) = f(x) + 1 ---> (f[i] - f[i-1]) / Δx = f[i] + 1
^^^^
operator splitting。項次太多，逐步更新。
d/dx f(x) = 2f(x) + 3g(x) ---> 1. (f[i] - f[i-1]) / Δx = 2 f[i]
2. (f[i] - f[i-1]) / Δx = 3 g[i]
semi-implicit。式子太多，設定順序。
d/dx f(x) = 2f(x) + 3g(x) ---> 1. (f[i] - f[i-1]) / Δx = 3 g[i]
2. (f[i] - f[i-1]) / Δx = 2 f[i]
收斂條件。必須同時滿足。converge = consistent + stable。
consistency condition一致條件：遞迴公式、微分方程式，兩者一致。
stability condition穩定條件：計算過程當中，函數值震盪範圍變窄或不變。
consistent：當Δx趨近零，遞迴公式與微分方程式相等。取決於微分運算的泰勒近似。保留越多項，遞迴公式越精準。
另外，很多教科書，將微分方程式的左式的一次微分，預設為一階泰勒近似。再將一致條件改寫成「truncation error趨近零」。
d/dx f(x) = f(x) + 1 | (f[i] - f[i-1]) / Δx = f[i] + 1
d/dx f(x) - (f(x) + 1) = 0 | (f[i] - f[i-1]) / Δx - (f[i] + 1) = 0
d/dx f(x) - (f(x) + 1) = lim (f[i] - f[i-1]) / Δx - (f[i] + 1) = 0
Δx→0
stable：遞迴公式的係數絕對值小於等於1。進一步推導Δx的適當範圍。
另外，若被要求不可更動Δx，又想滿足穩定條件，解法是更換explicit和implicit。
f[i] = (f[i-1] + Δx) / (1 - Δx)
f[i] = f[i-1] / (1 - Δx) + Δx / (1 - Δx)
f[i] = k ⋅ f[i-1] + c, where k = 1 / (1 - Δx) and c = Δx / (1 - Δx)
f[i] is stable iff |k| ≤ 1
f[i] is stable iff Δx ≥ 2 or Δx ≤ 0
範例
一階微分方程式。explicit。
d
―― f(t) = f(t) + 1
dt
(f(t) - f(t-Δt)) / Δt = f(t) + 1
(f[i] - f[i-1]) / Δt = f[i-1] + 1
(f[i] - f[i-1]) = (f[i-1] + 1) ⋅ Δt
f[i] = f[i-1] + (f[i-1] + 1) ⋅ Δt
一階微分方程式。implicit。
d
―― f(t) = f(t) + 1
dt
(f(t) - f(t-Δt)) / Δt = f(t) + 1
(f[i] - f[i-1]) / Δt = f[i] + 1
f[i] - f[i-1] = f[i] ⋅ Δt + Δt
f[i] - f[i] ⋅ Δt = f[i-1] + Δt
f[i] ⋅ (1 - Δt) = f[i-1] + Δt
f[i] = (f[i-1] + Δt) / (1 - Δt)
二階微分方程式。explicit。
d² d
――― f(t) = ―― f(t) - f(t)
dt² dt
(f(t+Δt) - 2f(t) + f(t-Δt)) / (Δt)² = (f(t) + f(t-Δt)) / Δt - f(t)
(f[i+1] - 2f[i] + f[i-1]) / (Δt)² = (f[i] + f[i-1]) / Δt - f[i]
f[i+1] = (2f[i] - f[i-1]) + (f[i] + f[i-1]) ⋅ Δt - f[i] ⋅ (Δt)²
f[i] = (2f[i-1] - f[i-2]) + (f[i-1] + f[i-2]) ⋅ Δt - f[i-1] ⋅ (Δt)²
一階微分方程組。
Lotka–Volterra Equation:
{ d/dt x(t) = 1.1 x(t) - 0.4 x(t) y(t)
{ d/dt y(t) = 0.1 x(t) y(t) - 0.4 y(t)
高階微分方程式。化作各階微分方程組。
d³ d² d
――― f(t) = 6 ――― f(t) + 7 ―― f(t) + 8 f(t) + 9
dt³ dt² dt
錯誤方式
{ f = f [f ] [ 0 1 0 0 ] [1 ]
{ f′ = f′ [f′] [ 0 0 1 0 ] [f ]
{ f″ = f″ ---> [f″] = [ 0 0 0 1 ] [f′]
{ f‴ = 6f″ + 7f′ + 8f + 9 [f‴] [ 9 8 7 6 ] [f″]
正確方式
{ (f )′ = f′ { f₀′ = f₁
{ (f′)′ = f″ ---> { f₁′ = f₂
{ (f″)′ = 6f″ + 7f′ + 8f + 9 { f₂′ = 6f₂ + 7f₁ + 8f₀ + 9
一階偏微分方程式。explicit。
Advection Equation:
∂ ∂
―― f(t,x) = -0.4 ―― f(t,x)
∂t ∂x
(f(t,x) + f(t-Δt,x)) / Δt = -0.4 ⋅ (f(t,x) - f(t,x-Δx)) / Δx
(f[i][j] + f[i-1][j]) / Δt = -0.4 ⋅ (f[i-1][j] - f[i-1][j-1]) / Δx
f[i][j] = f[i-1][j] - 0.4 ⋅ (f[i-1][j] - f[i-1][j-1]) ⋅ Δt / Δx
f[i][j] = f[i-1][j] - k ⋅ (f[i-1][j] - f[i-1][j-1])
where k = 0.4 ⋅ Δt / Δx
一階偏微分方程式。explicit。
Heat Equation:
∂ ∂² ∂²
―― f(t,x,y) = 0.1 ( ――― f(t,x,y) + ――― f(t,x,y) )
∂t ∂x² ∂y²
離散化：右邊版本的微分、中間版本的laplace。方便起見Δx = Δy，兩項合併。
(f[t+1][x][y] - f[t][x][y]) / Δt = 0.1 ⋅ (f[t][x][y+1] + f[t][x][y-1]
+ f[t][x+1][y] + f[t][x-1][y] - 4 ⋅ f[t][x][y]) / Δx / Δy
以時間當作主軸：左式是t+1，右式是t。
f[t+1][x][y] = f[t][x][y] + 0.1 ⋅ (f[t][x][y+1] + f[t][x][y-1]
+ f[t][x+1][y] + f[t][x-1][y] - 4 ⋅ f[t][x][y]) / Δx / Δy ⋅ Δt
兩個陣列輪流使用。
fnext[x][y] = f[x][y] + 0.1 ⋅ (f[x][y+1] + f[x][y-1]
+ f[x+1][y] + f[x-1][y] - 4 ⋅ f[x][y]) / Δx / Δy ⋅ Δt
簡寫成k和laplace，比較清爽。
fnext[x][y] = f[x][y] + k ⋅ laplace(f[x][y])
where k = 0.1 ⋅ Δt / Δx / Δy
一階偏微分方程式。implicit。
Heat Equation:
∂ ∂² ∂²
―― f(t,x,y) = 0.1 ( ――― f(t,x,y) + ――― f(t,x,y) )
∂t ∂x² ∂y²
取新值。
fnext[x][y] = f[x][y] + k ⋅ laplace(fnext[x][y])
移項整理，新值通通挪至左式。
fnext[x][y] = f[x][y] + k ⋅ (sum - 4 fnext[x][y])
(1 + 4k) fnext[x][y] = f[x][y] + k ⋅ sum
(1 + 4k) fnext[x][y] - k ⋅ sum = f[x][y]
一次方程組 A fnext = f，已知 A 和 f，求解 fnext。
心裡邊想想就好，不必真的去建立超大稀疏矩陣、超大向量。
採用鬆弛法，得到遞推更新式子。
fnext[x][y] = (f[x][y] + k ⋅ sum) / (1 + 4k)
數值解演算法（Runge–Kutta Method）
取幾處斜率，求加權平均。從原處斜率開始，遞推下一處斜率。採用線狀遞推，不採用網狀遞推，事情比較簡單。
斜率數量、斜率地點、權重大小，可以自由設定，但是必須滿足一致條件、滿足泰勒近似。
經典的設定方式是RK4。取四處斜率：原處、半步、半步、一步。其四個權重：1/6、1/3、1/3、1/6。
另外還有很多花招，例如AB4、AM4、BS23、RKF45，這裡就不介紹了。
一階微分方程組可以畫成圖形
time series graph 函數曲線。以時間為主軸。
gradient field plot 移動速度。(dx/dt, dy/dt)向量場。
phase portrait 移動路線。初始條件(x₀,y₀)沿著向量場跑。
微分方程式的分類：數學家的觀點
微分方程式分為兩類。一、常微分方程式：對同一種變數進行微分。二、偏微分方程式：對多種變數進行微分。
Ordinary Differential Equation, ODE:
∂ ∂ ∂
f(x,y) + 2 = ―― f(x,y) + 3 ―― ―― f(x,y) + 2 g(x,y)
∂x ∂x ∂x
∂f ∂²f
f + 2 = ―― + 3 ――― + 2g 省略括號的部分、合併多次微分的部分
∂x ∂x²
f + 2 = Dxf + 3Dxxf + 2g 微分簡寫成 Dxf Dxxf (Euler)
f + 2 = fx + 3fxx + 2g 微分簡寫成 fx fxx (???)
f + 2 = f′ + 3f″ + 2g 微分簡寫成 f′ f″ (Lagrange)
f + 2 = ḟ + 3f̈ + 2g 微分簡寫成 ḟ f̈ (Newton)
Partial Differential Equation, PDE:
∂ ∂ ∂
f(x,y) + 2 = ―― f(x,y) + 3 ―― ―― f(x,y) + 2 g(x,y)
∂x ∂x ∂y
∂f ∂²f
f + 2 = ―― + 3 ――― + 2g 省略括號的部分、合併多次微分的部分
∂x ∂xy
f + 2 = Dxf + 3Dxyf + 2g 微分簡寫成 Dxf Dxyf
f + 2 = fx + 3fxy + 2g 微分簡寫成 fx fxy
微分方程式分為兩類。一、一次：函數微分視作變數，形成一次方程式。二、非一次。
一次微分方程式，可以推導符號解（分離變數法、格林函數）、演算數值解（時域一次方程組、頻域傅立葉轉換）。非一次微分方程式，則是數學界的大難題，至今只有少數特例找到了符號解。計算學家微調上述演算法，嘗試讓數值解更精確。
Linear Differential Equation:
∂f ∂f ∂²f ∂²f ∂²f
f + 2 ―― + 3 ―― + 5 ―――― + 7 ――― + 9 ――― + 2 = 0
∂x ∂y ∂x∂y ∂x² ∂y²
Nonlinear Differential Equation:
∂f ∂f ∂f
f² + f ―― + ―― ―― = 0
∂x ∂x ∂y
微分方程式分為兩類。一、單變量函數。二、多變量函數：多了梯度、散度、旋度。
Univariate Function:
∂f ∂f ∂²f ∂²f ∂²f
f + 2 ―― + 3 ―― + 5 ―――― + 7 ――― + 9 ――― = 0
∂x ∂y ∂x∂y ∂x² ∂y²
Multivariate Function:
∂Fx ∂Fy ∂Fy ∂Fx
( ――― + ――― ) Fx + ( ――― - ――― ) Fy = 0
∂x ∂y ∂x ∂y
微分方程式計算技巧：數學家的觀點
遞迴公式，必須滿足收斂條件。
boundary condition：確保唯一解
convergence condition：確保收斂至唯一解
遞迴公式，可以整體積分，調整階數。
Finite Difference Method：使用原本的微分方程式（跟「離散化函數微分」撞名）
Finite Volume Method：使用微分方程式的積分
遞迴公式的右式，微分運算的泰勒近似可以多取幾項，函數點可以多取幾個。
Linear Multistep Method：參考先前幾個函數點
Runge–Kutta Method：預測之後幾個函數點
邊界條件的分類：數學家的觀點
微分方程式有多解。
一、常數函數，微分通通是零，答案很多種。
二、散度旋度運算，好比a + b = 1，答案很多種。
追加邊界條件，以得到唯一解。
1. Initial Condition 指定解的某處的函數值、函數梯度值、……
2. Boundary Condition 指定解的邊界輪廓，以及邊界的
(1) Dirichlet Boundary Condition 函數值
(2) Neumann Boundary Condition 函數梯度值（的法線分量）
(3) Cauchy Boundary Condition 上述兩者
(4) Robin Boundary Condition 上述兩者的加權總和
函數值：確保解的零次項（常數項）、一次項、二次項、……。得到唯一解。
函數梯度值：確保解的一次項、二次項、……。得到唯一解，除了常數項。
我們通常只關心一小段範圍，而不是從負無限大到正無限大。此時更需要邊界條件。
