Regression
Regression
「迴歸」就是找一個函數,盡量符合手邊的一堆函數點。此函數稱作「迴歸函數」。
當函數點不精確,則不適合內插,適合迴歸。
方便起見,以下用座標表示函數點。
Error(Loss)
強硬地用函數符合函數點,就會有「誤差」。
單一函數點的誤差,有許多種衡量方式,一般是用函數點與函數的差的平方(平方誤差),其他還有函數點與函數的差的絕對值(絕對值誤差)。
最佳化
人腦考慮的「最符合」,放到了電腦就被設定成「誤差總和最小」。把誤差總和寫成一個函數,迴歸問題就變成了最佳化問題!
運用最佳化演算法,求得誤差最小值,求得迴歸函數的係數。
迴歸函數 f(x) = ax² + bx + c N個函數點 (x₀,y₀) ... (xɴ₋₁,yɴ₋₁) 每個函數點的平方誤差 (y₀ - f(x₀))² ... (yɴ₋₁ - f(xɴ₋₁))² 所有函數點的平方誤差總和 e(a,b,c) = (y₀ - f(x₀))² + ... + (yɴ₋₁ - f(xɴ₋₁))² = ∑ (yᵢ - f(xᵢ))² = ∑ (yᵢ - ŷᵢ)² = ∑ ‖yᵢ - ŷᵢ‖² 令誤差總和最小 min e(a,b,c) a,b,c 選定一個最佳化演算法,求出e(a,b,c)的最小值,求出此時a b c的數值, 就得到迴歸函數f(x)。
迴歸函數 f(x) = ax² + bx + c N個函數點 (2,3) ... (7,8) 每個函數點的平方誤差 (3 - f(2))² ... (8 - f(7))² = (3 - (a⋅2² + b⋅2 + c))² ... (8 - (a⋅7² + b⋅7 + c))² 所有函數點的誤差總和 (3 - f(2))² + ... + (8 - f(7))² = (3 - (a⋅2² + b⋅2 + c))² + ... + (8 - (a⋅7² + b⋅7 + c))²
因為平方誤差非常實用,所以許多人將「採用平方誤差、令誤差總和最小」直接稱作「最小平方法Least Squares Method」。
Polynomial Regression
Linear Regression
「一次迴歸」。迴歸函數採用一次函數。誤差採用平方誤差。
一個變數,迴歸函數是直線。兩個變數,迴歸函數是平面。
一次迴歸性質特殊,不需要最佳化演算法。寫成一次方程組,套用「Normal Equation」,求得迴歸函數的係數。
迴歸函數 f(x) = ax + b 函數點 (2,3) (5,6) (7,8) [ 2 1 ] [ a ] [ 3 ] [ 5 1 ] [ b ] = [ 6 ] [ 7 1 ] [ 8 ] 迴歸函數 f(x,y) = ax + by + c 函數點 (2,3,4) (5,6,7) (7,8,9) (3,3,3) (4,4,4) [ 2 3 1 ] [ 4 ] [ 5 6 1 ] [ a ] [ 7 ] [ 7 8 1 ] [ b ] = [ 9 ] [ 3 3 1 ] [ c ] [ 3 ] [ 4 4 1 ] [ 4 ]
一次迴歸可以寫成最佳化形式。
迴歸函數 f(x) = ax + b 函數點 (2,3) (5,6) (7,8) 所有函數點的誤差總和 ‖Ax - y‖² 一次迴歸化作最佳化問題 min ‖Ax - y‖² [ 2 1 ] [ a ] [ 3 ] A = [ 5 1 ] x = [ b ] b = [ 6 ] [ 7 1 ] [ 8 ]
一次迴歸有公式解。
一次迴歸可以找到輸入與輸出的大致關係:成正比、成反比。首項係數a的正負,代表正反比。
Polynomial Regression
「多項式迴歸」。迴歸函數採用多項式函數。誤差採用平方誤差。
演算法仍是Normal Equation。
迴歸函數 f(x) = ax + b 函數點 (2,3) (5,6) (7,8) [ 2 1 ] [ a ] [ 3 ] [ 5 1 ] [ b ] = [ 6 ] [ 7 1 ] [ 8 ] 迴歸函數 f(x) = ax² + bx + c 函數點 (2,3) (5,6) (7,8) [ 4 2 1 ] [ a ] [ 3 ] [ 25 5 1 ] [ b ] = [ 6 ] [ 49 7 1 ] [ c ] [ 8 ] 迴歸函數 f(x,y) = ax² + bxy + cy² + dx + ey + f 函數點 (2,3,4) (5,6,7) (7,8,9) [ a ] [ 2² 2×3 3² 2 3 1 ] [ b ] [ 4 ] [ 5² 5×6 6² 5 6 1 ] [ c ] = [ 7 ] [ 7² 7×8 8² 7 8 1 ] [ d ] [ 9 ] [ e ] [ f ]
Underfitting / Overfitting
用單純的函數去符合複雜的函數點,顯然符合的不太完美。
用複雜的函數去符合單純的函數點,顯然事情被搞複雜了。
如果我們不清楚函數點的性質,也就無法抉擇函數了。那麼,該如何了解函數點的性質呢?這是心靈科學,就此打住。