最小二乗近似
$f(x)を有限個の正規直交系\{\varphi_i(x)\}の線形結合$
$\quad \alpha_1\varphi_1(x)+\alpha_2\varphi_2(x)+ \cdots + \alpha_n\varphi_n(x) \quad (\alpha_1,\alpha_2,\cdots ,\alpha_n は実数)$
$で近似したとき、f(x)\ との差のノルムについて次の定理が成りたちます。(ノルムについては$ ノルムと距離$を参考にしてください。)$
$定理 \qquad 最小二乗近似$
\[||f-\sum_i \alpha_i\varphi_i||^2=\int_a^b \big\{f(x)-\sum_i \alpha_i\varphi_i(x)\big\}^2dx \quad は \ \ \alpha_i=(f,\ \varphi_i)\ \ のとき最小になる。\]
$(証明)$
$\{\varphi_i(x)\}は正規直交系だから ||\varphi_i||=1,\quad (\varphi _i,\varphi_j )=0 \quad (i \ne j)$
\begin{eqnarray*} ||\sum_i\alpha_i\varphi_i||^2 &=&||\alpha_1\varphi_1+\alpha_2\varphi_2+ \cdots + \alpha_n\varphi_n||^2\\ &=&\sum_i \alpha_i^2||\varphi_i||^2+2\sum_{i\ne j}\alpha_i \alpha_j(\varphi_i,\varphi_j)\\ &=&\sum_i \alpha_i^2 \\ \end{eqnarray*} $したがって$
\begin{eqnarray*} ||f-\sum_i \alpha_i\varphi_i||^2 &=&||f||^2-2\sum_i\alpha_i(f,\varphi_i)+||\sum_i\alpha_i\varphi_i||^2\\ &=&||f||^2-2\sum_i\alpha_i(f,\varphi_i)+\sum_i \alpha_i^2 \\ \end{eqnarray*} \[ここで、\beta_i=(f,\ \varphi_i),\quad f^*=f-\sum_i \beta_i \varphi_i \quad とおくと\] \begin{eqnarray*} (f^*,\ \varphi_j) &=&(f-\sum_i \beta_i \varphi_i ,\ \varphi_j)\\ &=&(f,\varphi_j)-\sum_i \beta_i (\varphi_i ,\varphi_j)\\ &=&\beta_j-\beta_j\\ &=&0\\ \end{eqnarray*} $よって$
\[f-\sum_i \alpha_i \varphi_i =(f^*+\sum_i \beta_i \varphi_i)-\sum_i \alpha_i \varphi_i =f^*-\sum_i (\alpha_i -\beta_i)\varphi_i \] $ゆえに$
\begin{eqnarray*} ||f-\sum_i \alpha_i \varphi_i||^2 &=&||f^*-\sum_i (\alpha_i -\beta_i)\varphi_i ||^2\\ &=&||f^*||^2-2\sum_i (\alpha_i -\beta_i)(f^*,\varphi_i)+ \sum_i (\alpha_i -\beta_i)^2||\varphi_i ||^2\\ &=&||f^*||^2 + \sum_i (\alpha_i -\beta_i)^2\\ \end{eqnarray*} $これは、\alpha_i=\beta_i \ \ のとき最小となるから \quad \alpha_i=(f,\varphi_i)$
\[\alpha_i \ を \ f(x)\ の(広義)フーリェ係数といい、\sum_i \alpha_i \varphi_i \ \ をf(x)の(広義の)フーリェ級数展開といいます。\] $(このことについては$広義のフーリェ級数$を参考にしてください。)$
$例1$
$区間 \ [0,\ 1]\ における、x^2\ の1次式 \ ax＋b \ による最小2乗近似式を求めてみましょう。$
$区間 \ [0,\ 1]\ において \ \varphi_1=1,\ \varphi_2=2x-1 \ が直交系をなし、正規直交系は \ \{1,\ \sqrt{3}(2x-1)\}\ \ だから$
$(このことについては$正規直交系$を参考にしてください。)$
\[\alpha_1=\int _0^1x^2\varphi_1(x)dx=\int_0^1x^2dx=\cfrac{1}{3}\] \[\alpha_2=\int _0^1x^2\varphi_2(x)dx=\int_0^1x^2\cdot\sqrt{3}(2x-1)dx=\sqrt{3}\int_0^1(2x^3-x^2)dx=\cfrac{\sqrt{3}}{6}\] $よって \quad x^2 \ \ の最小2乗1次近似式は$
$\qquad \alpha_1\varphi_1(x)+\alpha_2\varphi_2(x)=\cfrac{1}{3} \times 1 + \cfrac{\sqrt{3}}{6} \times \sqrt{3}(2x-1)=x-\cfrac{1}{6}$
$例2$
$区間 \ [0,\ 1]\ における、x^n \ の1次式 \ ax＋b \ による最小2乗近似式を求めてみましょう。$
\[\alpha_1=\int _0^1x^n\varphi_1(x)dx=\int_0^1x^ndx=\cfrac{1}{n+1}\] \[\alpha_2=\int _0^1 x^n \varphi_2(x)dx=\int_0^1 x^n \cdot \sqrt{3}(2x-1)dx=\sqrt{3}\int_0^1 (2x^{n+1}-x^n)dx=2\sqrt{3} \times \cfrac{1}{n+2}-\cfrac{\sqrt{3}}{n+1}=\cfrac{\sqrt{3}n}{(n+1)(n+2)}\] $よって \quad x^n \ \ の最小2乗1次近似式は$
$\qquad \alpha_1\varphi_1(x)+\alpha_2\varphi_2(x)=\cfrac{1}{n+1} \times 1 + \cfrac{\sqrt{3}n}{(n+1)(n+2)} \times \sqrt{3}(2x-1)=\cfrac{6n}{(n+1)(n+2)}x-\cfrac{2(n-1)}{(n+1)(n+2)}$
$補足$
$2019年度の九州大学(理系)の入試問題にこの内容が主題されました。$
$もちろん受験生にはこの解法による解答は無理ですから別の簡単な解答があります。$
$興味があればそちらもご覧になってください。($九州大学(理系)2019年 問題1)
メインメニュー に戻る