Mínimos Quadrados

Este o nome que se da ao ajuste ou fitting de uma função (polinômio) a um conjunto de dados.

Se $(X_i,Y_i)$ com $i=1,N$ representam o conjunto de dados (N) obtidos de um experimento (instrumento) ou de uma observação (pesquisa de opinião ou censo) ou de uma simulação numérica. E se suspeitamos que existe uma correlação entre os X (variável independente ou de entrada, controlada pelo experimento) e os Y (cuja dependência com X queremos testar), primeiro colocamos os pontos num gráfico para ver se o conjunto forma uma nuvem dispersa (quando não existe correlação aparente, isto é X e Y não conformam uma função), ou se existe correlação (os pontos parecem estar sobre alguma curva).
Depois o seguinte a fazer é o ajuste de mínimos quadrados:

Suponhamos que a relação aparente entre Y e X é linear:

$Y=a+bX$

ou seja que para cada i:

$Y_i=a+b{X}_i$

Definimos:

$\chi =\sum _{i=1}^N(Y_i-a-b{X}_i{)}^2$

Se a relação linear entre Y e X fosse exata o valor de $\chi$ seria zero. Mas, como se trata de valores provenientes de um experimento, mesmo sendo essa a relação entre eles, $\chi$ não será zero. Entretanto os valores de {a, b} que procuramos são aqueles que minimizam o valor de $\chi$. Isto não mostra o caminho para encontrar esses coeficientes:

$\frac{\partial \chi }{\partial a}=\frac{\partial \chi }{\partial b}=0$

o que nos leva a:

$\sum _{i=1}^{N}2(Y_i-a-b{X}_i)(-1)=0\Rightarrow \sum _{i=1}^N(Y_i-a-b{X}_i)=0$

$\sum _{i=1}^{N}2(Y_i-a-b{X}_i)(-X_i)=0\Rightarrow \sum _{i=1}^N(Y_i{X}_i-a{X}_i-b{X}_i^2)=0$

Definindo a seguinte notação:

$[1]=\sum _{i=1}^{N}1=N;[X]=\sum _{i=1}^N{X}_i;[Y]=\sum _{i=1}^N{Y}_i$

$[XY]=\sum _{i=1}^N{X}_i{Y}_i;[X^2]=\sum _{i=1}^N{X}_i^2$

Temos as duas equações que determinam os valores de {a.b}:

$\left[\begin{array}{ccc}a[1]+b[X]& =& [Y]\\ a[X]+b[X^2]& =& [XY]\end{array}\right]$

Ou seja, um sistema de duas equações lineares com duas incógnitas (a e b) em termos dos valores [1], [x], etc.
Em forma matricial:

$\begin{array}{ccccc}a& [1]& [X]& =& [Y]\\ b& [X]& [X^2]& =& [XY]\end{array}$

Os valores a eb são obtidos resolvendo os determinantes correspondentes, ficando assim:

$det=[1][X^2]-[X{]}^2$

$a=[Y][X^2]-[XY][X]/det$

$b=[1][XY]-[X][Y]/det$