Mínimos Quadrados

Este o nome que se da ao ajuste ou fitting de uma função (polinômio) a um conjunto de dados.

Se $(X_{i},Y_{i})$ com $i=1,N$ representam o conjunto de dados (N) obtidos de um experimento (instrumento) ou de uma observação (pesquisa de opinião ou censo) ou de uma simulação numérica. E se suspeitamos que existe uma correlação entre os X (variável independente ou de entrada, controlada pelo experimento) e os Y (cuja dependência com X queremos testar), primeiro colocamos os pontos num gráfico para ver se o conjunto forma uma nuvem dispersa (quando não existe correlação aparente, isto é X e Y não conformam uma função), ou se existe correlação (os pontos parecem estar sobre alguma curva).
Depois o seguinte a fazer é o ajuste de mínimos quadrados:

Suponhamos que a relação aparente entre Y e X é linear:

$Y=a+bX\;$

ou seja que para cada i:

$Y_{i}=a+bX_{i}\;$

Definimos:

$\chi =\sum _{i=1}^{N}(Y_{i}-a-bX_{i})^{2}$

Se a relação linear entre Y e X fosse exata o valor de $\chi$ seria zero. Mas, como se trata de valores provenientes de um experimento, mesmo sendo essa a relação entre eles, $\chi$ não será zero. Entretanto os valores de {a, b} que procuramos são aqueles que minimizam o valor de $\chi$. Isto não mostra o caminho para encontrar esses coeficientes:

${\frac {\partial \chi }{\partial a}}={\frac {\partial \chi }{\partial b}}=0$

o que nos leva a:

$\sum _{i=1}^{N}2(Y_{i}-a-bX_{i})(-1)=0\Rightarrow \sum _{i=1}^{N}(Y_{i}-a-bX_{i})=0$

$\sum _{i=1}^{N}2(Y_{i}-a-bX_{i})(-X_{i})=0\Rightarrow \sum _{i=1}^{N}(Y_{i}X_{i}-aX_{i}-bX_{i}^{2})=0$

Definindo a seguinte notação:

$[1]=\sum _{i=1}^{N}1=N;\;\;\;[X]=\sum _{i=1}^{N}X_{i};\;\;\;[Y]=\sum _{i=1}^{N}Y_{i}$

$[XY]=\sum _{i=1}^{N}X_{i}Y_{i};\;\;[X^{2}]=\sum _{i=1}^{N}X_{i}^{2}$

Temos as duas equações que determinam os valores de {a.b}:

${\begin{bmatrix}a[1]+b[X]&=&[Y]\\a[X]+b[X^{2}]&=&[XY]\end{bmatrix}}$

Ou seja, um sistema de duas equações lineares com duas incógnitas (a e b) em termos dos valores [1], [x], etc.
Em forma matricial:

${\begin{matrix}a&[1]&[X]&=&[Y]\\b&[X]&[X^{2}]&=&[XY]\end{matrix}}$

Os valores a eb são obtidos resolvendo os determinantes correspondentes, ficando assim:

$det=[1][X^{2}]-[X]^{2}$

$a=[Y][X^{2}]-[XY][X]/det$

$b=[1][XY]-[X][Y]/det$