O Método dos Mínimos Quadrados é uma técnica de otimização matemática que busca encontrar um melhor ajuste (best fit) para um conjunto de dados tentando minimizar a soma dos quadrados das diferenças ordenadas (chamados resíduos) entre funções de ajuste e dados.

Um requisito implícito para o método dos mínimos quadrados trabalhar é que os erros em cada medida sejam distribuídos aleatóriamente. O Teorema Gauss-Markov prova que estimadores mínimo-quadráticos são neutros (unbiased) e que dados amostrados não obedecem por exemplo uma distribuição normal.

A técnica dos mínimos quadrados é comumente usada em ajuste de curvas. Muitos outros problemas de otimização podem também ser expressos na forma dos mínimos quadrados, por minimização (energia) ou maximização (entropia).

O método dos mínimos quadrados ordinários é a forma de estimação mais amplamente utilizada na econometria. Consiste em um estimador que minimiza a soma dos quadrados dos resíduos da regressão, de forma a maximizar o grau de ajuste do modelo.(R²)

Formulação do Problema

Suponha que o conjunto de dados consiste dos pontos (x_i, y_i) com i = 1, 2, ..., n. Nós desejamos encontrar uma função f tal que

$f(x\_i)\backslash approx\; y\_i.$

Para se obter tal função, nós supomos que a função f é de uma forma particular contendo alguns parâmetros que necessitam ser determinados. Por exemplo, supor que ela é quadrática, significa que f(x) = ax² + bx + c, onde a, b e c não são conhecidos. Nós agora procuramos os valores de a, b e c que minimizam a soma dos quadrados dos resíduos:

$S\; =\; \backslash sum\_\{i=1\}^n\; (y\_i\; -\; f(x\_i))^2.$

Isto explica o nome mínimos quadrados.

Resolvendo o problema dos mínimos quadrados

No exemplo acima, f é linear nos parâmetros a, b e c. O problema simplifica consideravelmente neste caso e reduz-se essencialmente a um sistema de equações lineares (mínimos quadrados lineares).

O problema é mais difícil se f não é linear nos parâmetros a serem determinados. Nós então necessitamos resolver um problema de otimização geral. Algum algoritmo para resolver tal problema, como método de Newton e gradiente descendente (gradient descent), pode ser usado. Outra possibilidade é aplicar um algoritmo que foi desenvolvido especialmente para cuidar do problema dos mínimos quadrados, tais como o algoritmo de Gauss-Newton ou o algoritmo Levenberg-Marquardt.

Mínimos quadrados e análise regressiva

• Mínimos quadrados generalizados - MQG
• Máxima verossimilhança
• Método dos momentos generalizados - MMG

• - http://www.physics.csbsju.edu/stats/least_squares.html
• - http://www.zunzun.com
• - http://www.orbitals.com/self/least/least.htm

Álgebra linear | Estatística

Least squares