Uma importante aplicação da Álgebra Linear à Estatística está na dedução da fórmula de estimação dos coeficientes de um modelo de regressão linear que relacione uma variável dependente Y a n variáveis independentes X₁, X₂, þ, Xn, como se segue:
Y = β₀ + β₁X₁ + β₂X₂ + þ + βnXn + 𝛆
em que 𝛆 é chamada perturbação, que reflete a diferença entre os valores calculados pela relação linear em função das variáveis independentes e o valor real de Y.
Para produzir uma estimativa dos coeficientes do modelo linear, seja β = (β₀, β₁, β₂, þ, βn)ᵀ o vetor dos coeficientes da equação real e seja b = (b₀, b₁, b₂, þ, bn)ᵀ a estimativa calculada pelo método dos mínimos quadrados (o sobrescrito T indica a transposição de vetor). Se forem tomadas m amostras dos valores correspondentes de X₁, X₂, X₃, þ, Xn, Y, com m > n + 1, então podem ser montados: (i) uma matriz X com m linhas e n + 1 colunas formada por uma coluna com m entradas iguais a 1 (que pode ser interpretada como uma variável X₀ que assume sempre o mesmo valor 1 e é multiplicada pelo coeficiente β₀ no modelo linear) e por mais n colunas determinadas pelos valores de todos os Xj, sendo cada linha correspondente a
uma observação, e (ii) um vetor-coluna y formado pelos m valores observados de Y, ordenados conforme a ordem das linhas da matriz X.
A estimativa de mínimos quadrados de β é aquela que faz que os resíduos resultantes (estimativas das perturbações) tenham a menor soma dos quadrados possível. Usando métodos de Cálculo e de Álgebra Linear, essa estimativa é dada pela fórmula: b = (XᵀX)⁻¹ Xᵀy.
Com esse vetor de coeficientes estimados, podem-se calcular um vetor ŷ de estimativas de Y e um vetor e de resíduos estimados, dados por: e = y - ŷ em que ŷ = Xb.
Dois importantes pressupostos para esta aplicação da Álgebra Linear são que X tenha posto máximo n + 1 e que a soma dos resíduos estimados, elementos do vetor e, seja nula, isto é, e₁ + e₂ + þ + em = 0.
Com base no texto acima e com as convenções e notações ali apresentadas, e especificando outras que julgue necessárias, redija um texto dissertativo a respeito dos aspectos algébricos do método dos mínimos quadrados, descrevendo-os minuciosamente.
Em seu texto, aborde os seguintes aspectos:
1. a adequação dimensional dos produtos matriciais apresentados;
2. o significado e a necessidade de a matriz X ter posto máximo;
3. a forma como o pressuposto de soma nula dos resíduos é atendido pela fórmula de estimação de b.