Problemas na análise de regressão: testes e soluções

Problemas na análise de regressão podem transformar um gráfico convincente em uma decisão equivocada. Um modelo pode explicar quase toda a variação de um conjunto de dados e, ainda assim, não isolar a relação que interessa. Portanto, uma boa análise exige mais do que um R² elevado, um valor-p pequeno ou uma linha de tendência atraente.

Imagine que você modele o emprego usando a produção nacional, a população e o tempo. Cada variável acompanha uma forte tendência econômica. Contudo, o modelo precisa separar suas contribuições individuais com a pouca variação que resta após a inclusão dos outros preditores. Essa tarefa pode ser muito mais difícil do que simplesmente ajustar o emprego.

Este guia explica quatro problemas centrais: multicolinearidade, heterocedasticidade, autocorrelação e erro de medição. Ao longo do texto, você encontrará ferramentas de diagnóstico, fórmulas legíveis, soluções práticas e erros comuns. Uma análise numérica original do conjunto público de dados Longley conecta os conceitos a resultados concretos.

Visão geral dos problemas na análise de regressão

Comece identificando a origem da falha. A multicolinearidade diz respeito à informação dos preditores, enquanto a heterocedasticidade envolve variâncias desiguais dos erros. Já a autocorrelação descreve a dependência entre erros de diferentes observações. Por sua vez, o erro de medição corresponde à diferença entre uma variável registrada e a grandeza que se pretendia medir.

Essas categorias podem se sobrepor. Por exemplo, uma pesquisa pode medir mal a renda e, ao mesmo tempo, coletar respostas repetidas das mesmas famílias. Consequentemente, a análise pode precisar tanto de uma estratégia de medição quanto de um estimador de incerteza que respeite a dependência dentro de cada família.

Um teste de diagnóstico responde a uma pergunta específica sob determinadas hipóteses. Ele não certifica o modelo inteiro. A documentação estatística do statsmodels agrupa essas ferramentas conforme a característica examinada, oferecendo um ponto de partida útil.

Quais são, de fato, as hipóteses dos mínimos quadrados ordinários?

O modelo, o erro e o resíduo

Uma regressão linear múltipla descreve uma variável resposta por meio de vários preditores e um termo de erro. Nesse contexto, a palavra “linear” se refere aos coeficientes. Portanto, um modelo pode incluir a idade ao quadrado ou um logaritmo e continuar linear em seus parâmetros.

O erro, u, representa a diferença não observada no modelo populacional. Em contraste, um resíduo vem do modelo ajustado à amostra: e_i = y_i − ŷ_i. Analistas podem inspecionar os resíduos diretamente, mas não conseguem observar os erros verdadeiros.

O método dos mínimos quadrados ordinários, ou MQO, escolhe os coeficientes que minimizam a soma dos quadrados dos resíduos. Contudo, essa minimização, por si só, não garante uma explicação científica útil. Os dados e o desenho da pesquisa precisam sustentar a interpretação.

Separe as hipóteses de estimação das hipóteses de inferência

Uma condição fundamental, a média condicional zero, exige E(u | X) = 0. Em termos simples, os preditores não devem acompanhar sistematicamente aquilo que permanece no erro. Fatores de confusão omitidos, causalidade reversa e erro de medição nos preditores podem violar essa exigência.

Por outro lado, a variância constante e a ausência de correlação entre erros dizem respeito à estrutura de covariância. Sob exogeneidade adequada, variâncias desiguais, isoladamente, não tornam os coeficientes de MQO viesados. Ainda assim, a fórmula usual do erro-padrão pode perder confiabilidade.

Preditores com distribuição normal não são uma exigência do MQO. Da mesma forma, a própria variável resposta não precisa seguir uma distribuição normal. Para verificar o modelo, o guia de diagnóstico de regressão do NIST destaca gráficos de resíduos, padrões e observações influentes.

Defina o objetivo antes de escolher a solução

A previsão pergunta se um modelo funciona bem em novos casos. Já a estimação causal pergunta o que aconteceria se uma intervenção alterasse uma variável. Por sua vez, a descrição examina como as variáveis observadas se movimentam em conjunto dentro de uma população definida.

Como esses objetivos diferem, o mesmo modelo pode atender a uma finalidade e falhar em outra. Um conjunto de preditores altamente correlacionados pode prever bem em condições conhecidas. Entretanto, seus coeficientes podem oferecer pouca orientação confiável sobre intervenções de política separadas.

Multicolinearidade: quando os preditores disputam a mesma informação

Multicolinearidade perfeita versus elevada

Multicolinearidade perfeita significa que um preditor equivale a uma combinação linear exata de outros. Por exemplo, o gasto total é igual à soma dos gastos com alimentação e dos demais gastos quando essas categorias esgotam o total. Incluir as três variáveis sem uma restrição adicional de identificação impede uma decomposição única dos coeficientes.

A multicolinearidade elevada é menos absoluta. Os preditores continuam matematicamente distintos, mas apresentam forte sobreposição. Consequentemente, pequenas mudanças nas observações ou na especificação do modelo podem gerar grandes alterações nos coeficientes individuais.

Essa distinção importa porque uma correlação elevada não cria automaticamente coeficientes viesados de MQO. Em vez disso, costuma reduzir a precisão. A aula da Penn State sobre problemas de regressão explica por que a interpretação de um coeficiente depende dos demais preditores do modelo.

Por que um R² alto pode coexistir com estatísticas t fracas?

Suponha que a publicidade na televisão e em plataformas digitais aumente simultaneamente em quase todos os meses. O gasto total com publicidade pode explicar bem as vendas. Contudo, os dados podem conter poucos meses em que um canal muda enquanto o outro permanece estável.

Como resultado, o modelo pode identificar a contribuição conjunta com mais clareza do que as contribuições separadas. Portanto, um bom ajuste geral pode coexistir com grandes erros-padrão para os coeficientes angulares individuais. Esse padrão sugere um problema de identificação no desenho observado, e não a ausência de qualquer relação.

Ainda assim, esse padrão isolado não diagnostica multicolinearidade. Amostras pequenas e preditores realmente fracos também podem gerar coeficientes não significativos. Portanto, examine a estrutura dos preditores antes de escolher uma solução.

Calcule e interprete o fator de inflação da variância

O fator de inflação da variância, ou VIF, mede o quanto os demais preditores explicam um determinado preditor. Primeiro, faça a regressão do preditor x_j sobre os demais preditores e um intercepto. Em seguida, use o R² dessa regressão auxiliar:

No contexto clássico homocedástico, a variância do coeficiente contém esse multiplicador. Consequentemente, um VIF de 10 multiplica a variância relevante por 10, mantendo as demais condições constantes. O erro-padrão aumenta por um fator de √10, aproximadamente 3,16, e não de 10.

Esses valores resultam de cálculos algébricos, e não de estimativas empíricas. “Variação exclusiva” significa a parcela residual da variação do preditor após sua regressão auxiliar.

A Penn State apresenta valores de VIF acima de 4 como motivos para investigar e acima de 10 como sinais de forte sobreposição. Contudo, essas são regras práticas, não critérios universais de exclusão. Consulte sua explicação sobre o VIF para entender o cálculo.

Por que correlações entre pares podem não detectar o problema?

Uma matriz de correlação examina duas variáveis por vez. A multicolinearidade pode envolver uma combinação de vários preditores. Portanto, correlações moderadas entre pares não descartam uma relação quase linear entre três ou mais colunas.

Considere variáveis independentes A e B, com variâncias iguais, e defina C = A + B. A correlação entre A e C é aproximadamente 0,707. Ainda assim, o desenho com as três variáveis apresenta dependência perfeita, pois C − A − B = 0.

Esse exemplo oferece uma lição útil de diagnóstico. Um limite que sinalizasse apenas correlações acima de 0,80 deixaria passar uma dependência exata. Em vez disso, combine a análise de correlações com verificações do posto da matriz e diagnósticos multivariáveis.

Trate a multicolinearidade sem mudar a pergunta por acidente

Comece pelo objetivo da pesquisa. Se duas colunas medem praticamente o mesmo conceito operacional, um índice bem justificado pode simplificar o modelo. Contudo, excluir um fator de confusão apenas para melhorar o VIF pode prejudicar uma análise causal.

Dados adicionais ajudam mais quando acrescentam variação independente. Por exemplo, observar lojas que mudaram um canal de publicidade por vez permite maior separação do que repetir o padrão de gastos já existente. Apenas coletar mais linhas quase idênticas pode trazer uma melhora limitada.

Para previsão, a regressão ridge pode estabilizar os coeficientes por meio de uma penalização. Entretanto, seus coeficientes refletem esse encolhimento, de modo que as interpretações e os valores-p usuais do MQO não se aplicam automaticamente. Avalie o benefício preditivo com dados que não participaram do ajuste.

A centralização pode melhorar a interpretação quando um modelo inclui potências ou termos de interação. Contudo, centralizar dois preditores comuns não elimina sua correlação. Converter dólares em milhares também altera as unidades sem criar novas informações para identificação.

Heterocedasticidade: quando a variância do erro muda

Reconheça a dispersão desigual

Heterocedasticidade significa que a variância do erro difere entre observações. Por exemplo, famílias de renda elevada podem apresentar uma faixa de gastos mais ampla do que famílias de renda baixa. Nesse caso, um gráfico de resíduos contra valores ajustados pode lembrar um leque que se abre.

Entretanto, uma dispersão desigual não exige um leque visível. A variância pode diferir entre regiões, aumentar abruptamente após uma mudança de política ou seguir um padrão curvo. Portanto, examine os resíduos em relação a preditores e grupos relevantes, além dos valores ajustados.

Com uma média condicional correta e exogeneidade adequada, o MQO ainda pode estimar os coeficientes angulares de interesse. Mesmo assim, os intervalos de confiança convencionais podem representar mal a incerteza. O erro pode ocorrer nas duas direções: a heterocedasticidade nem sempre torna os erros-padrão pequenos demais.

Use os testes como evidência complementar

Breusch–Pagan verifica se variáveis especificadas explicam padrões na variância dos resíduos. Já o teste de White permite uma especificação mais flexível da variância por meio de termos adicionais. Por sua vez, Goldfeld–Quandt compara a variação entre subconjuntos após uma ordenação adequada.

Cada teste depende de seu desenho. Em uma amostra pequena, uma regressão auxiliar complexa pode consumir graus de liberdade valiosos. Portanto, um resultado não significativo não deve servir como prova de que todas as observações têm a mesma variância do erro.

A documentação do statsmodels sobre Breusch–Pagan diferencia o teste original da versão de Koenker. Ela também aborda limitações em amostras finitas e o papel do intercepto no desenho auxiliar. Registre a implementação efetivamente utilizada ao apresentar os resultados.

Escolha conscientemente entre erros-padrão robustos e mínimos quadrados ponderados

Estimadores de covariância consistentes sob heterocedasticidade alteram a incerteza estimada em torno dos coeficientes de MQO. Eles não alteram os próprios coeficientes ajustados. Por exemplo, HC3 ajusta as contribuições dos resíduos usando a alavancagem, o que pode importar quando as observações exercem influências desiguais.

Os mínimos quadrados ponderados, ou MQP, mudam o critério de ajuste. O método atribui maior peso relativo às observações com menor variância do erro. Idealmente, o peso segue o inverso da variância condicional:

Suponha que um grupo tenha desvio-padrão do erro igual a 2 e outro igual a 6. Seus pesos de variância inversa são 1/4 e 1/36. Portanto, cada observação do primeiro grupo recebe nove vezes o peso de uma observação do segundo grupo.

Esses pesos refletem precisão, não frequência ou representatividade populacional. Um peso amostral de pesquisa tem outra finalidade. Consequentemente, analistas não devem substituir um tipo de peso por outro sem examinar o desenho da análise.

O guia do NIST sobre mínimos quadrados ponderados explica tanto o fundamento de eficiência quanto o risco de pesos mal estimados. Se o modelo de variância não tiver sustentação, o MQP pode atribuir influência excessiva às observações erradas.

Entenda o intercepto transformado

Suponha que a teoria sustente Var(u_i | x_i) = σ²x_i² e que todos os valores de x_i sejam diferentes de zero. Dividir toda a equação por x_i produz:

O coeficiente angular original passa a ocupar o termo constante. Enquanto isso, o intercepto original se torna o coeficiente de 1/x. Essa mudança decorre diretamente da álgebra, de modo que os nomes dos coeficientes precisam acompanhar a transformação.

Contudo, dividir por x não oferece uma solução universal. A hipótese sobre a variância precisa justificar a operação. Valores próximos de zero também podem gerar observações transformadas extremas, o que exige uma análise de sensibilidade separada.

Diferencie intervalos de previsão de intervalos para coeficientes

Uma matriz robusta de covariância dos coeficientes não fornece automaticamente um intervalo de previsão correto para cada nova observação. A incerteza preditiva também inclui a variância do erro dessa nova observação. Portanto, um sistema útil de previsão pode precisar de um modelo explícito para a mudança dessa variância.

Por exemplo, um modelo de gastos pode estimar sua relação média com precisão e, ao mesmo tempo, apresentar incerteza muito maior para famílias de renda elevada. Uma faixa única de largura constante esconderia essa diferença. Informe claramente o alvo de cada intervalo: resposta média, coeficiente ou observação futura.

Autocorrelação: quando os erros guardam memória do passado

Procure dependência em uma ordem relevante

A autocorrelação ocorre quando erros em momentos diferentes permanecem relacionados. Por exemplo, um modelo de vendas pode subestimar vários meses consecutivos durante uma expansão da demanda que o modelo não representa. Assim, resíduos positivos aparecem em sequências, em vez de observações isoladas.

A autocorrelação negativa produz outro padrão. Os erros tendem a alternar de sinal entre períodos próximos. Contudo, nenhum dos padrões comprova necessariamente um mecanismo econômico específico; dinâmicas omitidas, agregação e procedimentos de medição podem contribuir.

A ordem das linhas importa nesse caso. Ordenar famílias por número de identificação não cria uma sequência temporal relevante. Em contraste, observações mensais repetidas da mesma empresa apresentam uma estrutura temporal natural.

Interprete a estatística de Durbin–Watson com cuidado

A estatística de Durbin–Watson compara as mudanças entre resíduos vizinhos com a soma geral de seus quadrados. Seu intervalo usual vai de 0 a 4. Valores próximos de 2 sugerem pouca correlação residual de primeira ordem, embora isso, isoladamente, não constitua um teste formal de aceitação.

Aqui, r₁ representa a correlação residual de primeira ordem na relação aproximada. Um d baixo sugere dependência positiva, enquanto um d alto sugere dependência negativa. Consulte a documentação oficial de Durbin–Watson para a fórmula.

Os limites críticos tradicionais dependem do tamanho da amostra e da estrutura do modelo. Alguns valores ficam em uma região inconclusiva. Além disso, o procedimento usual de limites não se aplica diretamente quando a regressão inclui uma variável dependente defasada.

Portanto, evite uma regra universal como “qualquer valor entre 1,5 e 2,5 está bom”. A função de autocorrelação dos resíduos, ou ACF, pode revelar defasagens mais longas que uma única estatística-resumo não detecta. Breusch–Godfrey oferece outra alternativa quando suas hipóteses se ajustam ao modelo.

Por que mais observações podem acrescentar menos informação do que se espera?

Considere um processo de erro AR(1) estacionário com parâmetro de correlação ρ. Para estimar uma média, uma aproximação de grandes amostras fornece o seguinte tamanho amostral efetivo:

Essa ilustração decorre da variância de longo prazo de um processo AR(1). Ela não é uma fórmula universal para coeficientes de regressão. Ainda assim, mostra por que observações repetidas podem conter menos informação independente do que sua contagem bruta sugere.

Ilustração calculada, não dados observados. O multiplicador é √[(1 + ρ)/(1 − ρ)] em relação a observações independentes com a mesma variância marginal; os valores em amostras finitas diferem.

Escolha entre modelar a dependência e ajustar a inferência

Um modelo que omite a sazonalidade pode precisar de termos sazonais. Da mesma forma, uma resposta tardia pode exigir uma estrutura de defasagens defensável. Portanto, examine a média condicional antes de tratar todo padrão residual como um problema de covariância.

Estimadores de covariância consistentes sob heterocedasticidade e autocorrelação, incluindo Newey–West, podem ajustar a incerteza sob condições adequadas de dependência fraca. Contudo, eles não eliminam a endogeneidade nem tornam válidas regressões não estacionárias. A largura de banda, o núcleo, o tamanho da amostra e a ordem temporal importam.

Alternativamente, os mínimos quadrados generalizados podem modelar explicitamente a estrutura do erro. Para um processo de erro AR(1), uma transformação subtrai ρ vezes a observação anterior de cada variável atual. O intercepto transformado passa a ser β₀(1 − ρ).

Como ρ geralmente é desconhecido, sua estimação acrescenta outra camada de incerteza. Alguns procedimentos descartam a primeira observação, enquanto Prais–Winsten a mantém com uma transformação adequada sob suas hipóteses. Portanto, documente o método em vez de informar apenas “corrigido para autocorrelação”.

A documentação de covariância robusta do statsmodels distingue as opções HC, HAC e por agrupamentos. Cada alternativa trata de uma estrutura diferente de covariância, de modo que a palavra “robusto” precisa de uma descrição específica.

Não confunda autocorrelação com regressão espúria

Duas séries sem relação entre si podem compartilhar tendências fortes. Sua regressão pode então produzir um R² elevado e estatísticas t convencionais impressionantes. Contudo, essas estatísticas não estabelecem uma relação econômica relevante.

Hyndman e Athanasopoulos ilustram esse problema com passageiros aéreos na Austrália e produção de arroz na Guiné. O exemplo apresenta um R² de 0,958, apesar da conexão substantiva pouco plausível. Consulte Forecasting: Principles and Practice.

Consequentemente, examine a estacionariedade, os mecanismos econômicos e a possível cointegração antes de interpretar uma regressão em níveis. A diferenciação pode ajudar em alguns casos, mas desloca a pergunta dos níveis para as variações. Um modelo adequado de correção de erros pode preservar uma relação de longo prazo bem fundamentada.

Erro de medição: quando a base mede a grandeza errada

Separe o ruído na resposta do ruído em um preditor

O erro de medição surge quando o valor registrado difere da grandeza pretendida. Exemplos incluem rendimentos autodeclarados, sensores imperfeitos, transações arredondadas e registros administrativos desatualizados. Contudo, as consequências estatísticas dependem de onde o erro entra e de como ele se relaciona com outras variáveis.

Um ruído aditivo clássico na variável resposta de um modelo linear aumenta a incerteza sem necessariamente enviesar os coeficientes angulares. Em contraste, o ruído clássico em um preditor cria correlação entre esse preditor observado e o erro composto da regressão. Portanto, o coeficiente pode continuar errado mesmo com o crescimento da amostra.

A pesquisa de Jerry Hausman sobre variáveis medidas com erro discute essa assimetria e os limites das correções usuais. Esses resultados exigem hipóteses; erros sistemáticos de informação podem se comportar de outra maneira.

Calcule o viés de atenuação

Considere o modelo verdadeiro y = α + βx* + u. Suponha que o preditor observado seja x = x* + v, com ruído clássico de medição. Sob as condições usuais de independência e de momentos, o coeficiente angular da regressão simples converge para:

A razão de confiabilidade λ fica entre 0 e 1. Consequentemente, o coeficiente angular se aproxima de zero nesse caso clássico simples. Um coeficiente verdadeiro negativo se torna menos negativo, em vez de necessariamente diminuir numericamente.

Por exemplo, variâncias iguais de sinal e ruído reduzem um coeficiente verdadeiro de 2 a um limite em probabilidade de 1. Coletar dez vezes mais observações estreita a incerteza em torno desse alvo incorreto. Portanto, maior precisão não garante maior exatidão.

Por que a multicolinearidade pode ampliar os problemas de medição?

Agora acrescente um controle medido corretamente, z, que acompanhe de perto o preditor verdadeiro. Após remover a parte que z explica, resta menos sinal verdadeiro. Contudo, o ruído independente de medição permanece no preditor residualizado.

Suponha que Var(x*) = 1 e Var(v) = 0,25. Sem o controle, a confiabilidade é 1/1,25 = 0,80. Se z explica 90% da variância do preditor verdadeiro, a variância residual do sinal cai para 0,10.

Nesse cenário clássico construído, um coeficiente angular parcial verdadeiro de 2 converge para aproximadamente 0,571, em vez de 1,600. Assim, dois problemas conhecidos interagem: a forte sobreposição entre preditores torna a qualidade da medição mais importante para a variação restante que identifica o coeficiente.

Esse cálculo não justifica excluir controles necessários. Em vez disso, identifica onde dados de validação seriam mais úteis. O analista precisa medir com confiabilidade a variação que realmente separa o preditor dos controles.

Use instrumentos somente quando as condições de identificação forem válidas

Uma variável instrumental precisa prever o regressor endógeno e permanecer sem relação com o erro estrutural relevante. Em uma aplicação com erro de medição, sua relação com o ruído de medição também importa. Portanto, uma variável correlacionada conveniente não se qualifica automaticamente.

Considere usar as vendas registradas no ano anterior como instrumento para as vendas mal medidas do ano atual. A persistência pode proporcionar relevância. Contudo, choques persistentes de demanda ou erros de registro correlacionados podem violar as condições exigidas de exclusão e ortogonalidade.

Com um preditor endógeno e um instrumento, após retirar o efeito de um intercepto e de eventuais controles válidos, o coeficiente de variáveis instrumentais assume a forma de uma razão:

Regredir simplesmente a variável resposta sobre o instrumento produz um denominador diferente. Consequentemente, substituir x por z em uma única regressão de MQO geralmente não equivale à estimação por variáveis instrumentais. Um estimador adequado de dois estágios ou equivalente precisa preservar o coeficiente estrutural pretendido.

Por que inverter a regressão não é uma correção geral?

Outro atalho tentador consiste em regredir o preditor observado sobre a variável resposta e depois inverter o coeficiente angular. A álgebra mostra por que essa abordagem pode falhar. Suponha variáveis centralizadas, β positivo e diferente de zero e ruído clássico independente de medição:

A menos que a perturbação estrutural tenha variância zero, o coeficiente populacional invertido difere de β. Por exemplo, β = 2, Var(x*) = 1 e Var(u) = 1 implicam um coeficiente invertido de 2,5. Esse valor supera o coeficiente verdadeiro em 25%.

Por sua vez, definir Var(v) = 0,25 fornece um limite em probabilidade de 1,6 para a regressão direta. O coeficiente verdadeiro de 2 fica entre 1,6 e 2,5 nesse exemplo construído. Nenhuma das estimativas se torna correta apenas porque a amostra cresce.

Essa distinção é especialmente útil ao ler exemplos resolvidos mais antigos. Uma correção precisa de um modelo estatístico explícito, e não apenas de uma resposta numericamente plausível. A discussão de Hausman sobre regressões diretas e inversas oferece contexto adicional para essa questão.

Análise original dos dados: um ajuste de 99,55% que ainda exige cautela

Conheça o conjunto de dados Longley

O conjunto de dados Longley contém 16 observações anuais de 1947 a 1962. Sua variável resposta mede o emprego total, e os seis preditores incluem PNB, deflator do PNB, desemprego, forças armadas, população e ano. O NIST usa esse conjunto desafiador para avaliar a exatidão numérica de programas de mínimos quadrados.

Para este artigo, recalculamos a regressão completa a partir do arquivo público de dados do NIST. Também calculamos os valores de VIF, um modelo mais simples apenas com PNB e erros-padrão HC3. Esses resultados adicionais são cálculos próprios, e não novas descobertas sobre a economia atual.

Os resultados certificados do NIST apresentam R² = 0,995479 e desvio-padrão residual de 304,854 nas unidades de emprego do conjunto de dados. Nosso cálculo reproduz ambos. Contudo, uma referência numérica verifica a computação, não a interpretação causal.

A sobreposição entre preditores é extrema

O VIF do PNB atinge aproximadamente 1.788,5. Portanto, sua regressão auxiliar deixa apenas cerca de 0,0559% da variação amostral do PNB sem explicação pelos outros preditores. O multiplicador correspondente do erro-padrão é aproximadamente 42,3 na comparação clássica.

População e ano também apresentam grande sobreposição com os outros preditores. Em contraste, forças armadas tem um VIF muito menor, de cerca de 3,6. Essas diferenças mostram por que uma classificação geral pode esconder qualidades de informação muito distintas entre os coeficientes.

Acrescentar controles muda o sinal do coeficiente do PNB

Uma regressão simples do emprego sobre o PNB fornece um coeficiente angular positivo de aproximadamente 0,03475. Com os seis preditores, o coeficiente do PNB passa a aproximadamente −0,03582. Enquanto isso, o R² aumenta de cerca de 0,9674 para 0,9955.

A inversão do sinal não demonstra que a produção nacional reduz o emprego. Os dois modelos resumem associações sob conjuntos diferentes de condicionamento. Além disso, o coeficiente do PNB no modelo completo tem valor-p bilateral convencional de aproximadamente 0,313, com nove graus de liberdade residuais.

Essa é uma distinção útil entre computação e interpretação. Um programa pode estimar todos os números com exatidão enquanto os dados disponíveis oferecem pouco suporte para um efeito econômico separado. Portanto, não use apenas o sinal como conclusão de política.

A incerteza robusta muda, mas os coeficientes permanecem iguais

Em seguida, mantivemos os coeficientes de MQO e substituímos a estimativa convencional da covariância por HC3. Para o PNB, o erro-padrão subiu de aproximadamente 0,03349 para 0,05562. O coeficiente permaneceu em −0,03582 porque o ajuste da covariância não refaz a regressão.

Para ano, HC3 praticamente duplica o erro-padrão, de 455,48 para 922,81. Contudo, essa mudança não é um teste formal que comprova heterocedasticidade. HC3 responde à combinação observada entre o tamanho dos resíduos e a alavancagem.

Com apenas 16 observações, nenhum nome de estimador de covariância pode criar uma amostra grande. Além disso, HC3 não considera a dependência serial. Uma interpretação de séries temporais exigiria verificações adicionais e uma abordagem de covariância adequada à estrutura de dependência.

O que esta análise acrescenta além de um artigo de definições?

A contribuição diferenciada está na conexão entre ajuste, separação dos coeficientes e qualidade da medição. Primeiro, o cálculo com dados públicos mostra como um ajuste quase perfeito pode coexistir com VIFs extremos. Em seguida, a comparação de sinais mostra que acrescentar controles altera tanto a pergunta quanto a estimativa.

O exemplo de erro de medição explica por que dados ruidosos se tornam especialmente problemáticos quando os controles removem a maior parte do sinal de um preditor. Por fim, a dedução da regressão inversa examina uma correção tentadora em vez de aceitá-la sem questionamento. Em conjunto, esses exemplos oferecem uma forma prática de avaliar se a solução corresponde à falha.

Cinco atalhos de regressão que podem enganar

Atalho 1: excluir toda variável com VIF elevado

Um VIF menor não produz necessariamente um desenho de pesquisa melhor. Suponha que uma variável controle uma causa comum ao preditor e à variável resposta. Excluí-la pode introduzir viés de variável omitida, mesmo que os coeficientes restantes pareçam mais estáveis.

Em vez disso, explique por que cada variável pertence ao modelo. Para uma tarefa preditiva, compare alternativas defensáveis usando o desempenho na validação. Uma tarefa causal exige uma justificativa específica sobre confundimento e sobre o efeito que se pretende estimar.

Atalho 2: usar erros-padrão robustos para corrigir tudo

Estimativas robustas de covariância tratam de formas específicas de incerteza. Elas não corrigem um fator de confusão ausente, uma forma funcional inadequada ou erro clássico de medição em um preditor. Portanto, “robusto” deve descrever um cálculo particular, e não a qualidade geral do modelo.

Um relatório útil identifica o estimador, como HC3 ou HAC com uma escolha explícita de defasagens. Ele também explica por que o estimador corresponde à estrutura dos dados. Esse detalhe permite revisar o cálculo da incerteza.

Atalho 3: tratar uma variável defasada como automaticamente exógena

O valor de ontem ocorre antes, mas isso não significa que ele esteja sem relação com o erro de hoje. Choques persistentes podem conectar os dois períodos. Da mesma forma, práticas de registro podem gerar erros de medição que permanecem correlacionados ao longo do tempo.

Consequentemente, uma defasagem precisa de uma justificativa substantiva de identificação antes de servir como instrumento. Verifique a relevância separadamente da validade. Uma relação forte no primeiro estágio não comprova a restrição de exclusão.

Atalho 4: comparar o R² antes e depois de toda transformação

O R² mede o ajuste em relação à variação de uma variável resposta específica. Se você substitui gastos pelo logaritmo dos gastos, o denominador muda. Portanto, comparar os dois valores de R² não estabelece diretamente qual modelo prevê melhor os gastos em dólares.

Regressões ponderadas e em quase diferenças também alteram a escala ou a geometria do cálculo. Em vez disso, compare previsões para um alvo comum e na mesma amostra de avaliação. Considere os efeitos da transformação inversa ao interpretar previsões nas unidades originais.

Atalho 5: aceitar o modelo porque todos os valores-p dos diagnósticos superam 0,05

Um diagnóstico não significativo pode refletir baixo poder estatístico, em vez de um modelo adequado. Por outro lado, bases muito grandes podem detectar desvios de pouca importância prática. Portanto, combine testes com gráficos, magnitudes dos efeitos, desenho de pesquisa e análise de sensibilidade.

Alterar repetidamente uma especificação até que todos os testes sejam aprovados cria outro problema: os mesmos dados orientam a seleção e a avaliação do modelo. Um plano de análise claro e uma estratégia honesta de validação reduzem esse risco. Mantenha um registro das alternativas importantes, em vez de apresentar apenas a especificação final bem-sucedida.

Um roteiro prático para diagnosticar problemas na análise de regressão

Etapa 1: defina a decisão e o alvo

Escreva uma frase que descreva a finalidade do modelo. Por exemplo: “Prever as vendas do próximo trimestre usando informações disponíveis na data da previsão”. Alternativamente, defina uma pergunta causal sobre uma intervenção e uma população específicas.

Em seguida, informe a unidade de observação. Um condado-ano, uma família-mês e uma transação individual implicam estruturas distintas de dependência. Sem essa definição, até uma fórmula correta pode sustentar um cálculo inadequado da incerteza.

Etapa 2: examine as variáveis antes do ajuste

Verifique unidades, valores ausentes, duplicatas, datas e definições de categorias. Para dados econômicos, diferencie valores nominais de valores ajustados pela inflação. Além disso, confira se a base mistura estoques, fluxos, níveis, taxas de crescimento ou limites geográficos diferentes.

Em seguida, registre como cada variável entra no conjunto de dados. Revisões administrativas e respostas autodeclaradas levantam questões distintas de medição. Nessa etapa, um dicionário de dados frequentemente contribui mais do que outro teste automatizado de significância.

Etapa 3: examine o desenho e ajuste um modelo de referência justificado

Faça gráficos da variável resposta contra os preditores importantes e examine a dimensão temporal. Verifique dependências exatas antes de interpretar qualquer coeficiente. Depois, ajuste um modelo de referência que reflita a pergunta de pesquisa, em vez de buscar automaticamente o maior R².

Registre o tamanho da amostra e o número de parâmetros estimados. Por exemplo, 16 observações com sete parâmetros deixam apenas nove graus de liberdade residuais. Essa conta deve influenciar a confiança que você deposita em diagnósticos elaborados.

Etapa 4: examine os resíduos e a alavancagem em conjunto

Examine os resíduos contra valores ajustados, tempo, preditores principais e grupos relevantes. Uma curva pode sugerir uma relação média omitida, enquanto mudanças de dispersão podem sugerir um problema de variância. Contudo, algumas observações influentes podem imitar qualquer um desses padrões.

Portanto, examine também a alavancagem e a influência. Um erro nos dados pode justificar uma correção, mas uma observação válida e incomum pode trazer informação real. Compare resultados por meio de análises transparentes de sensibilidade, em vez de excluir automaticamente os casos difíceis.

Etapa 5: relacione o diagnóstico à falha suspeita

Etapa 6: valide a solução, não apenas o modelo original

Após alterar um modelo, repita as verificações relevantes. Uma transformação pode reduzir a dispersão desigual e, ao mesmo tempo, criar dificuldades de interpretação. Da mesma forma, uma nova estrutura de defasagens pode melhorar o comportamento dos resíduos enquanto consome graus de liberdade.

Para previsão, preserve a ordem temporal durante a avaliação. Treinar com informações futuras e testar no passado gera vazamento de informação. Uma avaliação realista usa somente as informações que estariam disponíveis na origem da previsão.

Etapa 7: informe o que continua incerto

Explique o que a análise permite concluir e o que ela não permite. Se a qualidade da medição continuar desconhecida, informe quais conclusões dependem dessa incerteza. Da mesma forma, diferencie a estabilidade dos coeficientes dentro da amostra da confiabilidade sob novas condições econômicas.

O resultado final deve ajudar alguém a tomar uma decisão melhor. Portanto, traduza os achados técnicos em consequências práticas: intervalos amplos, sinais frágeis, extrapolação limitada ou dependência de uma hipótese de identificação.

Como apresentar resultados de regressão com clareza

Use um registro compacto do modelo

Um bom relatório combina a estimativa com as condições que lhe dão significado. Inclua as unidades da variável resposta, as definições dos preditores, o período da amostra e o nível de observação. Em seguida, identifique o estimador de incerteza e explique os principais resultados de sensibilidade.

Transforme um achado estatístico em uma conclusão útil

Considere o exemplo Longley. “O R² é 0,9955” descreve o ajuste, mas orienta pouco sobre os efeitos individuais. Em contraste, uma interpretação mais completa explica que o PNB apresenta sobreposição extrema com os outros preditores e um sinal condicional instável.

Da mesma forma, “usamos erros-padrão robustos” deixa o leitor sem detalhes importantes. Uma afirmação mais clara identifica HC3 e observa que ele não considera a dependência serial. Esses acréscimos revelam os limites práticos sem sobrecarregar o leitor.

Mantenha uma trilha de evidências para cada número importante

Separe os resultados apresentados pelas fontes dos seus próprios cálculos. Por exemplo, o R² certificado pelo NIST tem origem diferente dos cálculos de VIF deste artigo. Ambos podem ser confiáveis, mas exigem caminhos distintos de verificação.

Para um cálculo original, preserve os dados de entrada, a fórmula e o método computacional. Se uma figura ilustra um processo hipotético, identifique-a como ilustração. O leitor nunca deveria precisar adivinhar se um gráfico apresenta observações reais ou um exemplo construído.

Perguntas frequentes sobre problemas na análise de regressão

Quais são os quatro principais problemas abordados aqui?

São multicolinearidade, heterocedasticidade, autocorrelação e erro de medição. Contudo, a lista não abrange todos os riscos de regressão. Variáveis omitidas, viés de seleção, formas funcionais mal especificadas e vazamento de informação também merecem atenção.

Um R² elevado comprova que o modelo está correto?

Não. O R² mede o ajuste dentro da amostra em relação à variação da resposta, conforme a definição adotada. Portanto, ele não comprova validade causal, medição exata, coeficientes estáveis ou bom desempenho em dados futuros.

A multicolinearidade torna o MQO viesado?

A multicolinearidade elevada, mas imperfeita, não cria viés por si só quando as hipóteses relevantes do MQO são válidas. Em vez disso, costuma aumentar a incerteza dos coeficientes angulares individuais. Já a multicolinearidade perfeita impede a estimação única do vetor completo de coeficientes.

Devo remover todo preditor com VIF acima de 10?

Não. Trate esse valor como um sinal para investigar o desenho e seu objetivo. Por exemplo, remover um fator de confusão necessário pode reduzir o VIF e, ao mesmo tempo, tornar a relação estimada menos confiável.

Erros-padrão robustos à heterocedasticidade corrigem a autocorrelação?

Os estimadores HC usuais tratam de variância desigual, não de dependência serial geral. Portanto, um modelo de séries temporais pode exigir HAC ou um modelo explícito de dependência. A escolha correta depende dos dados e das hipóteses.

A autocorrelação sempre causa viés nos coeficientes de MQO?

Não por si só, sob condições adequadas de exogeneidade. Contudo, modelos dinâmicos podem violar essas condições, especialmente quando respostas defasadas se correlacionam com erros serialmente dependentes. Examine a especificação efetiva antes de afirmar que o MQO continua não viesado.

Mais dados podem resolver o erro de medição?

Mais observações podem melhorar a precisão sem eliminar o viés clássico de erros nas variáveis. Consequentemente, uma amostra muito grande pode estimar o coeficiente errado com grande precisão. Uma medição melhor ou uma estratégia válida de identificação trata do problema fundamental.

Um preditor defasado é sempre um instrumento válido?

Não. A relevância, isoladamente, não estabelece validade. Choques estruturais persistentes ou ruído correlacionado de medição podem conectar um preditor defasado ao erro atual da regressão.

Posso comparar modelos após aplicar logaritmo à resposta?

Sim, mas compare os modelos com base em um objetivo decisório comum. Os valores brutos de R² em níveis e logaritmos descrevem escalas diferentes da resposta. Portanto, avalie previsões nas unidades originais ou outro critério consistente que corresponda ao seu objetivo.

O que devo fazer primeiro quando uma regressão parece suspeita?

Verifique as variáveis, as unidades, a amostra e a ordem das observações. Em seguida, examine os dados brutos e os resíduos antes de aplicar correções automáticas. A melhor solução decorre da origem do problema, e não do primeiro teste que rejeita uma hipótese.

Conclusão: diagnostique a falha antes de escolher a solução

Problemas na análise de regressão ficam mais fáceis de administrar quando você separa três perguntas. O desenho identifica o coeficiente? Até que ponto o cálculo da incerteza corresponde à estrutura dos erros? Por fim, a variável registrada representa a grandeza de que a análise precisa?

A multicolinearidade enfraquece a separação entre preditores, enquanto a heterocedasticidade e a autocorrelação desafiam os cálculos convencionais de incerteza. Já o erro de medição pode alterar o próprio alvo do coeficiente. Portanto, uma única correção automática não resolve os quatro problemas.

A análise Longley torna a lição concreta: um ajuste de 99,55% pode coexistir com sobreposição extrema entre preditores e um coeficiente sensível à mudança de sinal. Enquanto isso, os exemplos de medição mostram por que mais observações e regressão inversa não garantem uma correção válida. Comece pela pergunta de pesquisa, examine a variação que identifica o efeito e escolha uma solução cujas hipóteses você consiga defender.

Dados, métodos e reprodutibilidade

Como funcionam os cálculos originais

A análise empírica utiliza as 16 observações do arquivo Longley do NIST, sem excluir linhas. Seu modelo completo inclui um intercepto e os seis preditores. A comparação apenas com PNB usa as mesmas observações e um intercepto.

Para obter estabilidade numérica, o cálculo centraliza e padroniza os preditores antes de resolver os mínimos quadrados com uma rotina numérica apropriada. Em seguida, converte os coeficientes e os erros-padrão de volta às unidades da fonte. Os coeficientes e o R² resultantes correspondem aos valores certificados pelo NIST dentro da tolerância numérica.

Nesse cálculo, os valores de VIF vêm de seis regressões auxiliares separadas, cada uma com intercepto. Os erros-padrão convencionais usam a soma dos quadrados dos resíduos dividida por nove. HC3 usa resíduos ao quadrado divididos por (1 − h_ii)² no cálculo da covariância, em que h_ii representa a alavancagem.

As tabelas de atenuação e de tamanho amostral efetivo utilizam as fórmulas indicadas, e não parâmetros estimados do mundo real. Da mesma forma, os exemplos de confiabilidade residualizada e regressão inversa são cálculos construídos. Eles ilustram hipóteses e mecanismos sem alegar um novo efeito econômico empírico.

Dados públicos e cálculo executável

Para verificação independente, a seção expansível abaixo contém o cálculo completo utilizado na análise Longley e nos gráficos. Ele exige Python com NumPy, SciPy e Matplotlib. Execute-o a partir de uma pasta que contenha uma subpasta work com permissão de escrita.

import numpy as np
from scipy import stats
import json, pathlib, io, matplotlib
matplotlib.use('Agg')
import matplotlib.pyplot as plt
D=np.loadtxt(io.StringIO('''60323 83.0 234289 2356 1590 107608 1947
61122 88.5 259426 2325 1456 108632 1948
60171 88.2 258054 3682 1616 109773 1949
61187 89.5 284599 3351 1650 110929 1950
63221 96.2 328975 2099 3099 112075 1951
63639 98.1 346999 1932 3594 113270 1952
64989 99.0 365385 1870 3547 115094 1953
63761 100.0 363112 3578 3350 116219 1954
66019 101.2 397469 2904 3048 117388 1955
67857 104.6 419180 2822 2857 118734 1956
68169 108.4 442769 2936 2798 120445 1957
66513 110.8 444546 4681 2637 121950 1958
68655 112.6 482704 3813 2552 123366 1959
69564 114.2 502601 3931 2514 125368 1960
69331 115.7 518173 4806 2572 127852 1961
70551 116.9 554894 4007 2827 130081 1962'''))
names=['GNP deflator','GNP','Unemployment','Armed forces','Population','Year']
y=D[:,0]; raw=D[:,1:]; Z=(raw-raw.mean(0))/raw.std(0)
X=np.column_stack([np.ones(len(y)),Z]); b=np.linalg.lstsq(X,y,rcond=None)[0]; e=y-X@b
pinv=np.linalg.pinv(X); bread=pinv@pinv.T; h=np.sum(X*pinv.T,axis=1)
se=np.sqrt(np.diag(bread)*(e@e)/9)
hc3=np.sqrt(np.diag((pinv*(e/(1-h))**2)@pinv.T))
vif=[]
for j in range(1,7):
 A=np.delete(X,j,axis=1); er=X[:,j]-A@np.linalg.lstsq(A,X[:,j],rcond=None)[0]
 vif.append(float((X[:,j]@X[:,j])/(er@er)))
simple=np.linalg.lstsq(np.column_stack([np.ones(16),raw[:,1]]),y,rcond=None)[0]
coef=b[1:]/raw.std(0); intercept=b[0]-coef@raw.mean(0)
r2=1-(e@e)/sum((y-y.mean())**2)
out={'r2':r2,'adj_r2':1-(1-r2)*15/9,'rmse_resid':np.sqrt(e@e/9),'dw':sum(np.diff(e)**2)/sum(e**2),'vif':vif,'coef':coef.tolist(),'intercept':intercept,'se':(se[1:]/raw.std(0)).tolist(),'hc3_se':(hc3[1:]/raw.std(0)).tolist(),'p':(2*stats.t.sf(abs(b[1:]/se[1:]),9)).tolist(),'simple_gnp':simple.tolist(),'simple_r2':float(np.corrcoef(raw[:,1],y)[0,1]**2)}
pathlib.Path('work/results.json').write_text(json.dumps(out,indent=2)); print(json.dumps(out,indent=2))
plt.rcParams.update({'font.family':'DejaVu Sans','font.size':12,'axes.spines.top':False,'axes.spines.right':False,'figure.facecolor':'#ffffff','axes.labelcolor':'#183544','text.color':'#183544'})
fig,ax=plt.subplots(figsize=(9,4.5)); ax.barh(names[::-1],np.array(vif)[::-1],color='#087f8c'); ax.set_xscale('log'); ax.axvline(10,color='#c25626',linestyle='--',label='VIF = 10 reference'); ax.set_xlabel('Variance inflation factor (logarithmic scale)'); ax.set_xlim(1,4000)
for i,v in enumerate(vif[::-1]): ax.text(v*1.12,i,f'{v:,.1f}',va='center')
ax.legend(loc='lower right');fig.tight_layout();fig.savefig('work/vif.svg');plt.close(fig)
fig,ax=plt.subplots(figsize=(9,4.2)); ratios=np.array([0,.25,.5,1,2,4]); actual=2/(1+ratios); ax.plot(ratios,actual,'o-',color='#087f8c',lw=3); ax.axhline(2,color='#c25626',ls='--',label='True slope = 2');ax.set(xlabel='Measurement-error variance / true-X variance',ylabel='Large-sample OLS slope',ylim=(0,2.3));ax.legend();ax.grid(alpha=.15);fig.tight_layout();fig.savefig('work/attenuation.svg');plt.close(fig)
assert abs(r2-.995479004577296)<1e-12
assert np.allclose(coef,[15.0618722713733,-.035819179292591,-2.02022980381683,-1.03322686717359,-.0511041056535807,1829.15146461355],rtol=1e-8)

As fotografias do capítulo fornecido estabelecem o tema e a estrutura dos quatro problemas. Este artigo desenvolve uma explicação original e utiliza fontes públicas vinculadas separadamente para verificação. Como as fotografias não mostram os dados bibliográficos completos, o artigo não inventa título, autor ou edição do livro.

Fontes e leituras complementares

Os links abaixo oferecem dados primários, documentação estatística oficial, material didático universitário e pesquisa. As citações também aparecem junto às explicações relevantes ao longo do artigo. Data de acesso: 28 de outubro de 2026.

1. NIST. Conjunto de dados Longley e descrição da referência numérica. https://www.itl.nist.gov/div898/strd/lls/data/Longley.shtml
2. NIST. Dados brutos Longley e estatísticas certificadas. https://www.itl.nist.gov/div898/strd/lls/data/LINKS/DATA/Longley.dat
3. NIST. Valores certificados para Longley. https://www.itl.nist.gov/div898/strd/lls/data/LINKS/v-Longley.shtml
4. statsmodels. Definições e origem das variáveis Longley. https://www.statsmodels.org/stable/datasets/generated/longley.html
5. Penn State. Multicolinearidade e outros problemas de regressão. https://online.stat.psu.edu/stat501/Lesson12
6. Penn State. Detecção de multicolinearidade por fatores de inflação da variância. https://online.stat.psu.edu/stat462/node/180/
7. NIST. Diagnósticos de regressão. https://itl.nist.gov/div898/software/dataplot/refman1/auxillar/regrdiag.htm
8. NIST. Regressão por mínimos quadrados ponderados. https://www.itl.nist.gov/div898/handbook/pmd/section1/pmd143.htm
9. statsmodels. Implementação dos testes de Breusch–Pagan e Koenker. https://www.statsmodels.org/stable/generated/statsmodels.stats.diagnostic.het_breuschpagan.html
10. statsmodels. Estatística de Durbin–Watson. https://www.statsmodels.org/stable/generated/statsmodels.stats.stattools.durbin_watson.html
11. statsmodels. Resultados com covariância robusta. https://www.statsmodels.org/stable/generated/statsmodels.regression.linear_model.OLSResults.get_robustcov_results.html
12. statsmodels. Testes estatísticos e estimadores de covariância. https://www.statsmodels.org/stable/stats.html
13. Hyndman, R. J., e Athanasopoulos, G. Forecasting: Principles and Practice, terceira edição, capítulo sobre regressão de séries temporais. https://otexts.com/fpp3/regression.html
14. Hausman, J. Mismeasured Variables in Econometric Analysis: Problems from the Right and Problems from the Left. Versão preliminar de janeiro de 2001, hospedada pelo MIT. Artigo de pesquisa do MIT (PDF)