Mitos de Homicídios e Regressão Múltipla

Por Ted Goertzel

Universidade Rutgers, Camden NJ 08102

Se quiser ter acesso uma versão maior e mais técnica deste artigo, em formato Word, clique aqui.

Acredita que a execução de um prisioneiro nos Estados Unidos tem um efeito dissuasor sobre oito potenciais assassinatos no futuro? Acredita que um aumento de 1% no número de cidadãos com licença de porte de arma provoca uma redução de 3.3% na taxa de homicídios do respetivo estado? Acredita que a diminuição entre 10 a 20% na taxa de criminalidade nos anos 90 foi provocada por um aumento no número de abortos nos anos 70?Ou que a taxa de homicídios teria aumentado 250% desde 1974 se os Estados Unidos não tivessem construído tantas prisões novas?

Se se deixou enganar por qualquer um destes estudos, é provável que tenha caído no engodo de uma forma nociva de junk science: a utilização de modelos matemáticos, sem capacidade preditiva comprovada, para chegar a conclusões relacionadas com medidas políticas. Estes estudos são impressionantes quando analisados de forma superficial. Concebidos por reputados cientistas sociais, membros de instituições prestigiadas, surgem com frequência em publicações científicas, devidamente avaliados por pares. Repletos de complexos cálculos estatísticos, apresentam “fatos” numéricos exatos, que podem ser utilizados como armas de arremesso em discussões políticas.Mas estes “fatos” são fugazes. Quando a tinta de um estudo ainda está a secar, temos já outro acabado de sair, com “fatos” diametralmente opostos.Apesar da aparência científica, estes modelos não respeitam os critérios fundamentais para um modelo matemático útil: a capacidade de fazer previsões melhores do que a pura aleatoriedade.

Apesar de os economistas serem os líderes nesta arte arcaica, sociólogos, criminologistas e outros cientistas sociais têm também as suas próprias versões. É algo que assume várias designações, incluindo “modelagem econométrica”, “modelagem de equações estruturais” e “análise de caminhos”. Todas recorrem a correlações entre variáveis para fazer inferências causais.O problema deste exercício, prontamente identificado por qualquer pessoa com um curso de estatística, é que correlação não implica causalidade.Correlações entre duas variáveis são muitas vezes “espúrias”, pois são causadas por uma terceira variável.Os modeladores econométricos tentam contornar o problema ao incluir nas suas análises todas as variáveis relevantes, recorrendo a uma técnica estatística designada por “regressão múltipla”.Se tivéssemos as medidas perfeitas para todas as variáveis causais, ela funcionaria.Mas os dados nunca são suficientemente bons. Várias tentativas de utilizar a regressão múltipla, com o intento de chegar a respostas definitivas para questões relacionadas política pública, falharam.

Mas muitos cientistas sociais recusam-se a admitir o seu fracasso. Investiram anos na aprendizagem e ensino de modelagem de regressão, e continuam a utilizar a regressão para estabelecer argumentos causais que não encontram justificação nos dados. Classifico estes argumentos como mitos de regressão múltipla, e gostaria de exemplificar utilizando quatro estudos sobre taxas de homicídio.

Mito Um: Mais Armas, Menos Crime.

John Lott, economista da Universidade de Yale, utilizou um modelo econométrico para defender a ideia de que “permitir aos cidadãos o porte de arma tem um efeito dissuasor sobre crimes violentos, sem que haja um aumento das mortes por acidente”.A análise de Lott englobou leis “shall issue”, que exigem às autoridades locais emitirem uma licença de porte de arma para qualquer cidadão cumpridor da lei que requeira uma.Lott estimou que cada crescimento de um por cento na posse de arma de uma população provoca uma diminuição de 3.3% nas taxas de homicídio.Lott e seu coautor David Mustard publicaram na internet a primeira versão do seu estudo 1997 e dezenas de milhares de pessoas fizeram o seu download. O tema discutiu-se em fóruns de política, colunas de jornais e debates particularmente sofisticados na World Wide Web. Num livro sardonicamente intitulado More Guns, Less Crime (em português: Mais Armas, Menos Crime) Lott provocou os seus críticos, acusando-os de sobrepor a ideologia à ciência.

O trabalho de Lott é um exemplo de superioridade estatística. O autor possui mais dados e uma análise mais complexa do que qualquer outra pessoa dedicada ao estudo. Qualquer pessoa que pretenda refutá-lo, vê-se obrigada a submergir num complexo debate estatístico, baseado em cálculos tão árduos que não podem ser executados por computadores comuns. Lott desafia qualquer voz discordante a fazer o download do seu conjunto de dados e a refazer seus cálculos, mas a maioria dos cientistas sociais não considera útil replicar estudos através de métodos que falharam repetidamente.A maioria dos investigadores que se dedica ao tema da posse de arma simplesmente ignorou as alegações de Lott e Mustard, dando continuidade ao seu trabalho.Dois investigadores conceituados na área da justiça criminal, Frank Zimring e Gordon Hawkins (1997), escreveram um artigo, onde explicam que:

à semelhança dos senhores Lott e Mustard, que, através de modelo dos determinantes do homicídio, produziram resíduos estatísticos indicando que as leis “shall issue” reduzem o homicídio, aguardamos agora que um econometrista convicto possa elaborar um tratamento desses mesmos períodos históricos, com modelos diferentes e efeitos opostos.A modelagem econométrica é uma faca de dois gumes, no que diz respeito à sua capacidade de simplificar descobertas estatísticas para acalentar os espíritos dos verdadeiros crentes em qualquer movimento.

Zimring e Hawkins tinham razão. No espaço de um ano, dois econometristas convictos, Dan Black e Daniel Nagin (1998), publicaram um estudo onde provaram que bastava alterar ligeiramente o modelo estatístico, ou aplicá-lo a diferentes segmentos de dados, para fazer desaparecer os achados de Lott e Mustard.Black e Nagin descobriram que, quando a Flórida foi retirada da amostra, não houve “qualquer impacto detetável das leis de direito de porte de arma sobre a taxa de assassinato e violação”.Concluíram que “a inferência baseada no modelo de Lott e Mustard é desajustada, e os seus resultados não podem ser responsavelmente utilizados para alinhavar políticas públicas.”

Porém, John Lott contestou esta análise e continuou a promover os seus resultados.Lott recolheu dados para cada um dos condados americanos, distribuídos anualmente entre 1977 a 1992. O problema é que os condados americanos apresentam enormes disparidades em tamanho e caraterísticas sociais.Alguns de maiores dimensões, englobando grandes cidades, representam uma percentagem bastante grande de assassinatos nos Estados Unidos. Contudo, nenhum destes condados de grandes dimensões têm leis de controlo de armas “shall issue”. Ou seja, o enorme conjunto de dados de Lott mostrava-se desajustado em relação à sua tarefa. Não apresentava qualquer variação na sua principal variável causal – leis “shall issue” – nos locais onde havia ocorrido o maior número de assassinatos.

Ele não fez menção a esta limitação no seu livro ou artigos.Quando descobri a ausência de leis “shall issue” nas maiores cidades no meu próprio exame aos dados, perguntei-lhe sobre tal fato.Ele encolheu os ombros, dizendo que na sua análise havia feito o “controlo” do tamanho da população.Mas a introdução de um controlo estatístico na análise matemática não compensou o fato de ele simplesmente não ter incluído os dados para as grandes cidades, onde o problema do homicídio era mais grave.

Demorei algum tempo para identificar este problema nos seus dados, pois não conhecia com profundidade o problema do controlo de armas.Mas Zimring e Hawkins abordaram de pronto essa questão, pois sabiam que as leis “shall issue” tinham sido instituídas nos estados em que a National Rifle Association detém maior poder, maioritariamente no sul, no oeste e nas regiões rurais do país.Estes eram estados que tinham já algumas restrições relacionadas com armas. Notaram que esta história legislativa frustra a “nossa capacidade de comparar tendências em estados ‘shall issue’ com tendências registadas nos demais estados. Pois os estados que alteraram a legislação são diferentes dos estados que não fizeram qualquer alteração, no que diz respeito à localização e constituição, como tal as comparações entre categorias subjetivas correrão sempre o risco de confundir influências demográficas e regionais com o impacto comportamental de diferentes regimes jurídicos.” Zimring e Hawkins observaram também que:

Lott e Mustard têm, obviamente, conhecimento deste problema. A sua solução, uma técnica econométrica comum, passa por construir um modelo estatístico capaz de controlar todas as diferenças entre Idaho e Nova Iorque, que influenciam as taxas de homicídio e crime, para além das leis “shall issue”.Se alguém for capaz de “especificar” as principais influências sobre homicídio, violação, furto e roubo de automóveis no nosso modelo, poderemos eliminar a influência desses mesmos fatores nas diferentes tendências.Lott e Mostard fazem modelos que estimam os efeitos dos dados demográficos, dados económicos e punições criminais de várias ofensas à lei. Estes modelos são o melhor exemplo de uma estatística encomendada, pois são criados para os dados definidos pelos autores, e testados apenas nos dados que serão utilizados na avaliação dos impactos do direito ao porte de arma.

Lott e a Mustard compararam tendências em Idaho e West Virginia e Mississippi com tendências em Washington, D.C. e cidade de Nova Iorque. Na verdade, aquilo que aconteceu foi uma explosão de homicídios relacionados com o consumo de crack nas principais cidades do leste nos anos 80 e início dos anos 90. Todo o argumento de Lott passou a resumir-se à reivindicação de que os estados “shall issue” do oeste, maioritariamente rurais, haviam sido poupados aos homicídios relacionados com a epidemia de crack devido às leis “shall issue”. Isto jamais teria sido levado seriamente se não tivesse sido escondido atrás de um labirinto de equações.

Mito Dois: Prender Mais Pessoas Diminui a Criminalidade

O caso de Lott e Mostard foi excecional não apenas pela atenção pública que recebeu.É bastante comum, até mesmo típico, que estudos rivais sejam publicados, recorrendo a métodos econométricos para chegar a conclusões opostas sobre a mesma questão. Na maioria das situações, não existe nada comprovadamente errado com as análises. Simplesmente utilizam conjuntos de dados ligeiramente diferentes ou técnicas distintas para chegar a resultados diferentes. Dá a sensação de que os modeladores de regressão podem chegar a qualquer resultado pretendido, sem nunca violarem as regras da análise de regressão. Numa afirmação excecionalmente honesta, alimentada pela frustração, dois criminologistas imensamente respeitados, Thomas Marvell e Carlisle Moody (1997: 221), relataram terem recebido um estudo sobre o efeito da prisão nas taxas de homicídio. Relataram que eles:

divulgaram amplamente os [seus] resultados, juntamente com os dados utilizados, junto de colegas especializados em análise quantitativa.A resposta mais frequente é que eles se recusam a acreditar nos resultados, independentemente da qualidade da análise estatística.Por trás dessa afirmação está a ideia, muitas vezes informalmente discutida, mas raramente publicada, de que os cientistas sociais podem chegar a qualquer resultado desejado, manipulando os procedimentos utilizados.De fato, as várias estimativas sobre o impacto das populações prisionais são consideradas como uma boa evidência da maleabilidade da investigação.A implicação, mesmo entre aqueles que publicam regularmente estudos quantitativos, é que, independentemente da qualidade da análise, os resultados não são credíveis a menos que estejam alinhados com as expetativas anteriores.Uma disciplina investigatória não consegue alcançar o sucesso nessa estrutura.

Reconhecendo-lhes o mérito por tal, Marvell e Moody admitiram abertamente os problemas da regressão múltipla e fizeram algumas sugestões de melhoria.Infelizmente, outros econometristas ficam tão presos aos seus modelos que perdem a noção da sua arbitrariedade.Passam a acreditar que os seus modelos são mais reais, mais válidos do que a realidade confusa, questionável, “descontrolada” que pretendem explicar.

Mito Três: Executar Pessoas Diminui a Criminalidade

Em 1975, a American Economic Review publicou um artigo de um renomado economista, Isaac Ehrlich da Universidade do Michigan, o qual estimou que cada execução tinha como reflexo o desencorajamento de oito homicídios. Ainda antes de Ehrlich, o especialista mais conhecido no tema da eficácia da pena de morte era Thorsten Sellen, o qual usara um método de análise bastante mais simples.Sellen elaborou gráficos, comparando tendências em diferentes estados. Encontrou pouca ou nenhuma diferença entre os estados com ou sem pena de morte, concluindo por isso que a pena de morte não fazia diferença.Ehrlich, num ato de superioridade estatística, afirmou que a sua análise era mais válida, pois controlava todos os fatores que influenciam as taxas de homicídio.

Mesmo antes de ser publicado, o trabalho de Ehrlich foi citado pelo Procurador-Geral dos Estados Unidos num resumo amicus curiae apresentado ao Supremo Tribunal dos Estados Unidos em defesa da pena de morte.Felizmente, o Tribunal decidiu não basear a sua decisão nas provas de Ehrlich, pois estas não haviam sido confirmadas por outros investigadores.Foi uma atitude sensata porque, num período de um a dois anos, outros investigadores publicaram análises econométricas igualmente sofisticadas, mostrando que a pena de morte não tinha efeito qualquer dissuasivo.

A controvérsia relacionada com o trabalho de Ehrlich foi tão grande que o Conselho Nacional de Investigação reuniu um painel composto por especialistas conceituados para analisá-lo. Após uma revisão particularmente minuciosa, o painel decidiu que o problema não tinha apenas que ver com o modelo de Ehrlich, mas com a ideia de utilizar métodos econométricos para resolver controvérsias sobre políticas de justiça criminal.Eles (Manski, 1978: 422) concluíram que:

tendo em conta que os dados disponíveis para a análise têm limitações, e considerando que o comportamento criminoso pode ser altamente complexo, não é de esperar o emergir de um estudo comportamental cujo objetivo seja colocar um ponto final em toda a controvérsia relacionada com os efeitos comportamentais das políticas de dissuasão.

A maioria dos especialistas acredita agora que Sellen tinha razão, quando afirmou que a pena capital não tem um efeito demonstrável sobre as taxas de homicídio. Mas Ehrlich não ficou convencido. Atualmente, apenas ele acredita na validade de seu modelo. Numa entrevista recente (Bonner e Fessendren, 2000), insistiu que “se variações como desemprego, desigualdade de rendimento, probabilidade de captura e predisposição para utilizar a pena de morte forem tidas em conta, a pena de morte revela um efeito dissuasivo significativo.”

Mito Quatro: A Legalização do Aborto Provocou uma Queda na Criminalidade nos anos 90.

Em 1999, John Donohue e Steven Levitt publicaram um estudo com uma nova explicação para a queda acentuada nas taxas de homicídio nos anos 90. Defenderam que a legalização do aborto por parte do Supremo Tribunal dos Estados Unidos em 1973 despoletou uma queda no nascimento de crianças indesejadas, muitas das quais teriam sido criminosas.O problema com este argumento é que a legalização do aborto foi um singular acontecimento histórico e acontecimentos singulares não facultam dados suficientes para uma análise de regressão válida.É verdade que o aborto foi legalizado mais cedo em alguns estados do que outros, e Donohue e Levitt utilizam esse fator.Mas todos estes estados passaram pelos mesmos processos históricos e, no mesmo período, muitos outros acontecimentos tiveram influência sobre as taxas de homicídio.Uma análise de regressão válida teria de agregar esses elementos e testá-los segundo uma ampla variação.Os dados existentes não o permitem, como tal os resultados de uma análise de regressão variarão dependendo dos dados selecionados para análise.

Neste caso, Donohue e Levitt optaram por se concentrar na mudança ao longo de um período de doze anos, ignorando as flutuações que aconteceram nesse período.Ao fazê-lo, como James Fox (2000: 303) indicou, “perderam a maioria das alterações na criminalidade durante esse período – a tendência ascendente durante a era do crack no final dos anos 1980 e a queda corretiva nos anos pós-crack. É como estudar os efeitos das fases da lua nas marés oceânicas, utilizando somente os dados para os períodos de maré baixa.”

Quando escrevi este artigo, incluí uma frase que dizia “em breve, outro analista de regressão irá provavelmente reanalisar os mesmos dados e chegar a conclusões diferentes.” Poucos dias depois, a minha mulher trouxe-me uma reportagem sobre esse estudo.O autor era precisamente John Lott, de Yale, juntamente com John Whitley, da Universidade de Adelaide.Eles utilizaram os mesmos números e concluíram que “a legalização do aborto aumentou as taxas de homicídio entre 0.5 a 7 porcento “(Lott e Whitely, 2001).

Qual a razão para resultados tão distintos?Cada grupo de autores optou simplesmente por uma forma diferente de modelar um conjunto inadequado de dados.A econometria não pode estabelecer uma lei geral válida com base no acontecimento histórico de que o aborto foi legalizado na década de 1970 e que o crime foi cometido na década de 1990. No mínimo, precisamos de algumas dezenas de experiências históricas para fazer um teste estatisticamente válido.

Conclusões

Na modelagem estatística, a previsão é o teste de fogo.A previsão não necessita de ser perfeita.Se um modelo for capaz de fazer uma previsão significativamente melhor do que a pura adivinhação, já será útil.Por exemplo, se um modelo conseguisse prever os preços das ações, mesmo que de forma apenas ligeiramente superior à adivinhação, os proprietários desse modelo tornar-se-iam imensamente ricos.Por essa razão, os testes e avaliações de modelos de preços de ações têm sido alvo de grandes investimentos.

Infelizmente, os investigadores que utilizam técnicas econométricas para avaliar políticas sociais raramente submetem os seus modelos a testes preditivos. A sua justificação é que se trata de um processo moroso e os resultados demoram bastante até serem conhecidos. É impossível obter dados novos sobre pobreza, aborto ou homicídio minuto a minuto, ao contrário do que acontece com os preços de ações.Mas os investigadores podem utilizar outros métodos para fazer testes preditivos. Podem desenvolver um modelo recorrendo aos dados de uma jurisdição ou a um período temporal específico, usando esse elemento para prever dados de outras épocas ou lugares.Mas a maioria dos investigadores ignora este passo ou, então, quando o fazem, os resultados nunca são publicados.

As publicações científicas que publicam estudos econométricos relacionados com políticas públicas não exigem por norma testes preditivos, revelando as baixas expetativas de editores e revisores em relação às suas áreas. Assim, os investigadores pegam em dados de um determinado período temporal inamovível, fazendo uma série de ajustes até que, através do seu modelo, possam “explicar” as tendências que já aconteceram.Existem sempre várias formas de fazê-lo e, com computadores modernos, não é particularmente difícil fazer uma busca contínua até encontrar algo que encaixe. Quando isso acontece, o investigador para, anota os achados e envia o documento para publicação.Posteriormente, outro investigador poderá ajustar o modelo para chegar a um resultado diferente. Isto preenche as páginas de publicações académicas e todos fingem não perceber que pouco ou nenhum progresso está a ser levado a cabo. Atualmente, não estamos mais perto de ter um modelo econométrico válido sobre as taxas de homicídio do que quando Isaac Ehrlich publicou o primeiro modelo em 1975.

A comunidade científica não possui procedimentos corretos para reconhecer o fracasso de um método de investigação amplamente utilizado.Os métodos enraizados em programas de pós-graduação nas principais universidades, divulgados também em publicações prestigiadas, tendem a ser perpetuados. São muitos os leigos que acreditam na validade de um estudo apenas por este ter sido divulgado numa publicação revista por pares.Os casos que analisámos mostram que esse nem sempre é o caso.A revisão por pares garante que foram seguidas as práticas estabelecidas, mas tal não é particularmente útil quando essas práticas estão intrinsecamente erradas.

Em 1991, David Freedman, um renomado sociólogo da Universidade da Califórnia em Berkeley, e autor de livros didáticos dedicados a métodos quantitativos de investigação, fez tremer os alicerces do modelo de regressão quando afirmou com toda a honestidade “não acho que a regressão possa assumir grande parte do ónus numa discussão causal. Nem as equações de regressão, por si só, são especialmente úteis no controlo de variáveis confusas” (Freedman, 1991: 292). O artigo de Freedman provocou fortes reações. Richard Berk (1991: 315) notou que o argumento de Freedman “será muito difícil de aceitar pela maioria dos sociólogos quantitativos. Atinge o ponto nevrálgico do seu empreendimento empírico e, ao fazê-lo, coloca carreiras profissionais em perigo.”

Confrontados com críticos que pretende alguma prova da sua capacidade de prever tendências, os modeladores de regressão muitas vezes recorrem à superioridade estatística. Complexificam os argumentos de tal forma que apenas outros analistas de regressão altamente qualificados podem entendê-los, quanto mais refutá-los. Esta técnica funciona muitas vezes. Os potenciais críticos acabam por desistir consumidos pela frustração. David Bolt do Philadelphia Inquirer (1999), após ouvir as postulações de John Lott sobre porte de arma taxas de homicídio, e verificá-las junto de outros especialistas, lamentou que “tentar resolver os argumentos académicos é quase uma missão para tolos. Podemos acabar por nos afundar em discussões sobre o t estatístico, variáveis artificiais e métodos de análise de dados ‘Poisson’ vs. ‘mínimos quadrados’.

Boldt estava correto na sua crença de que estava a mergulhar numa missão para tolos. De fato, não existem descobertas importantes em sociologia ou criminologia que não possam ser comunicadas a jornalistas e legisladores sem qualificações em econometria. Chegou o momento de admitir que o rei vai nu. Quando confrontados com um modelo econométrico, os consumidores devem insistir em provas de que este pode prever tendências em dados diferentes dos dados utilizados para criá-lo.Os modelos que reprovarem neste teste são junk science, independentemente da complexidade da análise.

REFERÊNCIAS

Berk, Richard.A. 1991. Toward a methodology for mere mortals," Sociological Methodology 21: 315-324.

Boldt, David. 1999. "Study evidence on guns," Philadelphia Inquirer, December 14. Downloaded on May17, 2000 from:

http://www.phillynews.com/inquirer/99/Dec/14/opinion/BOLDT14.htm.

Black, Dan. and Daniel Nagin 1998. Do right-to-carry laws deter violent crime? Journal of Legal Studies 27: 209-219.

Bonner, Raymond and Ford Fessendren. 2000. States with no death penalty share lower homicide rates," New York Times, September 22. Downloaded from:

http://www.nytimes.com/2000/09/22/national/22DEAT.html.

Donohue, John and Steven Levitt. 1999. Legalized Abortion and Crime. Stanford University Law School. Downloaded in August, 2000 from:

http://papers.ssrn.com/paper.taf?ABSTRACT_ID=174508.

Fox, James. 2000. Demographics and U.S. homicide, In A. Blumstein and J. Wallman (eds.), The Crime Drop in America, Cambridge University Press, New York, pp. 288-317.

Freedman, David 1991. Statistical models and shoe   leather. Sociological Methodology 21: 291-313.

Lott, John. 2000. More Guns, Less Crime: Understanding Crime and Gun Control Laws. University of Chicago Press, second edition with additional analyses.

Lott, John. and John Whitley. 2001. Abortion and crime: Unwanted children and out-of-wedlock births," Yale Law & Economics Research Paper No. 254.                                                                                                                                                                                                                              

Downloaded on July 9, 2001 from: http://papers.ssrn.com/sol3/papers.cfm?abstract_id=270126.

Marvell, Thomas and Carlisle Moody, C. 1997. The impact of prison growth on homicide. Homicide Studies 1: 205-233.

Zimring, Frank and Gordon Hawkins. 1997. Concealed handguns: the counterfeit deterrent, The Responsive Community 7: 46-60.

 

Translated by Rutherd Barn
Read the original page here.