Sondando os especialistas em sondagens: qual o grau de precisão e a utilidade das pesquisas hoje em dia?

Newsletter de Universia-Knowledge@Wharton,
Conecte-se à Internet, pegue o telefone ou o celular, abra o jornal ou ligue a televisão: não importa qual seja o meio de comunicação, as pesquisas e seus resultados estão por toda parte: 

“Nosso Relatório Especial de final de ano sobre o desempenho do segmento de Viagens Aéreas em 2007 propõe a você oito perguntas que avaliarão sua experiência no setor em 2007 em comparação com 2006...”

“23% dos entrevistados em uma pesquisa da CNN/Opinion Research Corporation divulgada na quinta-feira disseram que comparado com outros presidentes da história americana, Bush é o pior de todos...”

“Qual o seu carro favorito — Lamborghini, Lótus, Aston Martin, Massarati, Ferrari...?”

Quando Robert A. Stine, professor de Estatística da Wharton, analisou o exótico levantamento sobre marcas de carros que seu filho de 11 anos havia elaborado para uma disciplina da sexta série, as perguntas que lhe vieram à mente refletiam, sob vários aspectos, as principais preocupações que hoje rondam o setor de pesquisas: os levantamentos feitos são precisos? São científicos? Confiáveis? As perguntas podem ser manipuladas para que se obtenha uma resposta específica?

Stine disse então ao filho que a maior parte dos alunos que ele havia entrevistado simplesmente pegaram o primeiro nome da lista: Lamborghini. “Quando examinamos as estatísticas, perguntei-lhe se ele achava que as crianças que haviam respondido à pergunta que ele fizera sabiam o que era um Lamborghini. Ele acha que não”, diz Stine. “Foi então que sugeri a ele que fizesse uma pesquisa complementar. Ele mostraria uma foto de todos os carros da lista e pediria aos entrevistados que identificassem o seu favorito. Tudo indica que se você não for capaz de identificar o seu ‘favorito’, ele não será seu favorito de fato.”

Conforme Stine e seus colegas da Wharton puderam comprovar, os resultados das pesquisas políticas e de marketing — quer o público confie nos resultados, quer não — são influenciadas por diversos fatores, inclusive pela tecnologia de sondagem, a forma como a pergunta é redigida, a percepção de quem faz a pergunta, quando e como a amostra do levantamento é obtida, e quem concorda em participar da pesquisa (os entrevistados) e quem decide não participar (os que se recusam a ser entrevistados).

As mais e as menos confiáveis

Em se tratando de pesquisas, nem todas são iguais.

Quais as mais confiáveis? “As pesquisas feitas regularmente por empresas profissionais do setor e que fazem sempre a mesma pergunta — como, por exemplo, ‘Você pretende comprar um carro nos próximos três meses?’ — são cem por cento científicas e úteis”, diz J. Michael Steele, professor de Estatística da Wharton. “Embora não saibamos realmente o que a pessoa quer dizer quando diz ‘sim’, podemos pelo menos nos orientar pelo fato de que, no ano passado, 15% disseram ‘sim’ e, este ano, 5% .” A Gallup é um exemplo de empresa que se encaixa nesse perfil. Basta dizer que as pesquisas feitas pela empresa são consideradas um termômetro confiável da opinião pública.

E quanto às pesquisas com potencial de informação mas que, apesar disso, apresentam problemas de confiabilidade? Elas também estão por aí, diz Steele, e embora não façam sempre a mesma pergunta, baseiam-se em amostras confiáveis de probabilidade. Sua validade, diz ele, “depende inteiramente da habilidade com que se formula a pergunta. As empresas de marketing fazem isso para obter respostas honestas que utilizam comercialmente. Os políticos estão sempre em busca de respostas honestas, embora às vezes estejam atrás de notícias para plantar”.

O pior tipo de pesquisa, de acordo com os especialistas, é sem dúvida alguma a pesquisa de Internet ou pesquisas de revistas que servem apenas a quem tem interesses pessoais pelo assunto. “Esse tipo de pesquisa não tem utilidade alguma, a não ser proporcionar uma diversão ligeira”, diz Steele. “As pesquisas feitas pelas revistas em que se pede um retorno do leitor sobre ‘direito de escolha’ quase sempre retornam com toneladas de respostas de gente que milita em grupos de ‘direito á vida’. Não têm valor algum.” As pesquisas de Internet, acrescenta, “são uma verdadeira babel. Elas não trazem informação alguma, exceto quantas pessoas as responderam. Esse tipo de pesquisa funciona como meio de detectar temas ‘quentes’ em um público específico. Isso é bom para as revistas, mas é ruim para o leitor. A única coisa mais ou menos interessante é que elas acabam medindo o volume de respostas apaixonadas”.

Na comparação entre pesquisas de negócios e de marketing, estas últimas são realizadas, via de regra, com o objetivo de vender produtos, testar a receptividade do mercado e a opinião do consumidor, além de procurar identificar sua preferência. As pesquisas políticas, por sua vez, procuram geralmente aferir as preferências e as opiniões dos eleitores, buscando determinar também quais candidatos vencerão as eleições.

“As pesquisas de marketing têm objetivos próprios”, observa Richard Johnston, professor de Ciências Políticas e diretor de pesquisa de Estudos Eleitorais Nacionais da cátedra Annenberg da Universidade da Pensilvânia. “Esse tipo de pesquisa interessa-se menos ainda, do que as pesquisas políticas, pelo universo total da população. Ela está mais preocupada com a representação do quadro demográfico e busca aí o lucro. O público-alvo tende, por exemplo, a ser mais urbano e com grau de instrução maior. Creio que os profissionais de marketing utilizam com mais freqüência a Internet porque as amostras que o meio lhes proporciona interessam a seus objetivos.”

O impacto da tecnologia

Peter S. Fader, professor de Marketing da Wharton, acredita que “a atividade de sondagem, de modo geral, é hoje mais importante do que nunca”. No entanto, adverte que a tecnologia tem contribuído com um impacto negativo sobre o marketing de negócios. “A tecnologia tem contribuído negativamente para o desempenho do setor”, diz ele. “A facilidade com que se podem colher dados na Internet é fantástica — reduz custos e dá mais flexibilidade às perguntas e aos prazos —, mas torna as empresas mais desleixadas. Antigamente, era preciso testar diversas vezes a pesquisa para garantir que as perguntas estavam corretas. Agora, simplesmente se diz: ‘Bem, vamos tentar de novo.’ De modo geral, porém, os temas apresentados aos entrevistados —familiaridade, preferência, percepção, intenções, comportamento — são quase sempre os mesmos. Embora os métodos possam ter mudado, a intenção básica da pesquisa continua tão estável quanto qualquer outra coisa que encontramos no mercado.”

O custo da sondagem sempre teve papel de destaque nas técnicas de pesquisa. Com a introdução do telefone, os entrevistadores passaram a dar preferência às pesquisas por telefone em detrimento das entrevistas pessoais. De acordo com Johnston, os custos variam de 50 dólares por uma entrevista de 30 minutos a 1.000 dólares por uma entrevista pessoal. Hoje, porém, esse tipo de entrevista também tem seu lado negativo. “No caso das pesquisas por telefone, o maior problema é sem dúvida alguma o telemarketing”, diz Johnston. “Esse tipo de estratégia massacrou tanto as famílias que hoje é difícil conseguir a cooperação de um contingente maior delas. Os índices de respostas despencaram em todas as formas de pesquisa.”

Abraham J. Wyner, professor de Estatísticas da Wharton, observa que “embora o valor de uma boa resposta compense o custo incorrido”, é cada vez mais caro realizar uma boa pesquisa numa época em que “a população mostra-se indiferente”. As pesquisas telefônicas, por exemplo, estão entre as mais confiáveis em se tratando de modelos estatísticos e da obtenção de amostras científicas aleatórias. “Contudo, na era do identificador de chamada, muita gente prefere não atender o telefone se vê que o número chamado não coincide com seu código de área.”

Um estudo feito pelo Pew Research Center, em 2004, constatou que “na ocasião, em comparação com seis anos antes, um número cada vez maior de americanos recusava-se a participar de entrevistas telefônicas” devido ao grande número de chamadas não solicitadas e também porque os entrevistados em potencial “dispunham de uma tecnologia de filtragem de chamadas cada dia mais sofisticada”. Uma pesquisa rotineira que empregava técnicas consagradas utilizadas por empresas de sondagem de opinião tinha sucesso “em menos de três de cada dez lares”, o que representa um declínio de cerca de nove pontos percentuais em relação a fins da década de 1990, de acordo com o estudo.

A Associação Americana de Pesquisa de Opinião Pública, formada por profissionais dedicados a pesquisas de sondagem e de opinião pública, salienta que as pesquisas de sondagem normalmente feitas por intermédio de levantamentos de dados políticos e de marketing não aparecem no recente registro de “Ligação Interditada” criado pela Comissão Federal do Comércio (FTC, na sigla em inglês), em junho de 2003, para atender às exigências da Lei de Implementação de Ligação Interditada. A lei tornou ilegais as “ligações telefônicas de telemarketing para os consumidores com os quais não tenha sido acordado anteriormente um contrato de relações comerciais. A FTC isentou as sondagens e as pesquisas de opinião por se tratarem de elementos essenciais para a tomada e o monitoramento de decisões”.

Embora os entrevistadores sempre tenham deparado com pessoas que se recusam a responder perguntas depois que atendem o telefone, atualmente o profissional da área tem de lidar com o que Johnston chama de “recusa silenciosa” — comportamento que caracteriza o indivíduo que simplesmente se recusa a atender o telefone. Trata-se de um problema e tanto. “De modo geral, a disposição de atender o telefone é bastante independente em relação a outras características como, por exemplo, o interesse por política”, diz Johnston. “As pessoas que participam de sondagens políticas atualmente, se comparadas com o esse mesmo público de 40 anos atrás, pertencem a um estrato visivelmente mais interessado por essas questões. Naquela época, o número de pessoas apáticas ou que demonstravam pouco interesse pelo tema era maior do que hoje.”

Não se sabe ao certo, porém, que efeito a “recusa silenciosa” teria sobre a capacidade dos entrevistadores de colher amostras significativas de opinião. O Estudo da Pew, de 2004, constatou que embora as pesquisas enfrentem uma forte resistência e queda de participação, “as sondagens feitas com critério continuam a obter amostras significativas da opinião pública e geram informações precisas sobre o que pensam os americanos e que tipo de experiências eles têm tido [...] O declínio no número de participantes não comprometeu a validade da maior parte das pesquisas feitas por empresas de sondagem respeitadas”.

Telefone fixo x celular

Johnston, entretanto, se diz preocupado. “A questão da cobertura realmente deixa as pessoas inquietas”, diz ele. “Como é possível identificar a população de indivíduos que fornecerá a amostra desejada? O telefone tornou-se a tecnologia mais utilizada para a realização de entrevistas, já que as linhas fixas encontram-se disponíveis para praticamente 100% da população americana. Agora, porém, as coisas começam a caminhar na direção oposta. Existe uma relação entre juventude e acesso escasso às linhas fixas. Os entrevistadores estão tentando mensurar o que se perde quando se deixa de ligar para os aparelhos de celular. O que já se sabe? Em se tratando de sondagens políticas, não muito. Os usuários de celular que votam não diferem muito dos eleitores com acesso à linha fixa. O negócio de pesquisa telefônica depende desse último segmento, mas a preocupação é generalizada.”

Com relação ao uso do celular e aos resultados das sondagens, as pesquisas dão respaldo à afirmação de Johnston. Segundo Scott Keeter, diretor de pesquisa de levantamentos do Pew Research Center, cerca de 13% dos lares americanos estão fora do alcance da pesquisa telefônica tradicional porque possuem apenas celular e nenhuma linha fixa — um número que talvez chegue a 25% no final de 2008 “se o índice atual de aumento se mantiver”, observa Keeter em um relatório da Pew de 2007 intitulado “Usuários que não usam linha fixa são diferentes, e o seu número é cada vez maior.”

Por enquanto, diz Keeter no relatório, o impacto do fenômeno de utilização exclusiva do celular nos resultados das pesquisas foi surpreendentemente reduzido. Com base em quatro estudos realizados pela Pew, em 2006, em que a empresa comparava os entrevistados que utilizavam celulares com os usuários de linha fixa, Keeter diz que “nenhuma das medições apresentava variação de mais de 2 pontos percentuais no momento em que os usuários de celular entrevistados eram adicionados à amostra de usuários de linha fixa. Portanto, embora os usuários de celular entrevistados fossem diferentes sob vários aspectos críticos dos usuários de linha fixa, eles não constituíam contingente numeroso o bastante, nem tampouco diferente o suficiente no que diz respeito às perguntas que lhes eram feitas, de modo que pudessem produzir uma mudança significativa nas estimativas de levantamentos feitos junto à população como um todo no momento em que eram agregados às amostras do público de linha fixa e mensurados de acordo com os parâmetros do censo americano calcados em características demográficas”.

Não é ilegal fazer pesquisas por meio de telefone celular — é apenas mais difícil e mais caro do que as pesquisas feitas em aparelhos de linha fixa. A lei federal proíbe o uso de serviços automáticos de discagem nas chamadas para celulares, portanto todos os números de celular adicionados à pesquisa foram discados manualmente. Diz Keeter: “A filtragem necessária para que sejam entrevistados usuários exclusivos de aparelhos de telefonia celular nesse universo de telefonia móvel aumenta sobremaneira o esforço necessário para completar um certo número de entrevistas. A Pew calcula que uma entrevista feita com um usuário que só utilize o celular custa aproximadamente de quatro a cinco vezes mais do que uma entrevista feita com um usuário de linha fixa.”

A força do mercado de previsões

O público entrevistado e a tecnologia por ele utilizada vem passando por mudanças rápidas, e são esses dois elementos que fazem com que Justin Wolfers, professor de Negócios e de Políticas Públicas da Wharton, acredite na força dos mercados de previsões ou de apostas. Wolfers — que trabalha em parceria com vários sites de previsões como, por exemplo, o InTrade.com ou Tradesports.com, em que os participantes compram e vendem contratos baseados nos resultados do segmento esportivo e político — diz que os mercados de previsão são muito mais confiáveis do que as pesquisas, e por três motivos.

“Em primeiro lugar, porque ao forçar você a agir, deixa claro aquilo em que você acredita”, diz Wolfers em um estudo sobre precificação de riscos políticos nos mercados de previsão. “Em segundo lugar, os mercados propiciam oportunidades para aqueles que estejam dispostos a obter novas informações que ajudem a prever o futuro. E, por último, os mercados agregam as informações dispersas por diferentes negociadores.”

“Você não pergunta em quem o indivíduo vai votar, mas quem ele acha que vai ganhar”, diz Wolfers. “São notáveis as provas de que os mercados de previsão fornecem uma predição mais precisa do que as sondagens. Em média, a previsão final de uma sondagem da Gallup fica na faixa de 2,25 pontos percentuais, ao passo que a média dos mercados de previsão é de 1,5 ponto percentual.”

Wolfers ressalta que “a idéia de apostar nas eleições presidenciais não é totalmente nova. Apostar em eleições é uma prática centenária. Se lermos o New York Times da virada do século encontraremos lá o que hoje observamos nos mercados de previsões — chamados na época de ‘mercados de apostas’ — e não nas pesquisas, que ainda não haviam sido inventadas. Contudo, desde os anos 1940, as eleições são dominadas pelas pesquisas”.

Para Wolfers, “dentro de mais alguns anos e mais uns poucos ciclos eleitorais, voltaremos a monitorar os mercados políticos pelas lentes dos mercados de previsão, e não pelas pesquisas. O fato é que nas eleições, de algum tempo para cá, observamos comentaristas políticos se referindo cada vez mais à disputa eleitoral à luz dos mercados de previsão”.

Donald F. Kettl, diretor do Instituto de Governança Fels e professor de Ciência Política da Universidade da Pensilvânia, observa que a influência dos mercados de previsão e das pesquisas tradicionais já é bastante perceptível na corrida para 2008. “A primeira coisa que fica evidente são os temas mais comuns às disputas de hipódromo, e que são hoje mais pronunciados do que nunca. Não há ninguém na dianteira da corrida republicana, e as pesquisas continuam destacando o fato de que Hillary Clinton já tem como certa sua indicação pelos democratas. Por enquanto, as pesquisas continuam a desempenhar um papel de grande destaque no atual andamento das campanhas.”

Quando isso acontece no início da campanha, Kettl observa que esse quadro não muda apenas a percepção do público, mas também o grau de atenção que ele confere a esse tipo de questão. “As pessoas costumam prestar mais atenção quando a batalha é mais acirrada. Faz parte do jogo. Com isso, fica bem mais difícil para quem aparece no segundo, terceiro e quarto lugares entrar na disputa se, nesse meio tempo, a escolha parece já ter sido feita. É o que se vê na campanha de Barack Obama. É difícil para ele romper as barreiras e se firmar como forte candidato em todo o país, porque Hillary Clinton domina as pesquisas já há bastante tempo [...] Temos aí o que se convencionou chamar de feedback loop — isto é, um artifício que mede rapidamente o pulso dos candidatos e do público, em que a percepção se torna realidade e a realidade se torna percepção.”

Kettl concorda com outros especialistas e acha que, em relação a 2008, “será cada vez mais difícil fazer uma boa pesquisa. Não será fácil vislumbrar um meio que permita captar a opinião de todos. A principal dificuldade em obter uma boa amostra aleatória da população para estimar o que deverá acontecer quando as pessoas se apresentarem de fato para votar é ainda mais difícil. São problemas desse tipo, cada vez mais complicados, que estão tirando o sono das empresas de pesquisas.”

Kettl prevê que essas empresas terão, no fim das contas, de recorrer a sondagens por meio da Internet e do telefone. “Creio que nos próximos 18 meses, as empresas se empenharão em redefinir os atuais métodos e processos e encontrarão um meio de decifrar a charada em que estão metidas. O segredo é descobrir quem deverá aparecer para votar. É isso que separa a boa da má pesquisa.”

Johnston concorda. “Embora muitos achem a idéia irritante, o futuro da pesquisa séria talvez esteja na Internet”, diz ele. “Com o estudo de 2008 [da Annenberg sobre as eleições], queremos realizar algumas comparações controladas entre a Internet e o telefone.”

Fabricando salsicha

“Podemos confiar nas pesquisas?”, indaga Stine. Para ele, a questão é muito complexa. “Como saber? Confiar nelas baseado em quê? Para entender o que o país pensa? Não sei. Isso me lembra os comentaristas de TV explicando por que o mercado melhorou ou piorou. Hoje, é possível explicar por que ele não esteve bem ontem. Agora, se essa explicação é verdadeira ou não, isso já é uma questão mais sutil.”

Steele se diz igualmente cético. O que ele acha, enfim, das pesquisas? “Recuso-me a participar de todas. Digo aos entrevistadores que sou estatístico. As pesquisas interferem na elaboração das políticas? Mas quem é que sabe como elas são efetivamente feitas. Disseram-me que o processo lembra muito uma fábrica de salsichas. O que se deve levar em conta, no caso das pesquisas, é a tendência de confirmação, que é basicamente a busca de provas para aquelas coisas nas quais já acreditamos. Se dissessem a você, quando era criança, que ‘os gnomos são responsáveis pela chuva, disso se seguiria que toda vez que chovesse estaria confirmada a existência dos gnomos.’ Em última análise, todos nós temos um conjunto de opiniões, e a partir do momento que tomamos consciência disso, procuramos outros indícios que as reforcem.”

Curta o Administradores.com no Facebook
Acompanhe o Administradores no Twitter
Receba Grátis a Newsletter do Administradores

Tags: internet pesquisa