Pesquisa de Levantamento (Métodos de Pesquisa)

Table of contents :
Capa
......Page 1
Ficha catalográfica
......Page 2
Folha de rosto
......Page 3
Créditos
......Page 4
Sumário......Page 5
Prefácio......Page 7
Capítulo 1 | Introdução......Page 11
Capítulo 2 | Tipos de erros em levantamentos......Page 22
Capítulo 3 | Amostragem
......Page 30
Capítulo 4 | Ausência de resposta: implementando um projeto de amostra......Page 64
Capítulo 5 | Método de coleta de dados......Page 87
Capítulo 6 | Formulando questões para que sejam boas medidas......Page 108
Capítulo 7 | Avaliando questões e instrumentos de levantamento......Page 140
Capítulo 8 | Entrevista de levantamento......Page 155
Capítulo 9 | Preparando os dados do levantamento para análise......Page 177
Capítulo 10 | Analisando os dados do levantamento......Page 188
Capítulo 11 | Problemas éticos em pesquisas de levantamento......Page 196
Capítulo 12 | Fornecendo informações sobre os métodos de levantamento......Page 204
Capítulo 13 | Erros de levantamento em perspectiva......Page 209
Referências......Page 217
Índice onomástico......Page 225
Índice remissivo......Page 229

Citation preview

4ª edição

Pesquisa de levantamento Floyd J. Fowler Jr.

Sobre o Autor Floyd J. Fowler, Jr., é graduado pela Wesleyan University e PhD pela University of Michigan em 1966. É Senior Research Fellow do Center for Survey Research da University of Massachusetts Boston desde 1971. Foi diretor do Center por 14 anos. Dr. Fowler é o autor (ou coautor) de quatro livros-texto sobre pesquisa de levantamento, bem como de inúmeros trabalhos de pesquisa e monografias. Seu recente trabalho se focou nos estudos da formulação de questões e nas técnicas de avaliação da pesquisa de métodos de levantamento aos estudos de tratamentos médicos.

F785p

Fowler, Floyd J., Jr. Pesquisa de levantamento [recurso eletrônico] / Floyd J. Fowler, Jr. ; tradução: Rafael Padilha Ferreira ; revisão técnica: Dirceu da Silva. – 4. ed. – Dados eletrônicos. – Porto Alegre : Penso, 2011. Editado também como livro impresso em 2011. ISBN 978-85-63899-20-0

1. Pesquisa científica – Métodos de pesquisa. I. Título. CDU 001.891 Catalogação na publicação: Ana Paula M. Magnus – CRB 10/2052

Floyd J. Fowler, Jr. University of Massachusetts Boston

Pesquisa de levantamento

Tradução: Rafael Padilha Ferreira Consultoria, supervisão e revisão técnica desta obra: Dirceu da Silva Doutor em Educação pela Universidade de São Paulo. Professor na Universidade Estadual de Campinas.

Versão impressa desta obra: 2011

2011

Obra originalmente publicada sob o título Survey Research Methods, 4th Edition. ISBN 978-1-4129-5841-7 © 2009, Sage Publications, Inc. Sage Publications are the original publishers in the United States, London and New Delhi. Sage Publications são editores do título original. This translation is published by arrangement with Sage Publications. Tradução autorizada por acordo firmado com Sage Publications.

Capa: Paola Manica Leitura final: Marcos Vinícius Martim da Silva Editora sênior – Ciências Humanas: Mônica Ballejo Canto Editora responsável por esta obra: Carla Rosa Araujo Editoração eletrônica: Formato Artes Gráficas

Reservados todos os direitos de publicação, em língua portuguesa, à ARTMED® EDITORA S.A. Av. Jerônimo de Ornelas, 670 – Santana 90040-340 Porto Alegre RS Fone (51) 3027-7000 Fax (51) 3027-7070 É proibida a duplicação ou reprodução deste volume, no todo ou em parte, sob quaisquer formas ou por quaisquer meios (eletrônico, mecânico, gravação, fotocópia, distribuição na Web e outros), sem permissão expressa da Editora. SÃO PAULO Av. Embaixador Macedo Soares, 10.735 – Pavilhão 5 – Cond. Espace Center Vila Anastácio 05095-035 São Paulo SP Fone (11) 3665-1100 Fax (11) 3667-1333 SAC 0800 703-3444 IMPRESSO NO BRASIL PRINTED IN BRAZIL

Sumário

Prefácio...................................................................................................

7

1 Introdução.......................................................................................... 11 2 Tipos de erros em levantamentos..................................................... 22 3 Amostragem...................................................................................... 30 4 Ausência de resposta: implementando um projeto de amostra...... 64 5 Método de coleta de dados.............................................................. 87 6 Formulando questões para que sejam boas medidas..................... 108 7 Avaliando questões e instrumentos de levantamento...................... 140 8 Entrevista de levantamento............................................................... 155 9 Preparando os dados do levantamento para análise....................... 177 10 Analisando os dados do levantamento............................................. 188 11 Problemas éticos em pesquisas de levantamento........................... 196 12 Fornecendo informações sobre os métodos de levantamento........ 204 13 Erros de levantamento em perspectiva............................................ 209 Referências............................................................................................. 217 Índice onomástico.................................................................................. 225 Índice remissivo..................................................................................... 228

Prefácio

O objetivo desta quarta edição de Pesquisa de levantamento, bem como de seus predecessores, é produzir um resumo dos conceitos básicos e do conhecimento atual acerca da fonte dos erros em levantamentos para aquelas pessoas que não são profissionais da estatística ou da metodologia. Os levantamentos são fundamentalmente o fato de perguntar a uma amostra de pessoas de uma população um conjunto de perguntas e usar as respostas para descrever tal população. Aspectos tais como a seleção de amostras, as perguntas elaboradas e os procedimentos utilizados para coletar os dados têm o potencial de afetar a probabilidade de o estudo atingir seus objetivos. Se alguém se encarregar de um levantamento ou usar dados coletados por terceiros, é importante entender essas questões e como elas afetam os resultados da pesquisa. Os leitores irão compreender isso quando terminarem a leitura deste livro. Esforços consideráveis foram feitos para tornar esta obra acessível ao público geral. Apesar de a familiaridade com pesquisa em ciência social e com conceitos de estatística ser algo importante, nenhum conhecimento especial deve ser necessário para compreender o material contido neste livro. Esta obra também foi concebida para ser comparativamente breve. Escolhas foram feitas acerca do nível de profundidade dada aos vários tópicos. Por todo o livro há sugestões de leituras complementares para aqueles interessados em ir além do nível introdutório.

8 Floyd J. Fowler Jr.

NOVIDADES DA QUARTA EDIÇÃO Esta edição contém dois novos capítulos que não estavam nas edições anteriores. Erros em levantamentos são potencialmente confusos porque há, pelo menos, quatro tipos diferentes destes e a metodologia de pesquisa usada para minimizá-los. Quando eu ensinava metodologia de pesquisa, normalmente dedicava uma aula exclusiva para o tópico sobre a natureza dos erros. Nas edições anteriores, tais conceitos eram distribuídos pelo livro de acordo com sua relevância. O novo Capítulo 2, “Tipos de erro em levantamentos”, introduz esses conceitos agora. De forma parecida, as implicações do projeto da amostra e da ausência de resposta para a análise dos dados da pesquisa foram discutidas de acordo com sua relevância ao longo das primeiras edições. Uma vez que essas questões normalmente são abordadas depois que os dados foram coletados, o novo Capítulo 10, “Analisando os dados do levantamento”, concentra a discussão de como abordar essas questões durante a análise, depois que todos os tópicos sobre coleta de dados foram abordados. Nos seis anos desde que a terceira edição foi publicada, um dos maiores problemas que surgiu na metodologia de pesquisa é sobre o futuro aumento das entrevistas por telefone como a principal forma de coleta de dados acerca de populações gerais. Ao mesmo tempo, há um maior esforço em tentar entender como usar a internet de forma mais efetiva. Tais meios são trabalhos em desenvolvimento enquanto esta edição é concluída, mas ela reflete o esforço de colocá-los em perspectiva, mesmo sabendo que práticas continuarão sendo desenvolvidas. Além disso, é claro, esta edição integra novos estudos e publicações dos últimos seis anos.

AGRADECIMENTOS Finalmente, fazer justiça às pessoas que contribuíram para fazer deste livro o que é fica cada vez mais difícil, já que a lista inevitavelmente cresce a cada edição. Ainda penso que é apropriado começar com as três pessoas que provavelmente têm o maior efeito sobre o meu entendimento quanto aos métodos de pesquisa de levantamento: Robert Kahn, Morris Axelrod e Charles Cannel. Em muitos aspectos, a tarefa do livro é reunir e resumir o que outras pessoas escreveram e aprenderam, assim, as referências e, em particular, as sugestões de leituras complementares foram fundamentais. Contudo, o nome de Robert Groves é provavelmente tão encontrado quanto ne-

Pesquisa de levantamento 9

nhum outro nesta edição, o que certamente reflete sua ampla e variada contribuição para o campo da pesquisa de levantamento. Também gostaria de agradecer especificamente a Tony Roman, Mary Ellen Colten, Trish Gallangher e Dragana Bolcic-Jankovic por suas revisões e por seus comentários úteis em vários capítulos. Gostaríamos de agradecer aos revisores Mark Berends, Vanderbilt University; Adam Berinsky, Massachusetts Institute of Technology; Amie L. Nielson, University of Miami; e Patric R. Spence, Western Kentucky University, que fizeram comentários sobre a edição anterior, colaborando, assim, com a formulação da presente edição. O Center for Survey Research prestou serviços de apoio. Judy Chambliss, como sempre, teve um papel crucial, ajudando-me a manter a saúde mental que este esforço exigiu. Agradeço a esses e a outros por suas contribuições, mas a responsabilidade do produto final, boa ou ruim, é basicamente minha. Jack Fowler

Introdução

1

Este livro versa sobre padrões e procedimentos práticos para levantamentos feitos a fim de fornecer descrições estatísticas de pessoas por meio de perguntas, normalmente aplicadas em uma amostra. Pesquisa abrange amostragem, com formulação de questões e com métodos de coleta de dados. Aqueles que querem coletar, analisar ou ler sobre dados de pesquisa aprenderão como os detalhes de cada aspecto de uma pesquisa podem afetar sua exatidão, sua precisão e sua credibilidade.

O assunto deste livro é a coleta de dados em pesquisas sociais. Isso inclui os procedimentos comuns, os padrões para boa prática e as implicações das diversas decisões de projetos para a qualidade do levantamento de dados. A proposta deste livro é fornecer uma base sólida para a avaliação dos procedimentos de coleta de dados para aqueles que querem coletar, analisar ou ler sobre dados de pesquisa. Os leitores virão a entender as formas pelas quais os detalhes da coleta de dados estão relacionados com a confiança que se pode ter em números e estatísticas baseados em levantamentos. Existem vários processos de coleta de dados e de medidas que são chamados de levantamento. Este livro foca naquelas pesquisas que têm as seguintes características: • O objetivo do levantamento é produzir estatísticas, isto é, descrições quantitativas ou numéricas sobre alguns aspectos de uma população. • A principal forma de coletar informação é por meio de perguntas feitas às pessoas; suas respostas constituem os dados a serem analisados.

12 Floyd J. Fowler Jr.

• Em geral, a informação é coletada apenas sobre uma fração da população, isto é, uma amostragem, e não sobre cada membro dela.

RAZÕES PARA LEVANTAMENTOS Na constituição dos Estados Unidos, está especificado que uma pesquisa que siga os critérios aqui citados deve ser realizada a cada 10 anos. No censo decenal, estatísticas sobre uma população são produzidas por meio de perguntas feitas às pessoas. Nenhuma amostragem, contudo, está envolvida; os dados são coletados sobre casa pessoa da população. O propósito do censo decenal é contar as pessoas como a base para garantir uma representação apropriada na House of Representatives*. O censo, contudo, também se tornou a maior fonte de informação para vários outros propósitos. Além de simplesmente contar, ele coleta dados sobre raça, idade, composição familiar, educação, tipo de habitação e várias outras características. O conteúdo do censo decenal expandiu-se para atender às necessidades dos órgãos governamentais e dos pesquisadores por dados descritivos. Isso, contudo, cobre apenas uma pequena parte do que se quer saber sobre as populações, e seu valor é limitado porque ocorre apenas uma vez por década. Para fornecer dados que preencham essas lacunas de informação, pesquisas com finalidade específica tornaram-se parte predominante da vida americana desde a década de 1930. A maioria das pessoas está familiarizada com três usos das técnicas de pesquisa: a medição da opinião pública para artigos de jornais e revistas, a medição do ponto de vista político e das opiniões para ajudar os candidatos nas eleições, e as pesquisas de mercado, destinadas a descobrir as preferências e os interesses do consumidor. Cada um desses programas bem desenvolvidos de pesquisa de levantamento é destinado principalmente a escutar os sentimentos subjetivos do público. Há, além disso, numerosos fatos sobre comportamentos e sobre situações que só podem ser obtidos por meio de perguntas feitas a uma amostra de pessoas sobre elas mesmas. Provavelmente não há área de políticas públicas a que a metodologia de pesquisa de levantamento não tenha sido aplicada. A seguir, há uma lista abreviada de algumas das principais aplicações: * N. de T.: The House of Representatives é a maior e menos poderosa parte do Congresso dos Estados Unidos. É a organização que faz as leis naquele país. Podemos compará-la com as câmaras de deputados.

Pesquisa de levantamento 13

• Taxas de desemprego, conforme divulgadas rotineiramente pelo Bureau of Labor Statistics*, bem como várias outras estatísticas sobre empregos e trabalho, são baseadas em pesquisas domiciliares realizadas pela Bureau of the Census**. Pesquisas paralelas sobre atividade comercial e industrial são realizadas para descrever a produção e a necessidade de mão de obra. • O rendimento das pessoas e a forma como elas gastam seu dinheiro constitui outra área na qual apenas levantamentos podem fornecer dados confiáveis. Os padrões de gastos dos consumidores e suas expectativas revelaram-se importantes na previsão das tendências na economia. • A National Health Interview Survey*** vem sendo realizada pela Bureau of the Census para o National Center for Health Statistics desde o final da década de 1950. Essa pesquisa coleta dados básicos sobre condições de saúde, sobre o uso dos serviços de saúde e sobre os comportamentos que afetam o risco de doenças. Todos esses são tópicos para os quais apenas bons levantamentos podem fornecer dados adequados. • A principal fonte de dados sobre eventos criminais vem sendo tradicionalmente os registros do departamento de polícia. Os registros policiais, contudo, incluem apenas as ocorrências que são informadas pelas pessoas à polícia. Para a maioria dos crimes envolvendo vítimas, as pesquisas fornecem medidas mais confiáveis das taxas de ocorrência dos crimes e das características das vítimas. O Levantamento Nacional do Crime foi lançado na década de 1970 para fornecer tais dados. Além disso, os levantamentos são a única forma de medir as preocupações e os medos das pessoas sobre o crime. • Uma das solicitações de levantamentos mais antigas é do Ministério da Agricultura dos Estados Unidos. O Ministério entrevista agricultores para estimar a taxa na qual diferentes culturas (crops) serão plantadas e para prever a disponibilidade de produtos alimentícios. * N. de T.: The Bureau of Labor Statistics é uma agência de pesquisa do Ministério do Trabalho dos Estados Unidos que compila estatísticas sobre horas de trabalho, sobre índices de emprego e desemprego, sobre preços ao consumidor e sobre outras variáveis. ** N. de T.: The Bureau of the Census é a agência governamental responsável pelo censo nos Estados Unidos. *** N. de T.: O National Health Interview Survey é uma entrevista familiar administrada pelo National Center for Health Statistics (NCHS), que é a principal fonte de informações sobre a saúde da população dos Estados Unidos.

14 Floyd J. Fowler Jr.

• A saúde mental, as necessidades de transporte e padrões de uso, o comportamento político, as características de habitação, bem como seu custo e sua adequação às necessidades familiares e a satisfação do trabalhador são outros exemplos de áreas nas quais levantamentos são amplamente utilizados. O maior coletor de dados de pesquisa nos Estados Unidos é indubitavelmente o governo federal, particularmente a Bureau of Census e o Ministério da Agricultura. Além disso, milhares de pesquisas são feitas a cada ano por universidades, sem fins lucrativos, e por organizações de pesquisa que oferecem seus serviços. Patrocinar a coleta de dados de uma pesquisa com um objetivo específico é uma solução um tanto cara para um problema de informação. Antes de empenhar tal esforço, deve-se explorar a fundo a possibilidade de colher a mesma informação em registros existentes ou de outras fontes. Embora algumas pessoas pensem em um levantamento co­ mo primeiro esforço para tentar estudar alguma coisa sobre uma população, um estudo de amostragem deve ser realizado apenas depois de ser garantido que a informação não pode ser obtida de outras formas. Mesmo tendo uma abordagem conservadora, é comum achar que apenas uma pesquisa com objetivo específico pode fornecer as informações necessárias. Além de atender as necessidades de dados que não estão disponíveis em outro lugar, há três propriedades potenciais dos dados de uma levantamento corretamente feito que devem fazê-los preferíveis aos dados de outras fontes: • A probabilidade da amostragem permite ter a confiança de que a amostra não é tendenciosa e estimar quão precisas podem ser as informações. Dados advindos de uma amostra corretamente escolhida são muito melhores do que os de uma amostra composta por aqueles que comparecem a encontros, falam mais alto, escrevem cartas e que aparentam ser convenientes à sondagem. • As medidas padronizadas que são constantes em todos os respondentes garantem que a informação comparada é obtida sobre todos os que são descritos. Sem tais medidas, estatísticas significativas não podem ser produzidas. • Para atender necessidades de análise, uma pesquisa com objetivo específico deve ser a única forma de garantir que todos os dados necessários para uma análise de dados estejam disponíveis e possam ser relacionados. Mesmo que haja informação sobre algum

Pesquisa de levantamento 15

conjunto de eventos, isso não deve ser comparado com outras características necessárias para realizar a análise pretendida. Por exemplo, os registros de alta hospitalar invariavelmente carecem de informações sobre a entrada de pacientes. Por isso uma pesquisa que colete informações sobre os dados de entrada e de hospitalização desses indivíduos é necessária para estudar a relação entre o ingresso de uma pessoa e sua experiência hospitalar. Há sempre algumas informações disponíveis em um dado tópico do que as pessoas dizem, das impressões ou de registros; há também sempre imperfeições em tais dados. Além de uma avaliação das informações necessárias, a decisão de fazer uma pesquisa também deve depender da disponibilidade dos recursos humanos. A menos que o pessoal necessário e que o conhecimento especializado, ou os recursos para comprá-los, estejam disponíveis, o resultado da pesquisa pode não ser muito bom. Isso nos leva ao tópico da próxima seção: O que constitui uma boa pesquisa?

COMPONENTES DOS LEVANTAMENTOS Como as medidas de todas as ciências, as medições de pesquisas sociais também não estão livres de erros. Os procedimentos usados para conduzir uma pesquisa têm um efeito importante na probabilidade de os dados resultantes descreverem exatamente o que pretendem descrever. Uma pesquisa por amostra reúne três metodologias: amostragem, formulação de questões e coleta de dados. Cada uma dessas atividades possui várias aplicações fora da pesquisa por amostra, mas sua combinação é essencial para a concepção de uma boa pesquisa. Amostragem Um censo significa reunir informações sobre cada indivíduo de uma população. O maior desenvolvimento no processo de fazer levantamentos úteis foi aprender como coletar amostras: selecionar um pequeno subgrupo de uma população que represente toda a população. As chaves para uma boa amostragem são encontrar uma forma de dar a todos (ou a quase todos) os membros da população a mesma chance de ser selecionado e usar métodos de probabilidade para escolher a amostra. Os primeiros levantamentos e sondagens basearam-se em amostras

16 Floyd J. Fowler Jr.

de conveniência ou em amostragens que excluíam parcelas significativas da população. Isso não forneceu números confiáveis e com credibilidade. O Ministério da Agricultura dos Estados Unidos atualmente desenvolve os procedimentos para esboçar as amostragens de probabilidades abrangentes necessárias para fornecer descrições estatisticamente confiáveis de populações que vivem em uma determinada área. Os procedimentos envolvidos do trabalho projetado para amostragens de áreas de terra para prever os rendimentos da colheita; a amostragem de unidades habitacionais e as pessoas que vivem nessas habitações eram simplesmente uma extensão daquele trabalho. Durante a Segunda Guerra Mundial, um grupo de cientistas sociais foi abrigado neste Ministério para fazer pesquisas sociais relacionadas ao esforço da guerra. Foi então que a área da amostragem probabilística tornou-se firmemente arraigada à amos­tragem geral de populações em pesquisas sociais. A área da amostragem probabilística ainda é o método de escolha para pesquisas de entrevista social de famílias. Converse (1987) promoveu uma excelente descrição da evolução dos métodos de pesquisa nos Estados Unidos. As estratégias para a seleção da amostragem vêm sendo refinadas desde 1950. O maior avanço foi o desenvolvimento da discagem aleatória de dígitos (random-digit dialing – RDD), que permitiu a inclusão nas pesquisas por telefone das famílias que não tinham os seus números de telefone cadastrados (Waksberg, 1978). Os princípios de uma boa prática de amostragem, contudo, vêm sendo bem desenvolvidos por um longo tempo. Formulação de questões Usar questões como medida é outra parte essencial do processo de pesquisa. Os primeiros esforços de levantamento, que representam extensões do jornalismo, não foram cuidadosos acerca da forma como as questões foram colocadas. Logo se tornou evidente, contudo, que enviar um entrevistador com um conjunto de questões sem fornecer termos específicos para as questões produziu diferenças significativas nas respostas que foram obtidas. Desta maneira, no início do século XX, os pesquisadores começaram a formular questões padrão para medir fenômenos subjetivos. Mais uma vez, os pesquisadores do Ministério da Agricultura dos Estados Unidos receberam o crédito por estender o uso das questões padrão, na década de 1940, para situações nas quais informações factuais ou objetivas foram solicitadas. Payne (1951) publicou um livro de referência fornecendo diretrizes para formular questões claras que os entrevistadores pudessem administrar. Likert (1932) recebeu os créditos

Pesquisa de levantamento 17

por construir uma ponte entre as elaboradas técnicas de escala desenvolvidas por psicólogos psicofísicos* para medir fenômenos subjetivos (por exemplo, Thurstone e Chave, 1929) e as necessidades práticas da pesquisa de levantamento social aplicada. O maior avanço na formulação de questões dos últimos 20 anos foi a melhoria das estratégias de avaliação das questões. Mais do que antes, os pesquisadores agora avaliam as questões para descobrir se elas são bem compreendidas e se as respostas têm sentido (ver Press et al., 2004). Pré-testes de pesquisas vêm sendo mais sistemáticos, usando análises de entrevistas gravadas para identificar questões problemáticas. Como resultado, a escolha dos termos da questão está se tornando mais objetiva e menos uma questão de juízo de investigação. Entrevista Embora nem todos os levantamentos envolvam entrevistas (como alguns nos quais os participantes respondem a questões autoadministradas), certamente é comum usar uma entrevista para fazer perguntas e gravar as respostas. Quando entrevistadores são usados, é importante evitar que eles influenciem as respostas dadas pelos respondentes e ao mesmo tempo maximizar a precisão com que as perguntas são respondidas. O primeiro passo importante para melhorar a coerência dos entrevistadores foi dar a eles questões-padrão. Posteriormente se descobriu que também era necessário treinar os entrevistadores para aplicar uma pesquisa de modo que evitassem introduzir vieses importantes nas respostas que obtinham (Friedman, 1942). Hyman, Feldman e Stember (1954) publicaram uma série de estudos documentando outras formas pelas quais os entrevistadores poderiam influenciar as respostas obtidas. Seu trabalho conduz ao treinamento mais elaborado dos entrevistadores no que diz respeito às estratégias de sondagem quando respostas incompletas são dadas e à manipulação dos aspectos interpessoais da entrevista de forma imparcial. Cannell, Oksenberg e Converse (1977) avançaram o processo de tentar reduzir a variação entre entrevistadores especificando o roteiro de apresentações e de estímulo que estes dão aos entrevistados ao limitar uma discussão não estruturada. A importância do treinamento e da supervisão dos entrevistadores para garantir a qualidade dos dados tem agora sido bem documentada (Billiet e Loosveldt, 1988; Fowler e Mangione, 1990). N. de R.T.: Psicologia Psicofísica é um ramo da psicologia que estuda a relação dos estímulos com a resposta dos indivíduos . É uma área da psicologia experimental.

*

18 Floyd J. Fowler Jr.

Formas de coleta de dados Até a década de 1970, a maioria das pesquisas acadêmicas e governamentais era feita pessoalmente a domicílio por entrevistadores. Quando ter um telefone tornou-se quase universal nos Estados Unidos, as entrevistas por meio deste tornaram-se a maior forma de coleta de dados. A atual fronteira para tal atividade é a internet. Seu uso é limitado porque muitas pessoas não têm acesso à ela e porque as listas de estratégias para a formulação de amostragens de endereços de e-mail é limitada. Contudo, conforme o acesso à rede mundial de computadores aumenta e as estratégias de amostragem evoluem, o uso da internet para coletar dados de levantamento também aumenta. Planejamento total do levantamento Em muitos aspectos os princípios para uma boa prática de pesquisa foram bem desenvolvidos na década de 1950. Contudo, naturalmente, os procedimentos e ferramentas mudaram em resposta às novas tecnologias e aos avanços científicos. Em alguns casos, necessitamos de bons estudos sobre como coletar dados para um propósito específico. Porém, mesmo quando as melhores práticas são estabelecidas, há variação na qualidade dos procedimentos que são usados. Existem várias razões para a variação de qualidade. Para algumas pesquisas, números imprecisos serão suficientes. A falta de financiamento e de pessoal adequado, bem como a falta de conhecimento metodológico, sem dúvida contribuem para uma prática pobre em alguns casos. Também há algumas controvérsias sobre o valor da amostragem provável rigorosa e da formulação padronizada de questões (ver Converse, 1987; Groves, 1989; Schober e Conrad, 1997; Turner e Martin, 1984). Uma característica do modelo de pesquisa de levantamento que é parcialmente culpada, contudo, é a falha dos pesquisadores em unir procedimentos de alta qualidade em todas as três áreas salientes; não é incomum ver pesquisadores atenderem cuidadosamente alguns aspectos da boa pesquisa enquanto negligenciam outros. A orientação crítica deste livro é a chamada perspectiva total do projeto de levantamento. Todo levantamento envolve um número de decisões que tem o potencial de melhorar ou de desvirtuar a exatidão (ou precisão) das estimativas da pesquisa. Em geral, as decisões que levariam a ter dados melhores envolvem mais dinheiro, mais tempo ou outros recursos. Desta

Pesquisa de levantamento 19

forma, o projeto de uma pesquisa envolve um conjunto de decisões para otimizar o uso dos recursos. Um projeto ideal levará em conta todos os aspectos salientes do processo de pesquisa. Em relação à amostragem, questões críticas incluem o seguinte: • a escolha de usar ou não uma amostra probabilística; • a estrutura de amostra (aquelas pessoas que realmente têm a chance de ser parte da amostra); • o tamanho da amostra; • o formulação da amostra (a estratégia particular usada para selecionar pessoas ou grupos familiares); • a taxa de resposta (o percentual de amostras para o qual os dados são efetivamente coletados). No que diz respeito à formulação das questões, o pesquisador deve decidir até que ponto a literatura disponível garante a confiabilidade e a validade do projeto do questionário, o uso a ser feito dos consultores que são especialistas em formulação de questões e o investimento a ser feito no pré-teste e na avaliação das questões. Em relação aos entrevistadores, os pesquisadores têm escolhas a fazer acerca dos tipos de treinamento e da supervisão a dar. Uma decisão de projeto que atravessa todas essas áreas é o modo de coleta de dados: não importa se o pesquisador coleta dados por telefone, por correspondência, por entrevista pessoal, pela internet ou por alguma outra forma, e nem como ele os coleta ou se computadores vão estar envolvidos. A decisão sobre qual modo de coleta de dados usar tem implicações importantes no custo da pesquisa e afeta a qualidade dos dados que serão coletados. Essas partes, em conjunto, constituem o que é chamado de projeto total de levantamento. Os componentes do projeto são inter-relacionados de duas formas importantes. Primeiro, a qualidade dos dados não será melhor do que a maioria das características dos erros prováveis do projeto de pesquisa. No passado, algumas vezes os pesquisadores focaram em uma ou duas características do levantamento, tais como o tamanho da amostra ou a taxa de resposta, para avaliar a qualidade provável dos dados. As melhores práticas atuais, contudo, necessitam de uma análise de todas as características de projeto anteriormente citadas. Se há um compromisso importante ou uma fraqueza em algum aspecto do projeto de pesquisa, maiores investimentos em outras partes desta não são sensatos. Por exemplo, se são feitas perguntas que os entrevistados provavelmente não estão aptos a responder com grande precisão, uma grande

20 Floyd J. Fowler Jr.

amostra que visa reduzir o erro de amostragem ao mínimo provavelmente será injustificada. De forma semelhante, e talvez até mesmo mais comum, um grande número de respostas não melhorará a credibilidade se a amostra é malconcebida, se a taxa de respostas é tão baixa que faz a amostra improvável de ser representativa ou se os entrevistadores são precariamente treinados e supervisionados. Para os formuladores e para os usuários de pesquisas de levantamento, o projeto total de levantamento aborda perguntas significativas sobre todas essas características, não apenas algumas, quando tentam avaliar a qualidade de uma pesquisa e a credibilidade de um determinado conjunto de dados.

PROPÓSITOS E OBJETIVOS DESTE TEXTO Este texto apresenta uma discussão das decisões importantes que acompanham a formulação de qualquer projeto de pesquisa de levantamento, as opções disponíveis para os pesquisadores e o significado potencial das várias opções para a quantidade de erros e a credibilidade das estimativas do levantamento. Quando apropriado, um conjunto de pro­cedimentos que podem constituir para uma boa prática de pesquisa é apresentado. Um grande esforço é feito para discutir as realidades e os problemas práticos com os quais os pesquisadores terão de lutar, bem como as questões teóricas e metodológicas que estão em jogo; muitas das deficiências nas coletas de dados originam-se da má execução de detalhes, não da falta de entendimento geral. Um livro relativamente pequeno como este obviamente tem que refletir sobre um conjunto de escolhas. Livros inteiros podem ser, e têm sido, dedicados a tópicos como amostragem, formulação de questionários e pesquisa sobre os entrevistadores. Pessoas que planejam conduzir projetos de pesquisa de levantamento vão querer ler mais. Além disso, ler um livro como este (ou qualquer outro) não substitui o aprendizado prático e o treinamento com especialistas que possuem sólidos conhecimentos metodológicos e larga experiência na formulação e na execução de pesquisas. No entanto, há um papel importante que este livro, por si só, pode representar: o de fornecer uma visão abrangente da fonte dos erros e do alcance das questões metodológicas na coleta de dados de pesquisa. Há várias pessoas para quem tal conhecimento será apropriado e valioso. Certamente, os cientistas sociais que utilizam dados coletados

Pesquisa de levantamento 21

por terceiros em seus trabalhos devem ter um entendimento sofisticado das fontes de erro. Da mesma forma, pessoas que leem sobre estatísticas baseadas em pesquisas precisam entender os processos usados para a coleta de dados. Este livro identifica as questões que as pessoas que usam os dados precisam perguntar e obter resposta. Além disso, fornece um panorama daquilo que aqueles que estão pensando em comprar ou encomendar uma pesquisa precisam ter. Em suma, este livro tem a intenção de fornecer perspectiva e entendimento para aqueles que serão formuladores ou usuários de pesquisas de levantamento, ao mesmo tempo em que fornece um sólido primeiro passo para aqueles que realmente querem saber sobre coleta de dados.

2

Tipos de erros em levantamentos

Levantamentos são formulados para produzir estatísticas sobre uma população-alvo. O processo pelo qual isso é feito apoia-se na inferência de características da população-alvo a partir das respostas fornecidas por uma amostra de entrevistados. Este capítulo delineia os dois tipos necessários de inferências. Também descreve os dois tipos de erro, viés e variabilidade, que podem limitar a precisão de tais inferências.

Dois dos principais objetivos da metodologia de pesquisa são minimizar o erro nos dados coletados por levantamentos e medir o erro que necessariamente é parte de toda pesquisa. Os capítulos 3 a 9 descrevem em detalhes estratégias para minimizar e medir erros. Para compreender esses capítulos, e para entender a metodologia dos levantamentos, primeiro é necessário entender o que consideramos por erro. Como dissemos, o propósito de uma pesquisa é fornecer estimativas estatísticas das características de uma população-alvo, de um conjunto de pessoas. Para fazer isso, designamos um subgrupo de pessoas, uma amostra, de quem tentamos coletar informações. Uma premissa fundamental do processo de pesquisa é que descrevendo a amostra de pessoas que realmente respondem, descreve-se a população-alvo. Espera-se que as características as quais a pesquisa se designa a descrever estejam presentes no mesmo grau, e estejam distribuídas da mesma forma, na amostra respondente como o são na população-alvo como um todo. A outra característica que define uma pesquisa é que os entrevistados respondem a questões. As respostas às questões são usadas para descrever experiências, opiniões e outras características daqueles que as

Pesquisa de levantamento 23

respondem. Uma segunda premissa fundamental do processo de pesquisa de levantamento é que as respostas que as pessoas dão podem ser usadas para descrever precisamente as características dos entrevistados. O grau para o qual tais respostas não são medidas precisas é a segunda fonte fundamental de erros em pesquisas. A Figura 2.1 mostra graficamente a forma de análise com a qual os dados de pesquisa trabalham e as inferências sobre as quais isso é baseado. O objetivo é estudar as características da população-alvo. O material com o qual trabalhamos consiste das respostas dadas pelos entrevistados nas pesquisas. Tabulamos as respostas e gostaríamos de supor que elas são medidas exatas das características dos respondentes que estamos tentando medir. Gostaríamos, então, de estar aptos a supor que por descrever a amostra de respondentes, estamos descrevendo exatamente toda a população-alvo.

Características da população Questão Quão proximamente a amostra respondente reflete a população

Amostra dos membros da população que responde às questões Questão Quão bem as respostas medem as características a ser descritas

Respostas dadas pelos respondentes

Figura 2.1 Interferência na pesquisa de levantamento.

Alguns aspectos da metodologia de pesquisa são formulados para abordar quão estreitamente uma amostra reflete a população. Outros são projetados para abordar quão bem as respostas para as questões coletadas na pesquisa servem como medida para o que elas têm a intenção de medir. O projeto da pesquisa e a forma como a coleta de dados é conduzida podem afetar uma ou ambas dessas fontes potenciais de erros.

24 Floyd J. Fowler Jr.

ERRO ASSOCIADO A QUEM RESPONDE Toda vez que uma amostra é retirada de uma população maior, há alguma chance de talvez a amostra diferir da população total de onde foi retirada. Um exemplo simples que os estatísticos gostam de usar é lançar uma moeda, que é cara de um lado e coroa do outro. Mesmo se a moeda for perfeita, uma amostra de 10 lançamentos não produzirá sempre 5 caras e 5 coroas. Enquanto 5 caras e 5 coroas serão mais comuns, um certo número de amostras de 10 lançamentos produzirá 6 caras ou 4 caras; 3 e 7 caras serão menos comuns; 8 ou 2 caras serão ainda menos comuns; distribuições ainda mais extremas serão cada vez menos comuns, mas até mesmo essas ocorrerão se amostras suficientes de 10 lançamentos de uma moeda forem realmente tentadas. Da mesma forma, se uma população consiste 50% de homens e 50% de mulheres, qualquer amostra específica pode ter mais ou menos mulheres do que se esperaria da população como um todo. Em uma pesquisa por amostra, normalmente temos apenas uma única amostra a partir da qual generalizar. Por acaso, a amostra pode e irá diferir ligeiramente do que pareceria se refletisse perfeitamente a distribuição de características na população. Um objetivo da metodologia de pesquisa é minimizar as diferenças aleatórias entre a amostra e a população. A forma como a amostra é projetada e selecionada pode afetar em quão estreitamente a amostra é provável de refletir as características da população de onde foi retirada. Um erro preocupante para os metodologistas de pesquisa é essa variação aleatória das verdadeiras características de uma população. Essa variação, o possível erro que decorre unicamente do fato de os dados serem coletados de uma amostra e não de cada membro da população, é chamado de erro de amostragem. Esse é um tipo de erro que os metodologistas de pesquisa tentam minimizar. Um segundo tipo de erro que afeta a relação entre uma amostra de respondentes e a população é o viés. Viés significa que de alguma forma sistemática as pessoas que respondem a uma pesquisa são diferentes da população-alvo como um todo. Há três passos no processo de coleta de dados de uma amostra, cada um dos quais poderia, potencialmente, introduzir vieses na amostra: 1. O primeiro passo envolve escolher a estrutura de amostra, aqueles que realmente têm a chance de ser selecionados. Se há algumas pessoas na população-alvo que não têm nenhuma chance de ser selecionadas para a amostra, e se elas são de alguma forma

Pesquisa de levantamento 25

consistentemente diferentes daquelas que têm a chance de ser selecionadas, o amostra resultante será tendenciosa dessa forma. Como exemplo, a maioria das pesquisas nos Estados Unidos exclui pessoas que vivem em instalações residenciais supervisionadas, como prisões, conventos e casas de repouso, e excluem as pessoas que não têm endereço fixo. A maioria das pesquisas por telefone não apenas excluem aqueles sem este serviço, mas também aquelas famílias que possuem apenas celulares. Para as variáveis nas quais essas pessoas que estão incluídas são diferentes daquelas que são sistematicamente excluídas, as amostras das quais os dados são coletados serão também tendenciosas. 2. Se de alguma forma o processo de seleção de quem está na amostra não é aleatório, o resultado pode ser uma amostra de respondentes que são diferentes da população-alvo como um todo. Por exemplo, se uma amostra é formada por pessoas que são voluntárias para estar em uma pesquisa, elas provavelmente têm um perfil de interesses diferente daquelas que não são voluntárias. 3. Finalmente, a falta em coletar respostas de todos os selecionados para estar na amostra é a terceira fonte potencial de vieses. Algumas pessoas não estão disponíveis para responder questões; algumas são incapazes de fazê-lo, devido a sua saúde ou a suas competências linguísticas; algumas se recusam a responder. Na medida em que aqueles que estão indisponíveis, incapazes ou indispostos a responder questões são diferentes do resto da população de formas que afetam as respostas da pesquisa, os resultados desta poder ser tendenciosos. É importante entender a distinção entre os dois tipos de erros em dados. O erro de amostragem, o primeiro tipo de erro que foi discutido, é um erro aleatório. Às vezes, por acaso, haverá várias mulheres na amostra, às vezes poucas, mas em média, uma série de amostras devidamente coletadas terá muita proximidade com a mesma porcentagem de mulheres que a população como um todo. Um desafio para os metodologistas é minimizar a variabilidade de amostra para amostra para aumentar a probabilidade de que qualquer amostra dada é muito próxima da população como um todo. Em contraste, aspectos do projeto ou da execução de uma pesquisa que enviesam as amostras produzirão, em média, estimativas que são consistentemente diferentes da população-alvo como um todo. Portanto,

26 Floyd J. Fowler Jr.

quando as amostras são retiradas apenas daqueles que vivem em grupos familiares, excluindo os sem-teto e os que vivem em albergues, a renda média provavelmente será maior naqueles que respondem do que entre aqueles que não tiveram a chance de responder. Aqueles que vivem em família também muito provavelmente serão casados e terão empregos diferentemente que aqueles sem casa. As estimativas dos que responderam a pesquisas baseadas em famílias irão sistematicamente superestimar a porcentagem da população completa que tem essas características. Um último ponto a salientar é que a variabilidade aleatória da estimativa da amostra, o erro de amostragem, e os vieses associados à amostra, não são necessariamente relacionadas a tudo. Se um plano de pesquisa sistematicamente exclui, ou representa de maneira menor, algumas pessoas que são distintivas de forma relevante para os objetivos da pesquisa, é bem possível ter uma estimativa muito consistente e estável, com erros de amostragem muito pequenos, que é consistentemente tendenciosas e sub ou superestima algumas características da população.

ERRO ASSOCIADO ÀS RESPOSTAS A fim de entender os erros associados às respostas para questões de pesquisa, primeiro precisa-se saber o que está sendo medido. Na teoria, pode-se dividir o que a pesquisa tenta medir em duas categorias: fatos objetivos e estados subjetivos. Fatos objetivos incluem a altura da pessoa, se ela está ou não empregada e se ela votou ou não na última eleição. Estados subjetivos incluem quanto do tempo a pessoa se sentiu cansada e se ela tem ou não uma visão política liberal ou conservadora. Conceitualmente, a forma como avaliamos as respostas para uma questão é para mensurar quão bem elas correspondem à verdade. Se estamos perguntando aos respondentes da pesquisa sobre fatos objetivos, como sua altura ou se estão ou não empregados, teoricamente poderíamos obter informações independentes contra as quais as respostas serão avaliadas para a questão da pesquisa. Poderíamos medir a altura dos respondentes; poderíamos verificar o status do emprego olhando os registros. Poderíamos avaliar diretamente o quão precisas eram as respostas. Em contraste, não há forma objetiva de verificar ou de avaliar o relato da pessoa sobre o quanto do tempo ela se sentiu cansada. Psicometristas, aqueles especializados na medição dos estados psicológicos, pensam nas respostas como sendo formadas por dois componen-

Pesquisa de levantamento 27

tes: o valor verdadeiro, o que um respondente perfeito com conhecimentos perfeitos poderia dar como resposta, mais alguns elementos de erro. Xi = ti + ei Onde xi é a resposta dada pelo indivíduo i ti é o valor verdadeiro para o indivíduo i ei é o erro na resposta dada pelo indivíduo i Os erros podem ser causados por todos os tipos de coisas: o não entendimento da questão, não ter a informação necessária para responder e distorcer as respostas para que pareçam boas são apenas alguns exemplos. Alguns entrevistados talvez não saibam exatamente a sua altura; outros podem arredondar sua altura para cima ou para baixo, pensando que ser mais alto ou mais baixo pode ser mais atrativo. As estimativas dos respondentes de quão cansados eles estiveram durante a última semana podem ser afetadas por quão cansados eles estão no momento em que respondem às questões. O ponto é que na medida em que as respostas são afetadas por outros fatores que não os fatores sobre os quais a resposta deveria ser baseada, há erro na resposta. Validade é o termo que os psicólogos usam para descrever a relação entre uma resposta e alguma medida do escore verdadeiro. Olhando para a equação anterior, o objetivo do psicometrista e do metodologista de pesquisa é fazer o erro de termo (e) tão pequeno quanto possível para que as respostas reflitam principalmente o escore verdadeiro (ou resposta). De certa forma, o erro de termo em psicometrias é similar ao erro de amostragem discutido anteriormente. Se o erro associado a respostas é aleatório, resultando em respostas que algumas vezes erram em uma direção, algumas vezes em outra, o resultado é menos certo de confiança em quão bem as respostas estão medindo o que queremos que meçam. Quanto maior o valor de e (na equação anterior), maior a chance de que alguma resposta dos indivíduos estará errada. Contudo, em muitas respostas entre os indivíduos, a resposta média deve ser a mesma que o valor verdadeiro médio. Para questões formuladas para medir fatos objetivos, mas não estados subjetivos, há também o potencial de que as questões serão inclinadas. De uma forma completamente análoga a vieses com respeito às amostras, o que viés significa nesse contexto é que em média os erros nas respostas, a forma pela qual as respostas diferem dos escores verdadeiros, são mais

28 Floyd J. Fowler Jr.

prováveis de estar em uma direção do que em outra. Como exemplos, res­pondentes em média subnotificam quantos cigarros eles fumam e a quantidade de álcool que bebem, enquanto tendem a exagerar se votaram ou não. Estimativas desses comportamentos são enviesados – sistematicamente diferentes dos escores verdadeiros. A ideia de validade para medidas subjetivas não pode ser observada diretamente, mas é inferida de estudos de como as respostas são relatadas para outras medidas similares. Os cálculos são mais complicados, mas o resultado final de estimativas de validade são os mesmos: uma estimativa de quão bem as respostas refletem o constructo que são projetadas para medir. (Cronbach e Meehl, 1955; Saris e Andrews, 1991). Em contraste, uma vez que não podemos medir diretamente o valor verdadeiro dos estados subjetivos, também não podemos medir vieses – o grau para o qual as respostas sistematicamente diferem do escore verdadeiro em um sentido.

RECAPITULANDO A NATUREZA DOS ERROS EM LEVANTAMENTOS Portanto, para ambas as inferências-chave que são cruciais para a qualidade das estimativas da pesquisa, a inferência de que as respostas podem ser usadas para descrever precisamente uma amostra de respondentes e que podemos generalizar precisamente a partir dela para uma população inteira, há dois tipos análogos de erros: a variabilidade aleatória ao redor dos valores verdadeiros e diferenças sistemáticas (enviesadas) entre as amostras que respondem a questões e a população como um todo ou entre as respostas dadas e os valores verdadeiros para aqueles que estão respondendo. Ao longo de todo o livro, como o erro vem sendo discutido, os leitores precisam estar certos de que sabem qual tipo de erro é implicado. É este o problema da generalização da amostra de respondentes para a população ou da generalização das respostas para a realidade que queremos descrever? É a preocupação com respeito ao erro focada em minimizar a variação aleatória, variação que pode, por acaso, fazer nossas amostras ou nossas respostas diferentes dos valores verdadeiros da população, ou há algum tipo de erro sistemático (enviesado) em nossos dados, decorrentes tanto de ter alguns elementos da população subrepresentados em nossa amostra de respondentes ou de alguma distorção sistemática de respostas a questões que colocamos? O Quadro 2.1 exibe graficamente quatro tipos de erros que afetam nossas estimativas de pesquisa.

Pesquisa de levantamento 29

Quando se tenta avaliar a confiança que se pode ter nas estimativas baseadas em levantamentos, é importante não esquecer todos esses quatro tipos de erros. Eles são diferentes, normalmente resultam de aspectos diferentes da forma como a pesquisa é executada, e têm impactos diferentes sobre a capacidade da pesquisa de abordar as questões que foi formulada para responder. Dando esta orientação para os vários significados de erro, continuamos a discutir a importância da forma como uma pesquisa é formulada e executada para a confiança que se pode ter nos resultados do levantamento. Quadro 2.1 Exemplos de erro por tipos de erro e tipo de inferência

Tipos de erro

Inferência

Enviesado

Aleatório

Da amostra Erro de amostragem para a população

Exemplo: Aqueles que têm mais de 65 anos são regularmente menos prováveis de responder a pesquisas por telefone, e, portanto, são subapresentados em dados de levantamento por telefone

Das respostas para as Sem validez características verdadeiras

Exemplo: O número de cigarros fumados é regularmente subrelatado em pesquisas

Leituras COMPLEMENTARES Groves, R. M. (1989). Survey errors and survey costs. New York: John Wiley. Groves, R. M., Fowler, F.J., Couper, M.P., Lepkowski, J. M., Singer, E., & Tourangeau, R. (2004). Survey methodology (Chap. 2). New York: John Wiley. Lessler, J.T., & Kalsbeek, W. D. (1992). Nonsampling error in surveys. New York: John Wiley.

3

Amostragem

O quão bem uma amostra representa uma população depende da estrutura da amostra, do tamanho da amostra e da forma específica da seleção de procedimentos. Se procedimentos de amostragem probabilísticas são usados, a precisão das estimativas da amostra pode ser calculada. Este capítulo descreve diversos procedimentos de amostragem e seus efeitos sobre a representatividade e a precisão das estimativas da amostra. Duas das formas mais comuns de amostragens de populações, amostras probabilísticas de área e de discagem aleatória de dígitos, são descritas em detalhes.

Há ocasiões em que o objetivo da coleta de informações não é gerar estatísticas sobre a população, mas descrever um conjunto de pessoas de uma forma mais geral. Jornalistas, pessoas que desenvolvem produtos, líderes políticos e outros, às vezes, querem apenas fazer ideia dos sentimentos das pessoas sem se interessar por precisões numéricas. Pesquisadores fazem estudos-piloto para medir o alcance das ideias ou opiniões que as pessoas têm ou a forma com que as variáveis parecem assumir juntas. Para esses propósitos, pessoas que estão prontamente disponíveis (amigos, colegas de trabalho) ou pessoas que se oferecem (levantamentos feitos por revistas, pessoas que ligam para talk shows) podem ser úteis. Nem todo esforço para coletar informações requer uma amostra de levantamento com probabilidade rigorosa. Na maioria das ocasiões em que levantamentos são empreendidos, contudo, o objetivo é desenvolver estatísticas sobre a população. Este capítulo é sobre a amostragem quando o objetivo é produzir números que podem ser submetidos apropriadamente à variedade de técnicas estatísticas disponíveis às ciências sociais. Embora

Pesquisa de levantamento 31

muitos dos princípios gerais sejam aplicados a qualquer problema de amos­tragem, este capítulo foca na amostragem de pessoas. A maneira de avaliar uma amostra não é por meio dos resultados, das características da amostra, mas pelo exame do processo pelo qual ela foi selecionada. Há três aspectos-chave da seleção da amostra: 1. A estrutura da amostra é o conjunto de pessoas que têm a chance de ser selecionadas, dada pela abordagem da amostragem que é escolhida. Estatisticamente falando, uma amostra só pode ser representativa da população incluída no formado da amostra. Uma questão importante é quão bem a estrutura da amostra corresponde à população que o pesquisador quer descrever. 2. Procedimentos de amostragem probabilística devem ser usados para designar unidades individuais para a inclusão em uma amostra. Cada pessoa deve ter uma chance conhecida de seleção estabelecida pelo procedimento de amostragem. Se o critério do pesquisador ou as características do respondente, como disponibilidade ou iniciativa, afetam as chances de seleção, não existe base estatística para avaliar quão bem ou quão pobremente a amostra representa a população; abordagens comumente usadas para calcular intervalos de confiança em torno de estimativas de amostra não são aplicáveis. 3. Os detalhes do formato da amostra, seu tamanho e os procedimentos específicos usados para selecionar unidades influenciarão na precisão das estimativas da amostra, ou seja, quão minuciosamente uma amostra é provável de se aproximar das características da população como um todo. Esses detalhes do processo de amostragem, juntamente com a proporção em que a informação é de fato obtida daqueles selecionados, constitui os fatos necessários para avaliar uma amostra de levantamento. Taxas de resposta são discutidas no Capítulo 4, que também inclui uma breve discussão sobre cota de amostragem, uma alteração comum da amostragem probabilística que produz amostras não probabilísticas. Neste capítulo, procedimentos de estrutura de amostragem e de amostragem probabilística são discutidos. Várias das estratégias práticas de amostragem de pessoas mais comuns são descritas. Os leitores interessados vão encontrar muito mais informações sobre amostragem em Kish (1965), Subman (1976), Kalton (1983), Groves (1989), Henry (1990) e Lohr (1998). Os pesquisadores que planejam conduzir uma pesquisa quase sempre seriam bem aconselhados a obter a ajuda de um estatístico de amos-

32 Floyd J. Fowler Jr.

tragem. Este capítulo, contudo, pretende familiarizar os leitores com questões com as quais eles devem tratar e com as quais provavelmente vão se deparar quando avaliarem a amostragem feita para um levantamento.

A ESTRUTURA DA AMOSTRA Qualquer procedimento de seleção de amostra dará a alguns indivíduos a chance de ser incluído na amostra enquanto exclui outros. Aquelas pessoas que têm a chance de ser selecionadas constituem a estrutura da amostra. O primeiro passo na avaliação da qualidade de uma amostra é definir a estrutura da amostra. A maioria dos esquemas de amostragem se divide em três classes gerais: 1. A amostragem é feita de uma lista mais ou menos completa de indivíduos na população a ser estudada. 2. A amostragem é feita de um conjunto de pessoas que vão a algum lugar ou fazem alguma coisa que as habilita a participar da amostra (por exemplo, pessoas que receberam assistência médica, ou que compareceram a um encontro). Nesses casos, não há uma lista prévia a partir da qual a amostragem ocorre; a criação da lista e o processo de amostragem devem ocorrer simultaneamente. 3. A amostragem é feita em dois ou mais estágios, com o primeiro estágio de amostragem envolvendo algo diferente dos indivíduos que serão finalmente selecionados. Em um ou mais passos, essas unidades primárias são recolhidas, e eventualmente uma lista de indivíduos (ou outras unidades de amostragem) é criada, a partir da qual uma seleção final de amostra é feita. Um dos mais comuns desses esquemas de amostragem é selecionar unidades habitacionais, sem informações prévias de quem vive nelas, como um primeiro estágio para selecionar uma amostra de pessoas que vivem nessas unidades habitacionais. Esses procedimentos multiestágio serão descritos em detalhes mais adiante neste capítulo. Há três características da estrutura da amostra que um pesquisador deve avaliar: 1. Abrangência, ou seja, quão completamente isso cobre a população-alvo. 2. Se pode ou não ser calculada a probabilidade de seleção de uma pessoa.

Pesquisa de levantamento 33

3. Eficiência, ou a taxa em que os membros de uma população-alvo podem ser encontrados entre aqueles da estrutura. Abrangência. Uma amostra apenas pode ser representativa de uma estrutura da amostra, ou seja, a população que realmente teve a chance de ser selecionada. A maioria das abordagens de amostragem deixa de fora pelo menos algumas pessoas de uma população que o pesquisador deseja estudar. Por exemplo, amostras baseadas em famílias excluem pessoas que vivem em instalações residenciais supervisionadas, como dormitórios, prisões e asilos, bem como as que são sem-teto. As listas gerais disponíveis, como as de pessoas com habilitação para dirigir, eleitores registrados e proprietários, são ainda mais exclusivas. Embora elas cubram grandes segmentos de algumas populações, também omitem importantes segmentos com características peculiares. Como um exemplo específico, as listas telefônicas publicadas omitem aqueles sem telefones fixos, aqueles que solicitaram que o seu telefone não seja publicado e aqueles que assinaram uma linha telefônica desde que a lista telefônica mais recente foi publicada. Em algumas grandes cidades, tais exclusões somam quase 50% de todas as famílias. Em tais cidades, uma amostra extraída de uma lista telefônica seria representativa de apenas cerca da metade da população, e a metade que é representada pode facilmente ser esperada de diferir de várias formas da metade que não o é. Uma ameaça crescente para os levantamentos por telefone é o aumento do uso de celulares. A maioria dos levantamentos por telefone tem dependido de amostragens de números de telefone que possam ser ligados a famílias. Casas que não têm nenhum “telefone fixo” são excluídas usando as técnicas mais comuns para desenhar amostras por levantamentos feitos pelo telefone. Aquelas famílias que têm apenas celulares são, portanto, deixadas de fora de tais amostras (Blumberg, Lake e Cynamon, 2006). Endereços de e-mail fornecem outro bom exemplo. Há algumas populações, como as do cenário da empresa ou da escola, que têm praticamente acesso universal ao e-mail, e listas mais ou menos completas desses endereços provavelmente estão disponíveis. Por outro lado, como uma abordagem às amostragens feitas com famílias em populações gerais, tirar amostra daqueles com endereços de e-mail deixa de fora muitas pessoas e produz uma amostra que é muito diferente da população como um todo de muitas maneiras importantes. Além disso, não há atualmente uma forma de criar uma boa lista de todos ou pelo menos da maioria dos que têm um endereço de e-mail.

34 Floyd J. Fowler Jr.

Duas inovações recentes, impulsionadas pelo desejo de realizar levantamentos pela internet, merecem destaque. Primeiro, um grande número de pessoas têm sido recrutadas via internet para participar de levantamentos ou estudos de pesquisas. Essas pessoas preenchem questionários iniciais de base que cobrem um amplo número de características. As respostas a essas questões podem então ser usadas para “criar” uma amostra a partir do conjunto total de voluntários que dificilmente combina com a população total que o pesquisador quer estudar. Quando uma “amostra” é levantada, os resultados podem ou não produzir informações exatas sobre a população total. Obviamente, ninguém que não use a internet ou que não esteja interessado em participar como voluntário no levantamento é incluído em tal amostra. Frequentemente, as mesmas pessoas participam de vários levantamentos, por isso aumentar ainda mais as questões sobre quão bem os respondentes simbolizam a população geral (Couper, 2007). Em um esforço para enfrentar algumas dessas preocupações, outra abordagem é conduzir um levantamento por telefone para recrutar um grupo de voluntários para levantamentos via internet. Um computador pode ser fornecido àqueles que não têm acesso a um computador para uso. Mesmo com tais esforços, a “estrutura da amostra” é constituída por aquele subconjunto da população que vive em um domicílio com serviço de telefone fixo e que concorda em ser parte de um grupo para estudos de pesquisa. De uma perspectiva estatística, estatísticas baseadas em amostras advindas daquele grupo não necessariamente se aplicam ao equilíbrio da população. Em vez disso, em ambos os exemplos anteriores, aqueles que respondem a um levantamento podem apenas ser ditos representativos das populações que voluntariaram ou concordaram em estar nessas listas (Couper, 2007). A extensão a qual eles são prováveis de ser como o resto da população deve ser avaliada independentemente do processo de amostragem. Uma parte fundamental da avaliação de qualquer esquema de amostragem é determinar o percentual da população que se quer descrever que tem uma chance de ser selecionado e a extensão em que aqueles excluídos são distintivos. Muito comumente um pesquisador precisa fazer uma escolha entre um caminho mais fácil ou menos caro de formular a amostra de uma população que deixa de fora algumas pessoas e uma estratégia mais cara que também é mais abrangente. Se um pesquisador está considerando formular uma amostra a partir de uma lista, é particularmente importante avaliar a lista para descobrir em detalhes como ela foi compilada, como e quando adições e exclusões são feitas e o número e características das pessoas que são prováveis de ser deixadas de fora da lista.

Pesquisa de levantamento 35

Probabilidade de seleção. É possível calcular a probabilidade de seleção de cada pessoa amostrada? Um procedimento que amostre os registros de visitas ao médico durante um ano fornecerá aos indivíduos que visitam o médico várias vezes uma maior chance de seleção do que àqueles que veem o médico apenas uma vez. Não é necessário que um esquema de amostragem dê a todos os membros da estrutura de amostragem a mesma chance de seleção, como seria o caso se cada indivíduo aparecesse uma vez e apenas uma vez em uma lista. É essencial, contudo, que o pesquisador seja capaz de descobrir a probabilidade de seleção para cada indivíduo selecionado. Isso pode ser feito no momento da seleção da amostra pelo exame da lista. Também pode ser possível descobrir a probabilidade de seleção no momento da coleta dos dados. No exemplo anterior, sobre formular amostras de pacientes pela formulação de amostras de visitas ao médico, se o pesquisador pergunta aos pacientes selecionados o número de visitas ao médico que eles fizeram em um ano, ou se o pesquisador pode ter acesso aos prontuários dos pacientes selecionados, seria possível ajustar os dados no momento da análise para levar em conta as diferentes chances de seleção. Se não é possível saber a probabilidade de seleção de cada indivíduo selecionado, porém, não é possível estimar precisamente a relação entre a estatística da amostra e a população da qual ela foi retirada. As “amostras por cota”, discutidas no final do Capítulo 4, são outro exemplo comum do uso de procedimentos para os quais a probabilidade de seleção não pode ser calculada. Eficiência. Em alguns casos, as estruturas de amostra incluem unidades que não são membros da população-alvo que o pesquisador deseja amostrar. Supondo que pessoas elegíveis podem ser identificadas no ponto da coleta de dados, ser muito abrangente não é um problema. Por isso uma forma perfeitamente apropriada de formular amostras de idosos vivendo em família é extrair uma amostra de todos os domicílios, descobrir se há pessoas idosas vivendo neles, e então excluir aqueles sem residentes idosos. Amostras de discagem aleatória de dígitos selecionam números de telefone (muitos dos quais não estão em uso) como uma maneira de formular amostras de unidades familiares com telefone. A única questão sobre tais modelos é se eles são ou não realmente rentáveis. Devido ao fato de a capacidade de generalizar a partir de uma amostra ser limitada pela estrutura da amostra, quando informar os resultados, o pesquisador deve dizer aos leitores a quem foi e a quem não foi

36 Floyd J. Fowler Jr.

dada a chance de ser selecionado e, na medida em que isso é sabido, como aqueles que foram omitidos foram distintivos.

SELECIONANDO UMA AMOSTRA DE UM ESTÁGIO Uma vez que o pesquisador tenha tomado uma decisão sobre a estrutura da amostra ou a abordagem para a obtenção de uma amostra, a próxima questão é especificamente como selecionar as unidades individuais a ser incluídas. Nas próximas seções, as várias formas tipicamente usadas para extrair amostras são discutidas. Amostragem aleatória simples Amostragem aleatória simples é, de certo modo, o protótipo da amostragem da população. As formas mais básicas de calcular estatísticas sobre amostras supõe que uma amostra aleatória simples foi elaborada. A amostragem aleatória simples é quase como selecionar uma amostra retirando o nome dos participantes de um chapéu: os membros de uma população são selecionados um de cada vez, independentes um do outro e sem substituição; uma vez que uma unidade é selecionada, ela não tem mais chance de ser selecionada. Operacionalmente, extrair uma amostra aleatória simples requer uma lista numerada da população. Por simplicidade, assume-se que cada pessoa na população aparece uma e apenas uma vez. Se houvesse 8.500 pessoas em uma lista, e o objetivo fosse selecionar uma amostra aleatória simples de 100, o procedimento seria simples. As pessoas na lista seriam numeradas de 1 a 8.500. Então um computador, uma tabela de números aleatórios ou algum outro gerador de números aleatórios seria usado para produzir 100 números diferentes no mesmo intervalo. Os indivíduos correspondentes aos 100 números escolhidos constituiriam uma amostra aleatória simples daquela população de 8.500. Se a lista está em um arquivo de dados informatizado, randomizando a ordem da lista, então escolhendo as 100 primeiras pessoas sobre a lista reordenada, produziria um resultado equivalente. Amostras sistemáticas A menos que uma lista seja pequena, tenha todas as unidades prénumeradas e seja informatizada para que possa ser numerada facilmente,

Pesquisa de levantamento 37

extrair uma amostra aleatória simples como descrito antes pode ser trabalhoso. Em tais situações, há uma forma de usar uma variação chamada amostragem sistemática que terá uma precisão equivalente a uma amostra aleatória simples e pode ser mecanicamente mais fácil de criar. Além disso, os benefícios da estratificação (discutida na próxima seção) podem ser efetuados mais facilmente por meio de amostragem sistemática. Na elaboração de uma amostra sistemática a partir de uma lista, o pesquisador primeiro determina o número de entradas na lista e de elementos dela que serão selecionados. Dividir este último pelo primeiro produzirá uma fração. Assim, se há 8.500 pessoas em uma lista e uma amostra de 100 é requerida, 100/8.500 da lista (ou seja, 1 em cada 85 pessoas) deve ser incluída na amostra. A fim de selecionar uma amostra sistemática, um ponto de partida é designado pela escolha de um número aleatório que está dentro do intervalo de amostragem, neste exemplo, qualquer número de 1 a 85. O início aleatório garante que este é um processo de seleção casual. Começando com a pessoa na posição selecionada aleatoriamente, o pesquisador passa a selecionar cada 85ª pessoa na lista. Muitos livros de estatística previnem sobre amostras sistemáticas se a lista é ordenada por algumas características, ou tem um padrão recorrente, o que irá afetar diferencialmente a amostra dependendo do início. Como um exemplo extremo, se os membros de um clube de casais foram listados com o parceiro masculino sempre listado primeiro, qualquer intervalo constante de números produziria uma amostra sistemática constituída de apenas um gênero, embora o clube como um todo seja uniformemente dividido por gênero. Isso é definitivamente importante para examinar uma potencial estrutura de amostra a partir da perspectiva de se há ou não alguma razão para pensar que a amostra resultante de um início aleatório será sistematicamente diferente daquela resultante de outro início de formas que vão afetar os resultados do levantamento. Na prática, a maioria das listas ou das estruturas de amostra não representa nenhum problema para a amostragem sistemática. Quando representam, por uma reordenação das listas ou ajuste dos intervalos de seleção, quase sempre é possível formular uma estratégia de amostragem sistemática que é, ao menos, equivalente à amostra aleatória simples. Amostras estratificadas Quando uma amostra aleatória simples é extraída, cada nova seleção é independente, não afetada por nenhuma das seleções que veio an-

38 Floyd J. Fowler Jr.

tes. Como resultado desse processo, qualquer uma das características da amostra pode, por acaso, diferir um pouco da população a partir da qual é elaborada. Em geral, pouco se sabe sobre as características dos membros individuais da população antes da coleta de dados. Não é incomum, contudo, que pelo menos algumas características da população sejam identificáveis no momento da amostragem. Quando esse é o caso, há a possibilidade de estruturar o processo de amostragem para reduzir a variação normal de amostragem, desse modo produzindo uma amostra que é mais provável de se parecer com a população total do que uma amostra aleatória simples. O processo pelo qual isso é feito é chamado de estratificação. Por exemplo, suponha-se que havia uma lista de estudantes universitários. A lista é organizada alfabeticamente. Alunos de classes diferentes são misturados por toda a lista. Se a lista identifica a classe particular a que o estudante pertence, seria possível reorganizar a lista para colocar calouros primeiro, depois estudantes do segundo ano, em seguida juniores e finalmente seniores, com todas as classes agrupadas. Se a amostragem requer a seleção de uma amostra de 1 em cada 10 dos membros da lista, a reorganização garantiria que exatamente 1/10 dos calouros foram selecionados, 1/10 dos estudantes do segundo ano e assim por diante. Por outro lado, se uma amostra aleatória simples ou uma amostra sistemática foi selecionada a partir da lista alfabética original, a proporção da amostra no primeiro ano estaria sujeita à variação normal de amostragem e poderia ser ligeiramente superior ou inferior do que era o caso para a população. A estratificação com antecedência garante que a amostra terá exatamente as mesmas proporções em cada classe como a população como um todo. Considere a tarefa de estimar a idade média do corpo estudantil. A classe a qual um estudante é membro quase certamente está correlacionada com a idade. Apesar disso, ainda haverá alguma variabilidade nas estimativas da amostra por conta do procedimento de amostragem, estruturar a representação de classes na estrutura da amostragem também irá limitar a extensão a qual a idade média da amostra diferirá por acaso da população como um todo. Quase todas as amostras de populações de áreas geográficas são estratificadas por alguma variável regional, de modo que serão distribuídas da mesma forma como a população como um todo. Amostras nacionais são tipicamente estratificadas por região do país e também por localizações urbanas, suburbanas e rurais. A estratificação somente melhora a precisão das estimativas das variáveis que são relacionadas às variáveis de estratificação. Devido ao fato de um certo grau de estratificação ser rela-

Pesquisa de levantamento 39

tivamente simples de realizar, no entanto, e porque isso nunca fere a precisão das estimativas da amostra (contanto que a probabilidade de seleção seja a mesma em todas as camadas, esta normalmente é uma característica desejável de um projeto de amostra). Diferentes probabilidades de seleção Algumas vezes a estratificação é usada como um primeiro passo para variar as taxas de seleção de subgrupos da população. Quando as probabilidades de seleção são constantes ao longo de todas as camadas, um grupo que constitui 10% da população constituirá cerca de 10% da amostra selecionada. Se um pesquisador queria uma amostra de pelo menos 100 de um subgrupo da população que constituía 10% da população, uma abordagem de amostragem aleatória simples exigiria uma amostra total de 1000. Além disso, se o pesquisador decidiu aumentar o tamanho da amostra daquele subgrupo para 150, isso implicaria tomar uma amostra adicional de 500 membros, trazendo o total para 1500, de modo que 10% da amostra seria igual a 150. Obviamente, há ocasiões em que aumentar uma amostra desta forma não é muito rentável. No último exemplo, se um pesquisador está satisfeito com o tamanho das amostras de outros grupos, o projeto acrescenta 450 entrevistas desnecessárias para adicionar 50 entrevistas que são desejadas. Em alguns casos, portanto, o adequado é selecionar algum subgrupo em uma taxa mais elevada do que o resto da população. Como exemplo, suponha que um pesquisador desejava estudantes do sexo masculino e feminino, com um mínimo de 200 respondentes homens, em uma determinada faculdade onde apenas 20% dos estudantes são homens. Assim, uma amostra de 500 estudantes incluiria 100 estudantes homens. Se estudantes do sexo masculino puderam ser identificados com antecedência, contudo, pode-se selecioná-los duas vezes mais rápido do que estudantes do sexo feminino foram selecionadas. Desta forma, em vez de adicionar 500 entrevistas para aumentar a amostra em 100 homens, um adicional de 100 entrevistas sobre a amostra de base de 500 produziria um total de cerca de 200 entrevistas com homens. Assim, ao fazer comparações entre masculino e feminino, ter-se-ia a precisão fornecida por amostras de 200 respondentes do sexo masculino e 400 do sexo feminino. Para combinar essas amostras, o pesquisador teria que dar aos respondentes do sexo masculino o peso de metade do dado aos do sexo feminino para compensar o fato de que eles foram amostrados duas

40 Floyd J. Fowler Jr.

vezes a mais do que resto da população. (Ver Capítulo 10 para mais detalhes sobre ponderação.) Mesmo se membros individuais de um subgrupo de interesse não possam ser identificados com certeza antes da amostragem, às vezes a abordagem básica esboçada anteriormente pode ser aplicada. Por exemplo, é muito incomum ter uma lista de unidades habitacionais que identifica a raça dos ocupantes antes do contato. Não é incomum, contudo, para famílias asiáticas estarem mais concentradas em algumas áreas de vizinhança do que em outras. Nesse caso, o pesquisador pode ser capaz de amostrar domicílios em áreas que são predominantemente asiáticas em uma taxa superior à média para aumentar o número de respondentes asiáticos. Novamente, quando é dada a um grupo uma chance de seleção diferente daquela dada a outros membros da população, um peso compensatório apropriado é necessário a fim de gerar estatísticas precisas sobre a população para a amostra combinada ou total. Uma terceira abordagem é a de ajustar a chance de seleção baseada em informações recolhidas depois de fazer contato com respondentes em potencial. Voltando ao levantamento dos estudantes universitários, se o sexo dos estudantes não pôde ser verificado com antecedência, os pesquisadores poderiam selecionar uma amostra inicial de 1000 estudantes, ter entrevistadores que verifiquem o sexo de cada um, e então realizar uma entrevista completa com todos os estudantes do sexo masculino (200), mas com apenas a metade dos estudantes do sexo feminino (400). O resultado seria exatamente o mesmo que com a abordagem descrita anteriormente. Finalmente, outra razão técnica para usar diferentes probabilidades de seleção por camadas deveria ser mencionada. Se o que está sendo mensurado é muito mais variável em um grupo do que em outro, isso pode ajudar a precisão da estimativa global resultante para destacar o grupo com o maior nível de variabilidade. Groves (1989) fornece uma boa descrição da lógica e de como avaliar a eficiência de tais projetos

AMOSTRAGEM MULTIESTÁGIO Quando não há lista adequada de indivíduos em uma população e não há forma de chegar à população diretamente, uma amostragem de multiestágio fornece uma abordagem útil. Na ausência de uma fonte direta de amostragem, uma estratégia é necessária para ligar os membros da população a algum tipo de agrupa-

Pesquisa de levantamento 41

mentos que possa ser amostrado. Esses agrupamentos podem ser amostrados como um primeiro estágio. Listas são feitas, então, de membros individuais dos grupos selecionados, com possivelmente uma seleção posterior a partir da lista criada no segundo (ou posterior) estágio de amostragem. Na terminologia de amostragem, os agrupamentos no último estágio de um projeto de amostra são normalmente referidos como agrupamentos. A próxima seção ilustra a estratégia geral para a amostragem multiestágio por descrever seu uso em três dos tipos mais comuns de situações nas quais listas de todos os indivíduos na população-alvo não estão disponíveis. Amostragens de estudantes em escolas Se alguém quisesse extrair uma amostra de todos os estudantes matriculados nas escolas públicas de uma determinada cidade, não seria surpreendente descobrir que não havia uma única lista completa de tais indivíduos. Há, contudo, uma estrutura de amostra que possibilita chegar até e incluir todos os estudantes na população desejada: a saber, a lista de todas as escolas públicas naquela cidade. Devido ao fato de cada indivíduo na população de estudo poder ser anexado a uma e a apenas uma daquelas unidades, uma amostra de estudantes perfeitamente aceitável pode ser selecionada usando uma estratégia de dois estágios: primeiro sele­cionando escolas (isto é, os agrupamentos) e então selecionando os estudantes dessas escolas. Suponha os seguintes dados: Há 20000 estudantes em uma cidade com 40 escolas Amostra desejada = 2000 = 1/10 de estudantes Quatro planejamentos ou abordagens diferentes para formular amostras são apresentados a seguir. Cada um produziria uma amostra de probabilidade de 2000 estudantes. Todas as quatro abordagens listadas produzem amostras de 2.000; todas dão a cada estudante da cidade uma chance igual (1 em 10) de seleção. A diferença é que, do topo para a base, os projetos são cada vez menos caros; as listas precisam ser coletadas de poucas escolas, e poucas escolas precisam ser visitadas. Ao mesmo tempo, a precisão de cada amostra é susceptível de diminuir à medida que menos escolas são amostradas e mais estudantes por escola são amostrados. O efeito deste e de outros projetos de multiestágio sobre a precisão das estimativas de amostra é discutido em mais detalhes em uma seção posterior deste capítulo.

42 Floyd J. Fowler Jr. Probabilidade de Seleção no Estágio 1 (escolas)

X

Probabilidade de Seleção no Estágio 2 (estudantes nas escolas selecionadas

=

Probabilidade Total de seleção

(a) Selecione todas as escolas, liste todos os estudantes e selecione 1/10 estudantes em (b) cada escola

1/1

X

1/10

=

1/10

(c) Selecione 1/2 das escolas, então selecione 1/5 de todos os estudantes em cada escola

½

X

1/5

=

1/10

(d) Selecione 1/5 das escolas, então selecione 1/2 de todos os estudantes em cada escola

1/5

X

1/2

=

1/10

(e) Selecione 1/10 escolas, então colete informações sobre todos os estudantes em cada escola

1/10

X

1/1

=

1/10

Amostragem de área de probabilidade A amostragem de área de probabilidade é uma das estratégias multiestágio mais geralmente úteis devido a sua larga aplicabilidade. Ela pode ser usada para amostrar qualquer população que possa ser definida geograficamente, por exemplo, as pessoas que vivem em um bairro, em uma cidade, em um estado ou em um país. A abordagem básica é dividir a área total alvo em exaustivas subáreas mutuamente exclusivas com limites identificáveis. Essas subáreas são os agrupamentos. Uma amostra de subáreas é extraída. Uma lista, em seguida, é feita das unidades habitacionais nas subáreas selecionadas, e uma amostra das unidades listadas é elaborada. Como uma etapa final, todas as pessoas nas unidades habitacionais selecionadas podem ser incluídas na amostra ou podem ser listadas e amostradas também. Essa abordagem funcionará para selvas, desertos, áreas rurais escassamente povoadas ou para áreas centrais em grandes cidades. Os passos específicos para tal amostra podem ser muito complicados. Os princípios básicos, contudo, podem ser ilustrados descrevendo como se pode amostrar a população de uma cidade usando os quarteirões da cidade como unidades primárias de subáreas a serem selecionadas no primeiro estágio da amostragem.

Pesquisa de levantamento 43

Considerando os dados a seguir: Uma cidade consiste de 400 quarteirões 20 mil unidades habitacionais estão localizadas nesses quarteirões Amostra desejada = 2 mil unidades habitacionais = 1/10 de todas as unidades habitacionais Dada essa informação, uma amostra de domicílios pode ser selecionada usando uma estratégia paralela à seleção de estudantes anteriormente mencionada. No primeiro estágio da amostragem, quarteirões (isto é, os agrupamentos) são selecionados. Durante a segunda etapa, todas as unidades habitacionais nos quarteirões selecionados são listadas e uma amostra é selecionada. A seguir, temos duas abordagens para selecionar unidades habitacionais: Probabilidade de seleção Estágio 1 (quarteirões)

X

Probabilidade de seleção no Estágio 2 (unidades habitacionais nos quarteirões selecionados)

=

Probabilidade total de seleção

(a) Selecione 80 quarteirões (1/5), então pegue 1/2 das unidades naqueles quarteirões

1/5

X

1/2

=

1/10

(b) Selecione 40 quarteirões (1/10), então pegue todas as unidades naqueles quarteirões

1/10

X

1/1

=

1/10

Paralelo ao exemplo da escola, a primeira abordagem, envolvendo mais quarteirões, é mais cara do que a segunda; ela também provavelmente produzirá estimativas de amostra mais precisas para uma amostra de um dado tamanho. Nenhum dos esquemas de amostra citados leva em consideração o tamanho dos agrupamentos do Estágio 1 (isto é, o tamanho dos quarteirões ou das escolas). Escolas e quarteirões grandes são selecionados na mesma proporção dos pequenos. Se uma fração fixa de cada grupo selecionado é tomada no último estágio, haverá mais entrevistas tomadas das grandes escolas ou grandes quarteirões selecionados do que dos pequenos; o tamanho das amostras (tamanhos dos agrupamentos) tomadas no Estágio 2 será muito divergente. Se há informação disponível sobre o tamanho dos grupos do Estágio 1, geralmente é bom usá-la. Os projetos de amostra tendem a fornecer estimativas mais precisas se o número de unidades selecionadas no passo

44 Floyd J. Fowler Jr.

final de seleção é aproximadamente igual em todos os agrupamentos. Outras vantagens de tais planos são que os erros de amostragem são mais fáceis de calcular e o tamanho total da amostra é mais previsível. Para produzir agrupamentos de tamanho igual, as unidades do Estágio 1 devem ser amostradas em proporção ao seu tamanho. Os exemplos a seguir mostram como os quarteirões poderiam ser amostrados em proporção ao seu tamanho como o primeiro estágio da abordagem de uma área de probabilidade para amostrar unidades habitacionais (apartamentos ou casas unifamiliares). A mesma abordagem poderia ser aplicada ao exemplo anterior da escola, tratando as escolas de forma análoga aos quarteirões no seguinte processo. 1. Decida quantas unidades habitacionais serão selecionadas no último estágio de amostragem – o tamanho médio do agrupamento. Vamos escolher 10, por exemplo. 2. Faça uma estimativa do número de unidades habitacionais em cada unidade do Estágio 1 (quarteirão). 3. Disponha os quarteirões de modo que estejam geograficamente adjacentes ou de outra maneira similar. Isso efetivamente estratifica a amostragem para melhorar a amostra, como discutido antes. 4. Crie uma conta cumulativa estimada de unidades habitacionais (UH) em todos os quarteirões. Isso resultará em uma tabela como a abaixo. Unidades Habitacionais Cumulativas

Unidades habitacionais visitadas (Início Aleatório = 70; Intervalo = 100 UH)

Número do Quarteirão

Unidades Habitacionais Estimadas

1

43

43

-

2

87

130

70

3

99

229

170

4

27

256

-

5

15

271

270

Determine o intervalo entre os agrupamentos. Se queremos selecionar 1 em cada 10 unidades habitacionais e um agrupamento de cerca de 10 em cada quarteirão, precisamos de um intervalo de 100 unidades habitacionais entre os agrupamentos. Dito de outra forma, em vez de pegar 1 casa em um intervalo de cada 10 casas, pegamos 10 casas em um intervalo de cada 100 casas; a taxa é a mesma, mas o padrão é agrupado. Depois de primeiro escolher um número aleatório de 1 a 100 (o intervalo do exemplo) como ponto de partida, prosseguimos sistematica-

Pesquisa de levantamento 45

mente por meio da contagem cumulativa, designando as unidades primárias (ou quarteirões) atingidas nesta primeira fase de seleção. No exemplo, o início aleatório escolhido (70) falhou o quarteirão 1 (por 43 vezes em 100 isso teria sido atingido); a 70ª unidade habitacional estava no quarteirão 2; a 170ª unidade habitacional estava no quarteirão 3; e a 270a unidade habitacional estava localizada no quarteirão 5. Uma lista então é feita das unidades habitacionais nos quarteirões selecionados (2, 3 e 5), normalmente enviando-se uma pessoa para visitá-los. O próximo passo é selecionar unidades habitacionais dessas listas. Se estávamos certos de que as estimativas dos tamanhos dos quarteirões eram precisas, poderíamos simplesmente selecionar 10 unidades habitacionais de cada quarteirão selecionado, usando uma amostragem aleatória simples ou sistemática; uma amostra sistemática normalmente seria a melhor porque distribuiria as unidades escolhidas pelo quarteirão. É comum, para estimativas do tamanho do estágio 1, unidades tais como os quarteirões estarem de alguma forma em erro. Podemos corrigi-los calculando a taxa em que as unidades habitacionais devem ser selecionadas do quarteirão como: (No quarteirão 2) Taxa de seleção de UH = tamanho médio do agrupamento = 10 = 1 no quarteirão UH estimadas no quarteirão 87 8,7

No nosso exemplo, pegaríamos 1 por 8,7 unidades habitacionais no quarteirão 2, 1 por 9,9 unidades habitacionais no quarteirão 3, e 1 por 1,5 unidades habitacionais no quarteirão 5. Se um quarteirão é maior do que o esperado (por exemplo, por conta de uma construção nova), mais de 10 unidades habitacionais serão extraídas; se é menor do que o esperado (por exemplo, por conta de uma demolição), menos de 10 unidades habitacionais serão retiradas. Se é exatamente o que esperávamos (por exemplo, 87 unidades habitacionais no quarteirão 2), pegamos 10 unidades habitacionais (87) 8,7 = 10. Desta maneira, o procedimento é autocorretivo para erros nas estimativas iniciais do tamanho do quarteirão, enquanto mantém a mesma chance de seleção para as unidades habitacionais em todos os quarteirões. Não importa a estimativa ou o tamanho real do quarteirão, a chance de cada unidade habitacional ser selecionada é 1 em 10. A abordagem da área de amostra probabilística pode ser usada para amostrar qualquer população geograficamente definida. Embora os pas-

46 Floyd J. Fowler Jr.

sos sejam mais complicados conforme a área fica maior, a abordagem é a mesma. Os passos-chave para lembrar são os seguintes: • A todas as áreas deve ser dada alguma chance de seleção. Combine áreas onde nenhuma unidade é esperada com áreas adjacentes para garantir uma chance de seleção; novas construções podem ter ocorrido ou as estimativas podem estar erradas. • A probabilidade de selecionar um quarteirão (ou outra área de terra) vezes a probabilidade de selecionar uma unidade habitacional de um quarteirão selecionado deve ser constante em todos os quarteirões. • Finalmente, mesmo os compiladores de campo mais cuidadosos vão deixar escapar algumas unidades habitacionais. Portanto, é uma boa prática incluir verificações das unidades perdidas no momento da coleta de dados. Discagem aleatória de dígitos A discagem de dígito aleatória (RDD – Random-digit dialing) fornece uma forma alternativa para formular uma amostra de unidades habitacionais a fim de amostrar as pessoas naqueles domicílios. Suponha que as 20 mil unidades habitacionais no exemplo anterior são abrangidas por seis centrais telefônicas. Pode-se tirar a amostra probabilística de 10% das unidades habitacionais que têm telefones, como se segue: 1. Há um total de 60 mil números de telefone possíveis naquelas 6 centrais (10 mil por central). Selecione 6 mil daqueles números (ou seja, 10%), extraindo, de cada central, mil números de quatro dígitos randomicamente gerados. 2. Disque todos os 6 mil números. Nem todos os números serão domésticos; na verdade, muitos dos números não vão estar funcionando, estarão desconectados ou temporariamente fora de serviço, ou serão empresas. Devido ao fato de 10% de todos os números de telefone possíveis que poderiam servir à área terem sido chamados, cerca de 10% de todas as residências com telefones naquela área serão alcançadas chamando a amostra de números. Esta é a abordagem da discagem aleatória de dígitos para amostragens. A desvantagem óbvia dessa abordagem é o grande número de ligações improdutivas. Nacionalmente, menos de 25% dos números possíveis

Pesquisa de levantamento 47

são associados com residências; a taxa é de cerca 30% nas áreas urbanas e de 10% nas áreas rurais. Waksberg (1978) desenvolveu um método para aproveitar o fato de que os telefones são ordenados em grupos. Cada grupo de 100 números de telefone é definido por um código de área de três dígitos, por um intervalo de três dígitos e por dois números adicionais (código de área- 4702-82xx). Por meio da realização de uma triagem inicial dos números por chamar um número aleatório em uma amostra de grupos, e então chamando números aleatórios adicionais apenas dentro do grupo de números onde um número residencial foi encontrado, a taxa de unidades habitacionais atingidas pode ser elevada a mais de 50%. Neste esquema, os grupos de 100 números de telefone são os agrupamentos. Nos últimos anos, a maioria das organizações de pesquisa tem começado a usar uma lista assistida de abordagem à discagem aleatória de dígitos. Com o avanço da tecnologia computacional, as companhias podem compilar versões computadorizadas de listas telefônicas. Essas listas são atualizadas a cada três meses. Uma vez que todas estão em um arquivo de computador, uma pesquisa pode produzir todos os agrupamentos (código de área- 4702-82xx) que tenham pelo menos um número de telefone residencial publicado. Essas companhias podem então produzir a estrutura da amostra de todos os números de telefone possíveis nos agrupamentos que têm pelo menos um número de telefone residencial publicado. A amostragem pode agora ser conduzida usando essa estrutura de amostra. Esta abordagem tem duas vantagens distintas. A primeira é que a triagem inicial de números de telefone requerida pelo método de Waksberg não é mais necessária. A constrição da estrutura da amostra já o realizou. A segunda vantagem é que a amostra selecionada usando essa estrutura não é mais agrupada. Usando-se todos os agrupamentos que possuem números de telefone residencial como uma estrutura da amostra, uma amostra simples ou sistemática aleatória de números de telefone pode ser extraída. Essa nova abordagem à discagem aleatória de dígitos é mais rentável e eficiente do que as anteriores. Uma limitação é que números de telefone em agrupamentos que não têm números de telefone residenciais listados não têm chance de seleção. Brick, Waksberg, Kulp e Starer (1995) estimaram que, em média, cerca de 4% das famílias com serviço de telefone nos Estados Unidos são deixadas de fora. Lepkowski (1988) fornece um bom resumo de várias formas de produzir amostras de números de telefone a fim de amostrar famílias. O acúmulo de listas de indivíduos e suas características fez possível alguns avanços para levantamentos por telefone. Um deles, comparativa-

48 Floyd J. Fowler Jr.

mente simples, é que diretórios de telefone invertidos podem ser usados para vincular endereços a alguns números de telefone. Um dos inconvenientes da discagem aleatória de dígitos é que as famílias não são notificadas de que um entrevistador irá ligar. As listas possibilitam separar os números selecionados em grupos (ou camadas) baseados em se há ou não um endereço residencial conhecido associado ao número. Para aqueles em que há um endereço conhecido, uma carta pode ser enviada com antecedência. Mais elaboradamente, se há listas de pessoas que têm características conhecidas que são alvo de um levantamento – uma faixa etária, aqueles que vivem em uma determinada área geográfica, pessoas que doam a uma determinada instituição de caridade – uma camada pode ser feita dos números de telefone que são prováveis de se conectar com famílias que estão sendo o alvo. Os números na outra camada ou para os quais a informação não está disponível podem ser amostrados em taxas mais baixas, dando, desse modo, a todas as famílias uma chance conhecida de seleção, mas aumentando a eficiência da coleta de dados por concentrar mais esforços nas famílias prováveis de fornecer respondentes capacitados. Note que se as probabilidades de seleção não são as mesmas para todos os respondentes, a ponderação deve ser usada no estágio de análise, como descrito no Capítulo 10. Há varias questões adicionais para notar sobre a abordagem da discagem aleatória de dígitos para produzir amostragens. Primeiro, o seu valor depende do fato de que a maioria das famílias possui serviço de telefone. Nacionalmente, apenas cerca de 5% das famílias não têm serviço doméstico, mas em algumas áreas, particularmente nas grandes cidades ou nas áreas rurais, a taxa de omissão pode ser maior do que aquela. O uso crescente de telefones celulares individuais também tem representado um problema crescente para as amostragens produzidas a partir da discagem aleatória de dígitos. A mais atual amostragem por discagem aleatória de dígitos foca apenas em serviços domésticos e evita a troca consagrada ao uso de telefones celulares. É possível produzir amostras a partir de ambos os tipos de serviço, mas a complexidade da amostragem, a coleta de dados e a ponderação pós-levantamento são muito melhores se números de celular são incluídos nas estruturas da amostra (Brick, Diplo, Presser, Tucker e Yuan, 2006; Lavraskas, Shuttles, Steeh e Fienberg, 2007). Para dar um exemplo da complexidade: amostragens baseadas em discagem aleatória de dígitos usam códigos de área para atingir populações em áreas geográficas definidas. Contudo, números de telefones celulares são muito menos ligados ao lugar em que as pessoas realmente vivem. Um levantamento baseado em códigos de área de telefones celulares alcançará algu-

Pesquisa de levantamento 49

mas pessoas que vivem fora da área geográfica alvo e, pior, omitirá aqueles que vivem na área mas que têm celulares com códigos de área distantes. Como qualquer abordagem particular de amostragem, a discagem aleatória de dígitos não é o melhor modelo para todas as pesquisas. Prós e contras adicionais serão discutidos no Capítulo 5. A introdução da discagem aleatória de dígitos como uma opção de amostragem, contudo, fez uma grande contribuição para expandir as capacidades de pesquisa nos últimos 30 anos. Com o impacto a longo prazo dos celulares e o problema das taxas de resposta (discutido no Capítulo 5), o uso futuro da discagem aleatória de dígitos continua a ser visado. Seleção de respondentes Tanto as amostras por área de probabilidade quanto a discagem aleatória de dígitos designam uma amostra de unidades habitacionais. Há, então, a questão posterior de quem no domicílio deve ser entrevistado. A melhor decisão depende de que tipo de informação está sendo reunida. Em alguns estudos, a informação que está sendo reunida é sobre a família e sobre todas as pessoas na família. Se a informação é comumente conhecida e fácil de relatar, talvez qualquer adulto que esteja em casa possa responder às perguntas. Se a informação é mais especializada, o pesquisador pode querer entrevistar o membro da família que é mais experiente. Por exemplo, na National Health Interview Survey,* a pessoa que “mais sabe sobre a saúde da família” será quem vai responder às questões que envolvem todos os membros da família. Há, porém, várias coisas que um indivíduo pode relatar apenas por si próprio. Os pesquisadores quase universalmente acreditam que nenhum indivíduo pode relatar sentimentos, opiniões ou conhecimentos por alguma outra pessoa. Há também muitos comportamentos ou experiências (por exemplo, o que as pessoas comeram ou beberam, o que compraram, o que viram ou o que lhes foi dito) que normalmente apenas podem ser reportados precisamente por autorrelatos. Quando um estudo de variáveis para as quais apenas o autorrelato é apropriado, o processo de produção da amostragem precisa ir além da seleção de famílias para amostrar indivíduos específicos dentro daqueles domicílios. Uma abordagem é entrevistar todas as pessoas elegíveis em uma família. (Portanto, não há amostragem nesta fase.) Devido à homogeneidade dentro da família, porém, bem como às preocupações acerca do fato de um respondente influenciar as respostas do seguinte, é mais *

N. de R.T.: Levantamento Nacional de Saúde.

50 Floyd J. Fowler Jr.

comum designar apenas um respondente por domicílio. Obviamente, pegar a pessoa que atende ao telefone ou à porta seria uma maneira não probabilística e potencialmente tendenciosa de selecionar indivíduos; a discrição do entrevistador e do respondente e a disponibilidade (que está relacionada ao status profissional, ao estilo de vida, à idade) poderia afetar quem acabou sendo o entrevistado. O princípio-chave da amostragem probabilística é que a seleção é realizada por meio de alguma mudança ou processo aleatório que designa pessoas específicas. O procedimento para gerar uma probabilidade de seleção de respondentes dentro das famílias envolve três etapas: 1. Verificar quantas pessoas que vivem na casa são capazes de responder (por exemplo, quantas têm 18 anos ou mais). 2. Numerá-las da mesma forma em todas as casas (por exemplo, por ordem decrescente de idade). 3. Ter um procedimento que objetivamente designa uma pessoa para ser o respondente. Kish (1949) criou um procedimento detalhado para designar respondentes utilizando um conjunto de tabelas aleatórias que ainda é usado atualmente. Quando a entrevista é assistida por computador, é fácil fazer com que ele selecione um dos membros elegíveis da família. As características essenciais do processo de seleção são que nenhum critério está envolvido e que todas as pessoas nos domicílios selecionados têm uma probabilidade de seleção conhecida (e não zero). Groves e Lyberg (1988) revisaram várias estratégias para simplificar os procedimentos de seleção de respondentes. Uma das preocupações acerca dos procedimentos de seleção de respondentes é que a interação inicial quando do primeiro contato com alguém é fundamental para assegurar a cooperação. Se o procedimento de seleção é muito incômodo ou parece intrusivo, isso pode afetar negativamente a taxa de respondentes. Portanto, têm havido vários esforços para encontrar melhores formas de amostrar adultos nas famílias selecionadas. Um método popular é do “último aniversário”. Pede-se à pessoa contatada para que identifique o adulto que fez aniversário mais recentemente, e esta pessoa é o respondente designado. Em princípio, esta deveria ser uma forma imparcial para selecionar respondentes. Na prática, depende do fato de se o contato inicial colheu informações sobre o aniversário de todos os membros da família. Outra abordagem de seleção relativamente nova é selecionar a pessoa com quem o entrevistador falou primeiro. Primeiro, o número de pessoas

Pesquisa de levantamento 51

elegíveis na residência é determinado. Se há dois ou mais, um algoritmo aleatório escolhe se o informante inicial na taxa adequada ou escolhe entre os “outros” adultos elegíveis (se há mais de um) (Rizzo, Brick e Park, 2004). Sem importar como o respondente é escolhido, quando apenas uma pessoa é entrevistada em uma família, ele ou ela obviamente será o respondente se a família for selecionada. Em contraste, um adulto que vive em uma família de três adultos apenas será o respondente um terço do tempo. Sempre que um grupo identificável é selecionado em uma taxa diferente da dos outros, pesos são necessários para que as pessoas hiperamostradas não sejam hiper-representadas nas estatísticas da amostra. No exemplo anterior neste capítulo, quando estudantes do sexo masculino foram selecionados com o dobro da taxa de estudantes do sexo feminino, suas respostas foram ponderadas pela metade e assim sua proporção ponderada da amostra seriam as mesmas da população. A mesma abordagem geral se aplica quando um respondente é escolhido em famílias com número variável de pessoas elegíveis. A maneira mais simples de ajustar para o efeito de selecionar um respondente por domicílio é pesar cada resposta pelo número de pessoas elegíveis naquela família. Assim, se há três adultos, o peso é três; se há dois adultos elegíveis, o peso é dois; e se há apenas um adulto, o peso é um. Se um esquema de ponderação é correto, a probabilidade de seleção vezes o peso é o mesmo para todos os respondentes. (Ver o Capítulo 10.)

FAZENDO ESTIMATIVAS A PARTIR DE AMOSTRAS E DE ERROS DE AMOSTRAGEM As estratégias de amostragem apresentadas anteriormente foram escolhidas porque estão entre as mais comumente usadas e ilustram as principais opções de esquemas de amostragem. Um esquemas de amostra probabilística eventualmente designará um conjunto específico de domicílios ou indivíduos sem a interferência de pesquisadores ou respondentes. As ferramentas básicas disponíveis para o pesquisador são a amostra aleatória e a amostragem sistemática, que são modificadas pela estratificação, taxas desiguais de seleção e agrupamento. A escolha de uma estratégia de amostragem repousa, em parte, sobre a viabilidade e sobre os custos; isso também envolve a precisão das estimativas da amostra. A principal razão para o uso de métodos de probabilidade de amostragem é permitir o uso de uma variedade de ferramentas estatísticas para estimar

52 Floyd J. Fowler Jr.

a precisão das estimativas de amostra. Nesta seção, o cálculo de tais estimativas e como elas são afetadas pelas características do desenho da amostra são discutidos. Os pesquisadores normalmente não têm interesse nas características de uma amostra em si. A razão para coletar dados sobre uma amostra é alcançar conclusões acerca de uma população inteira. Questões estatísticas e de projeto são consideradas, neste capítulo, no contexto de quanta confiança se pode ter de que uma amostra descreve precisamente a população como um todo. Como descrito no Capítulo 2, uma forma de pensar sobre os erros de amostragem é pensar na distribuição de médias que se pode obter se várias amostras forem extraídas da mesma população com o mesmo procedimento. Embora algumas fontes de erro em levantamentos sejam polarizadas e produzam cálculos sistematicamente distorcidos, os erros de amostragem são um resultado aleatório (e, portanto, não uma polarização sistemática) da amostragem. Quando procedimentos de probabilidade são usados para selecionar uma amostra, é possível calcular quanto as estimativas de amostra podem variar devido à amostragem. Se um número infinito de amostras é extraído, as estimativas da amostra de estatísticas descritivas (por exemplo, as médias) formarão uma distribuição normal em torno do verdadeiro valor da população. Quando maior o tamanho da amostra e menor a variância do que está sendo medido, mais rigorosamente as estimativas irão se agrupar em torno do verdadeiro valor da população, e mais precisa uma estimativa baseada em amostra normalmente será. Esta variação em torno do valor verdadeiro, decorrente do fato de que as amostras podem diferir da população como um todo, é chamada de “erro de amostragem”. Estimar os limites de confiança que se pode ter em uma estimativa da amostra, dada a chance normal de variabilidade de amostragem, é uma parte importante da avaliação dos cálculos derivados de levantamentos. O projeto da seleção de amostra (especificamente se isso envolve estratificação, agrupamento ou probabilidades de seleção desiguais) afeta as estimativas de erros de amostragem para uma amostra de um dado tamanho. A abordagem usual para descrever erros de amostragem, contudo, é calcular o que eles seriam para uma amostra aleatória simples, e então calcular os efeitos de variação de um plano de amostragem aleatória simples. Portanto, o cálculo dos erros da amostragem para amostras aleatórias simples é descrito primeiro.

Pesquisa de levantamento 53

Erros de amostragem para amostras aleatórias simples Este não é um livro sobre amostragens estatísticas. Estimar a quantidade de erros que se pode esperar do projeto de uma amostra em particular, contudo, é uma parte básica do processo de planejamento do levantamento. Além disso, os pesquisadores rotineiramente abastecem os leitores com orientações acerca dos erros atribuíveis à amostragem, orientações que tanto os leitores informados quanto os usuários dos dados de pesquisas devem saber e entender. Para este fim, uma noção de como o erro de amostragem é calculado é uma parte necessária para entender todo o processo de levantamento. Embora a mesma lógica se aplique a todas as estatísticas calculadas a partir de uma amostra, as estimativas de levantamentos mais comuns são as médias e as proporções. A estatística mais frequentemente usada para descrever erros de amostragem é chamada de erro padrão (da média). Isso é o desvio padrão da distribuição de estimativas de amostra de médias que seria formado se um número infinito de amostras de determinado tamanho fosse extraído. Quando o valor de um erro padrão foi estimado, pode-se dizer que 67% das médias de amostras de um dado tamanho e formato cairão dentro do intervalo de ±1 erro padrão da média verdadeira da população; 95% de tais amostras cairão dentro do intervalo de ±2 erros padrão. O último valor (±2 erros padrão) muitas vezes é relatado como o “intervalo de confiança” em torno de uma estimativa de amostra. A estimativa do erro padrão de uma média é calculada a partir da variação e do tamanho da amostra a partir da qual isso foi calculado:

EP =

√

Var n

EP = erro padrão de uma média Var = a variação (soma dos desvios quadrático da média da amostra sobre n) n = tamanho da amostra O tipo mais comum de média calculada a partir de um levantamento de amostras é provavelmente a porcentagem de uma amostra que tem uma determinada característica ou que fornece uma determinada resposta. Isso pode ser útil para mostrar como uma porcentagem é a média de uma distribuição de dois valores. Uma média é uma média. Isso é calculado como a soma dos valores divididos pelo número de casos: ∑x/n. Agora suponha que existam ape-

54 Floyd J. Fowler Jr.

nas dois valores, 0 (não) e 1 (sim). Há 50 casos em uma amostra; 20 dizem “sim” quando perguntados se são casados, e o resto diz “não”. Se há 20 respostas “sim” e 30 respostas “não”, calcule a média como

∑ x (20 x 1 + 30 x 0) 20 = = = 0,40 n 50 50

Uma declaração de percentual, como 40% dos respondentes são casados, é apenas uma afirmação sobre a média de uma distribuição 1/0; a média é 0,40. O cálculo de erros padrão de porcentagens é facilitado pelo fato de que a variação de uma porcentagem pode ser calculada facilmente como p x (1 – p), em que p = porcentagem que tem uma característica (por exemplo, os 40% de casados no exemplo anterior) e ( 1 – p) é a porcentagem a qual falta a característica (por exemplo, os 60% de não casados). Nós já vimos que o erro padrão de uma média é como segue: EP =



√

Var n

Porque p(1 – p) é a variação de uma porcentagem, EP =



√

p(1–p) n

é o erro padrão de uma porcentagem. No exemplo anterior, com 40% da amostra de 50 pessoas sendo casada, o erro padrão daquela estimativa poderia ser como segue:

SE =

√

p(1–p) = n

√

0,40 x 0,60 = 50

√

0,24 = 00,7 50

Assim poderíamos estimar que a probabilidade é 0,67 (ou seja, ± 1 erro padrão da média da amostra) que o valor verdadeiro da população (a porcentagem de toda a população que é casada) está entre 0,33 e 0,47 (0,40 ± 0,07). Estamos 95% confiantes de que o valor verdadeiro da população está dentro de dois erros padrão de nossa média de amostra, ou seja, entre 0,26 e 0,54 (0,40 ± 0,14). A Tabela 3.1 é uma tabela generalizada de erros de amostragem para amostras de vários tamanhos e para várias porcentagens, visto que as amostras foram selecionadas como amostras aleatórias simples. Cada número na tabela representa dois erros padrão de uma porcentagem. Dado o conhecimento (ou uma estimativa) da porcentagem de uma amostra que fornece uma determinada resposta, a tabela oferece 95% de inter-

Pesquisa de levantamento 55

valos de confiança para vários tamanhos de amostra. No exemplo anterior, com 50 casos rendendo uma estimativa de amostra de 40% de casados, a tabela relata um intervalo de confiança próximo de 0,14, como calculamos. Se uma amostra de cerca de 100 casos produziu uma estimativa de que 20% eram casados, a tabela diz que nós podemos estar 95% certos de que o número real é 20% ± 8 pontos percentuais (ou seja, de 12 a 28%). Vários pontos sobre a tabela não são relevantes. Em primeiro lugar, pode-se observar que amostras cada vez maiores sempre reduzem erros de amostragem. Segundo, também podemos observar que adicionar um dado número de casos a uma amostra reduz os erros de amostragem muito mais quando a amostra é pequena do que quando é comparativamente grande. Por exemplo, adicionar 50 casos a uma amostra de 50 produz uma notável redução nos erros de amostragem. Adicionar 50 casos a uma amostra de 500, contudo, produz um aumento praticamente imperceptível na precisão geral das estimativas de amostra. Em terceiro lugar, pode-se observar que o tamanho absoluto do erro de amostragem é maior em torno de porcentagens de 0,5 e diminui à medida que uma amostra tem uma característica que se aproxima de 0 ou de 100%. Temos visto que erros padrão são diretamente relacionados com variações. A variação p(1 – p) é menor quanto mais as porcentagens se distanciam de 0,5. Quando p = 0,5, (0,5 x 0,5) = 0,25. Quando p = 0,2, (0,2 x 0,8) = 0,16. Em quarto lugar, a Tabela 3.1 e as equações nas quais ela é baseada se aplicam a amostras colhidas com procedimentos de amostragem aleatória simples. A maioria das amostras de populações gerais não são amostras aleatórias simples. A extensão em que o projeto particular de amostra vai afetar os cálculos de erro de amostragem varia de projeto para projeto e por diferentes variáveis no mesmo levantamento. Na maioria das vezes, a Tabela 3.1 constituirá uma subestimação dos erros de amostragem para uma amostra geral de população. Finalmente, deve ser enfatizado que a variabilidade refletida na Tabela 3.1 descreve o potencial de erros que vêm do fato de se produzir uma amostra em vez de se coletar informações sobre cada indivíduo em uma população. Os cálculos não incluem estimativas de erro de nenhum outro aspecto do processo de pesquisa.

56 Floyd J. Fowler Jr.

Tabela 3.1 Intervalos de confiança para variabilidade atribuível à amostragem* Percentual de amostras com característica Tamanho da Amostra

5/95

10/90

20/80

30/70

50/50

35

7

10

14

15

17

50

6

8

11

13

14

75

5

7

9

11

12

100

4

6

8

9

10

200

3

4

6

6

7

300

3

3

5

5

6

500

2

3

4

4

4

1.000

1

2

3

3

3

1.500

1

2

2

2

2

NOTA: As chances são de 95 em 100 de que o valor real da população se encontre entre o intervalo definido pelo número ± indicado na tabela, dada a porcentagem da amostra que relata a característica e o número de casos de amostra nos quais a porcentagem é baseada. * Esta tabela descreve as variabilidades atribuíveis à amostragem. Erros resultantes da ausência de resposta ou erros de relato não são refletidos nesta tabela. Também, esta tabela assume uma amostra aleatória simples. As estimativas podem estar sujeitas a mais variabilidades do que esta tabela indica por conta do projeto de amostra ou da influencia dos entrevistadores sobre as respostas obtidas; a estratificação pode reduzir os erros de amostragem abaixo daqueles indicados aqui.

Efeitos de outras características de projetos de amostras A discussão anterior descreve o cálculo de erros de amostragem para amostras aleatórias simples. As estimativas dos erros de amostragem serão afetadas por diferentes procedimentos de amostragem. A amostragem sistemática deve produzir erros equivalentes aos das amostras aleatórias simples se não há estratificação. Amostras estratificadas podem produzir erros que são menores do que aqueles associados a amostras aleatórias simples do mesmo tamanho por variáveis que diferem (em média) por camadas, se as taxas de seleção são constantes ao longo da camada. Taxas desiguais de seleção (selecionar subgrupos na população em diferentes taxas) são projetadas para melhorar a precisão de estimativas para grupos sobreamostrados, assim (a) elas geralmente irão produzir erros de amostragem para toda a amostra que são maiores do que aqueles associados a amostras aleatórias simples do mesmo tamanho, para variáveis que diferem por camada, exceto (b) quando a sobreamostragem é apontada na camada que tem mais variações do que a média para algumas variáveis, os erros

Pesquisa de levantamento 57

de amostragem para aquelas variáveis serão menores do que para uma amostra aleatória simples do mesmo tamanho. Agrupamentos tendem a produzir erros de amostragem que são maiores do que aqueles associados a amostras aleatórias simples do mesmo tamanho para variáveis que são mais homogêneas nos agrupamentos do que na população como um todo. Também, quanto maior o tamanho do agrupamento na última etapa, maiores normalmente serão os impactos sobre os erros de amostragem. Frequentemente não é fácil antecipar os efeitos das características do projeto sobre a precisão das estimativas. Eles diferem de estudo para estudo e por diferentes variáveis na mesma pesquisa. Para ilustrar, suponha que cada casa nos vários quarteirões selecionados eram as mesmas com respeito ao tipo de construção e se eram ou não ocupadas pelos proprietários. Uma vez que um respondente em um quarteirão relate que é proprietário de uma casa, as entrevistas adicionais naquele quarteirão absolutamente não produziriam informação nova sobre a taxa de propriedade de casas na população como um todo. Por essa razão, quer o pesquisador faça 1 ou 20 entrevistas por quarteirão, a confiabilidade daquela estimativa seria exatamente a mesma, basicamente proporcional ao número de quarteirões dos quais nenhuma entrevista foi tomada. No outro extremo, a estatura dos adultos é provável de variar tanto dentro de um quarteirão quanto em toda a cidade. Se os respondentes em um quarteirão são tão heterogêneos quanto à população como um todo, o agrupamento não diminui a precisão das estimativas de altura a partir de uma amostra de um dado tamanho. Assim, deve-se olhar para a natureza do agrupamento ou da camada e que estimativas devem ser feitas a fim de avaliar o efeito provável do agrupamento em erros de amostragem. Os efeitos do projeto de amostra sobre os erros de amostragem normalmente são pouco apreciados. Não é incomum ver relatos de intervalos de confiança que assumem amostragem aleatória simples quando o projeto foi agrupado. Também não é simples questão de prever com antecedência o tamanho dos efeitos do projeto. Como notado, os efeitos do projeto da amostra sobre os erros de amostragem são diferentes para cada variável; seu cálculo é particularmente complicado quando um projeto de amostra tem vários desvios da amostragem aleatória simples, como agrupamento e estratificação. Devido ao fato de a habilidade para calcular erros de amostragem ser uma das principais forças do método de levantamento, é importante que uma estratificação seja envolvida em um levan-

58 Floyd J. Fowler Jr.

tamento com um complexo projeto da amostra para garantir que os erros de amostragem são calculados e relatados apropriadamente. O problema de levar em consideração apropriadamente as características do projeto quando da estimativa dos erros de amostragem vem sendo muito simplificado pelo fato de que vários pacotes de análise disponíveis farão tais ajustes. (Ver o Capítulo 10.) Finalmente, a adequação de qualquer característica do projeto de amostra pode ser avaliada apenas no contexto dos objetivos do levantamento total. Projetos agrupados são prováveis de economizar dinheiro tanto na amostragem (lista) quanto na coleta de dados. Além disso, é comum encontrar muitas variáveis para as quais agrupamento não inflam muito os erros de amostragem. Como a maioria das questões discutidas neste livro, o ponto importante para um pesquisador é que ele seja consciente dos possíveis custos e benefícios das opções e pesá-las no contexto de todas as opções de projeto e os principais propósitos do levantamento.

DE QUE TAMANHO DEVE SER UMA AMOSTRA? Das muitas questões envolvidas no projeto de amostras, umas das mais comuns colocadas para um metodologista é quão grande uma amostra de levantamento deve ser. Antes de fornecer uma abordagem para responder a essa questão, talvez seja adequado discutir três formas comuns, mas inapropriadas, de respondê-la. Um equivoco comum é que a adequação de uma amostra depende profundamente da fração da população incluída naquela amostra – que de alguma maneira 1%, 5%, ou alguma outra porcentagem de uma população fará uma amostra verossímil. As estimativas de erros de amostragem discutidas anteriormente não levam em consideração a fração de uma população incluída em uma amostra. As estimativas de erros de amostragem das equações precedentes e da Tabela 3.1 podem ser reduzidas multiplicando-as pelo valor (1 - f), onde f = a fração da população incluída em uma amostra. Quando uma amostragem é de 10 % da população, esse ajuste pode ter um efeito perceptível sobre as estimativas dos erros de amostragem. A grande maioria das amostras de levantamento, contudo, envolve frações muito pequenas da população. Em tais casos, pequenos incrementos nas frações de uma população incluída em uma amostra não terão efeito sobre a capacidade de um pesquisador para generalizar a partir de uma amostra para uma população.

Pesquisa de levantamento 59

O oposto desse princípio também deve ser notado. O tamanho de uma população a partir da qual uma amostra de um tamanho particular é retirada tem praticamente nenhum impacto sobre quão bem aquela amostra é provável de descrever a população. Uma amostra de 150 pessoas descreverá uma população de 15 mil ou de 15 milhões com praticamente o mesmo grau de precisão, presumindo que todos os outros aspectos de projeto de amostra e procedimentos de amostragem são os mesmos. Comparado ao tamanho total da amostra e a outras características do projeto, tais como agrupamento, o impacto da fração da população amostrada sobre os erros de amostragem normalmente é trivial. É incomum que isso seja uma consideração importante ao decidir sobre o tamanho da amostra. Uma segunda abordagem inapropriada para decidir sobre o tamanho da amostra é um pouco mais fácil de entender. Algumas pessoas foram expostas aos chamados padrões de estudos de levantamento e, a partir disso, derivaram um típico ou adequado tamanho de amostra. Assim, algumas pessoas vão dizer que levantamentos ideais de amostras nacionais geralmente são de 1500, ou que amostras ideais da comunidade são de 500. Naturalmente não é tolo olhar o que outros pesquisadores competentes têm considerado como um tamanho adequado de amostra de uma população particular. A decisão do tamanho da amostra, contudo, como a maioria das outras decisões de projeto, devem ser feitas caso a caso, com os pesquisadores considerando a variedade de objetivos a serem alcançados por um determinado estudo e levando em consideração vários outros aspectos do projeto de pesquisa. Uma terceira abordagem errada para decidir sobre o tamanho da amostra é a mais importante de se falar, por poder ser encontrada em vários livros sobre estatística. A abordagem é assim: Um pesquisador deve decidir qual margem de erro ele pode tolerar ou qual precisão é requerida das estimativas. Uma vez que se sabe a necessidade de precisão, usa-se simplesmente uma tabela tal como a Tabela 3.1, ou variações adequadas dela, para calcular o tamanho necessário da amostra para alcançar o nível de precisão desejado. Do ponto de vista teórico, não há nada errado com essa abordagem. Na prática, contudo, isso fornece pouca ajuda para a maioria dos pesquisadores que estão tentando projetar estudos reais. Primeiro, não é comum basear a decisão sobre o tamanho da amostra na necessidade de precisão de uma única estimativa. A maioria dos estudos de levantamento são projetados para fazer várias estimativas, e a precisão necessária para essas estimativas provavelmente varia.

60 Floyd J. Fowler Jr.

Além disso, não é comum para um pesquisador estar apto a especificar o nível de precisão desejado mais do que de uma maneira geral. É apenas uma exceção, mais do que uma situação comum, quando uma margem específica aceitável de erros pode ser especificada com antecedência. Mesmo em último caso, a abordagem citada implica que o erro de amostragem é a única ou a principal fonte de erros em uma estimativa de pesquisa. Quando um nível de precisão necessário de uma amostra de pesquisa é especificado, isso geralmente ignora o fato de que haverá erros de outras fontes que não a amostragem. Em tais casos, o cálculo de precisão baseado no erro de amostragem é apenas uma simplificação irrealista. Além disso, dados os recursos fixos, aumentar o tamanho da amostra pode até mesmo diminuir a precisão por reduzir os recursos devotados às taxas de resposta, à formulação das perguntas ou à qualidade da coleta de dados. As estimativas de erros de amostragem são relacionadas ao tamanho da amostra, desempenham um papel na análise de quão grande uma amostra deve ser. Este papel, contudo, é complicado. O primeiro pré-requisito para determinar o tamanho da amostra é um plano de análise. O componente-chave do plano de análise normalmente não é uma estimativa de intervalos de confiança para a amostra total, mas antes um esboço dos subgrupos dentro da população total para os quais estimativas separadas são necessárias, junto com algumas estimativas da fração da população que cairá dentro daqueles subgrupos. Tipicamente, o processo de formulação se move rapidamente para identificar os grupos menores dentro da população para a qual números são necessários. O pesquisador então estima o tamanho necessário da amostra a fim de que seja minimamente adequada a esses subgrupos pequenos. A maioria das decisões sobre o tamanho da amostra não focam nas estimativas para a população total; antes, elas são concentradas nos tamanhos mínimos de amostra que podem ser tolerados para os menores subgrupos de importância. O processo então se volta para a Tabela 3.1, não para a parte mais cara, mas para a menos dispendiosa da continuidade do tamanho da amostra. São adequadas 50 observações? Se estudarmos a Tabela 3.1, podemos ver que a precisão aumenta constantemente até os tamanhos de amostra de 150 a 200. Depois desse ponto, há um ganho muito mais modesto para aumentar o tamanho da amostra. Como a maioria das decisões relacionadas ao projeto de pesquisa, raramente há uma resposta definitiva sobre quão grande uma amostra deve ser para qualquer dado estudo. Há muitas formas de aumentar a confiabilidade das estimativas de levantamento. Aumentar o tamanho da amostra é

Pesquisa de levantamento 61

uma delas. Mesmo se não se pode dizer que há uma única resposta correta, contudo, pode ser dito que há três abordagens para decidir sobre o tamanho da amostra que são inadequadas. Especificar uma fração da população a ser incluída na amostra nunca é o caminho certo para decidir sobre o tamanho desta. Os erros de amostragem dependem principalmente do tamanho da amostra, e não da proporção da população nela. Dizer que um tamanho de amostra em particular é a abordagem usual ou típica para estudar a população também é quase sempre uma abordagem errada. Um plano de análise que aborda os objetivos de um estudo é o primeiro passo crítico. Finalmente, é muito raro que calcular um intervalo de confiança desejado de uma variável para uma população inteira seja o cálculo determinante em relação ao tamanho que a amostra deve ter.

O ERRO DE AMOSTRAGEM COMO UM COMPONENTE DO ERRO TOTAL DE LEVANTAMENTO O processo de amostragem pode afetar a qualidade das estimativas de levantamento de três formas diferentes: • Se a estrutura da amostra inclui algumas pessoas a quem nós queremos descrever, as estimativas serão tendenciosas na medida em que aqueles que foram omitidos diferem dos que foram incluídos. • Se o processo de amostragem não é probabilístico, a relação entre a amostra e aqueles amostrados é problemática. Pode-se defender a credibilidade de uma amostra por razões diferentes das do processo de amostragem; contudo, não há base estatística para dizer que uma amostra é representativa da população amostrada a menos que o processo de amostragem dê a cada pessoa selecionada uma probabilidade conhecida de seleção. • O tamanho e o formato de uma amostra de probabilidade, juntamente com a distribuição de o que está sendo estimado, determina o tamanho dos erros de amostragem, ou seja, as possíveis variações que ocorrem por conta da coleta de dados sobre apenas uma amostra de uma população. Frequentemente os erros de amostragem são apresentados de forma que os implicam como a única fonte de desconfiança em estimativas

62 Floyd J. Fowler Jr.

de levantamento. Para levantamentos que utilizam grandes amostras, outras fontes de erros provavelmente são mais importantes. Um tema principal deste livro é que erros de não amostragem justificam tanta atenção quando os erros de amostragem. Também, não é incomum ver erros de amostragem relatados que assumem procedimentos de amostragem aleatória simples quando o projeto de amostra envolve agrupamentos, ou até mesmo quando não eram amostras probabilísticas. Dessa forma, ironicamente, estimativas de erros de amostragem podem conduzir os leitores ao erro sobre a precisão ou exatidão das estimativas de amostra. Amostrar e analisar dados de uma amostra pode ser bastante simples se uma boa lista é usada como estrutura de amostragem, se um esquema simples aleatório ou sistemático de amostragem é usado, e se todos os respondentes são selecionados na mesma proporção. Com tal modelo, a Tabela 3.1 e as equações nas quais ela é baseada vão fornecer boas estimativas de erros de amostragem. Mesmo com tal modelo simples, contudo, os pesquisadores precisam considerar todas as fontes de erros, incluindo a estrutura da amostra, a ausência de resposta e os erros de resposta (todos discutidos nos capítulos subsequentes) quando estiverem avaliando a precisão das estimativas do levantamento. Além disso, quando há dúvidas sobre a melhor forma para amostrar, ou quando há desvios da amostragem aleatória simples, é praticamente essencial envolver um especialista em amostragem tanto para projetar um plano apropriado quanto para analisar os resultados corretamente a partir de um complexo projeto de amostra.

EXERCÍCIOS 1. A fim de apreender o significado de erro de amostragem, repetidas amostras sistemáticas do mesmo tamanho (com inícios aleatórios diferentes) podem ser extraídas da mesma lista (por exemplo, uma lista telefônica). A proporção daquelas amostras tendo algumas características (por exemplo, uma listagem de empresas) tomadas em conjunto formarão uma distribuição. Tal distribuição terá um desvio padrão que é de cerca da metade da entrada na Tabela 3.1 para amostras dos tamanhos extraídos. Também é válido calcular várias das entradas na Tabela 3.1 (isto é, para diferentes tamanhos de amostras e proporções) para ajudar a entender como os números são derivados.

Pesquisa de levantamento 63

2. Qual percentagem de adultos nos Estados Unidos você estimaria: a. Os que têm licença para dirigir? b. Os que têm números de telefone listados? c. Os que são registrados para votar? d. Os que têm um endereço de e-mail pessoal (não em seu trabalho)? 3. Quais são algumas diferenças prováveis entre aqueles que estariam naquelas estruturas de amostra e aqueles que não estariam? 4. Comparadas com as amostras aleatórias simples, as alternativas a seguir tendem a aumentar, diminuir, ou não ter nenhum efeito sobre os erros de amostragem? a. Agrupar? b. Estratificar? c. Usar uma abordagem de amostragem sistemática?

Leituras Complementares Kalton, G. (1983). Introduction to survey sampling. Beverly Hills, CA: Sage. Kish, L. (1965). Survey sampling. New York: John Wiley. Lohr, S. L. (1998). Sampling design and analysis. New York: Brooks/Cole.

4

Ausência de resposta implementando um projeto de amostra

A falha em coletar dados a partir de uma alta porcentagem daqueles selecionados para estar em uma amostra é a principal fonte potencial de erros de levantamento. As abordagens para contatar respondentes e recrutar cooperação por correio, telefone, internet e entrevistas pessoais são discutidos. Os vieses associados a não resposta são descritos, como o são as desvantagens de estratégias tais como amostras por cota para evitar o esforço requerido para obter altas taxas de resposta.

A ideia de uma amostra probabilística de pessoas é que todos os indivíduos na população-alvo (ou pelo menos a estrutura da amostra) têm uma chance conhecida de ter dados coletados sobre ele ou ela. Um procedimento de amostragem vai designar um conjunto específico de indivíduos (ou unidades de algum tipo); a qualidade dos dados da amostra depende de quão bem aqueles de quem os dados são realmente coletados refletem a população total com respeito às variáveis que a pesquisa é designada a descrever. Os procedimentos usados para coletar dados são tão importantes quanto o processo de seleção de amostra em determinar quão bem os dados desta descrevem a população. Certamente, a exatidão de qualquer estimativa particular de uma amostra depende de quem fornece uma resposta para uma determinada questão. Em todo levantamento, há alguns respondentes que não respondem a todas as questões. Embora a ausência de resposta a questões individuais seja normalmente baixa, ocasionalmente ela pode ser alta e pode ter um efeito real sobre as estimativas. O foco deste capítulo é, contudo, sobre aquelas pessoas que não fornecem quaisquer dados. (Ver Capítulo 10 para mais discussões sobre este item.)

Pesquisa de levantamento 65

Há três características daqueles selecionados para estar em uma amostra que realmente não fornecem dados: • Aqueles a que o procedimento de coleta de dados não atinge, não lhes dando, assim, a chance de responder às questões. • Aqueles solicitados a fornecer dados e que se recusam a fazê-lo. • Aqueles solicitados a fornecer dados e que são incapazes de realizar a tarefa requerida (por exemplo, pessoas que estão doentes demais para ser entrevistadas, que não falam a língua do pesquisador ou cujas habilidades de leitura e escrita impedem o seu preenchimento de questionários autoadministrados. Os procedimentos que um pesquisador decide usar podem ter uma importante influencia sobre a porcentagem de uma amostra que realmente fornece informação (isto é, a taxa de resposta) e sobre a medida em que não respondentes introduzem viés nos dados da amostra. Para a maior parte, o efeito provável da ausência de resposta é influenciar as amostras, ou seja, fazê-las sistematicamente diferentes da população da qual foram extraídas, produzindo assim estimativas potencialmente tendenciosas. Neste capítulo, os efeitos da ausência de resposta sobre as estimativas do levantamento e os procedimentos para reduzi-la são discutidos.

CALCULANDO TAXAS DE RESPOSTA A taxa de resposta é um parâmetro básico para avaliar os esforços da coleta de dados. É simplesmente o número de pessoas que completam a pesquisa dividido pelo número de pessoas (ou unidades) amostradas. O denominador inclui todas as pessoas na população de estudo que foram selecionadas mas não responderam por qualquer que seja a razão: recusas, problemas com a língua, doença ou falta de disponibilidade. Algumas vezes um formato de amostra envolverá uma triagem para encontrar membros de uma população a ser estudada. Unidades de triagem que não incluem as pessoas na população de estudo não entram no cálculo da taxa de resposta. Consequentemente, imóveis vagos, números de telefone que não estão funcionando ou que não servem a unidades residenciais, ou famílias em que nenhuma pessoa elegível reside (por exemplo, domicílios em que nenhum idoso vive quando se está extraindo uma amostra de idosos) são omitidos no cálculo de taxas de resposta. Se há algumas unidades para as quais a informação necessária

66 Floyd J. Fowler Jr.

para determinar a elegibilidade não é obtida, contudo, a taxa de resposta é incerta. A melhor abordagem, nessa situação, é calcular as taxas de resposta utilizando hipóteses conservativas e liberais sobre a taxa de elegibilidade das unidades que não passaram pela triagem e relatar o intervalo, juntamente com a melhor estimativa. Taxas de resposta são normalmente relatadas como a porcentagem de uma amostra selecionada a partir da qual os dados foram coletados. Um cálculo posterior pode às vezes ser feito da fração da população representada na amostra. Se a estrutura da amostra não omite nenhuma pessoa da população de estudo, a taxa de resposta é a mesma da porcentagem da população representada na amostra. Se apenas 95% da população tem um telefone, contudo, a melhor estimativa da porcentagem da população representada em uma amostra é 0,95 vezes a taxa de resposta para um levantamento por telefone. É importante saber os detalhes da forma como as taxas de resposta são calculadas. Diferenças na forma do cálculo podem dificultar as comparações ou fazê-las inadequadas. Por exemplo, algumas organizações relatam uma “taxa de conclusão”, a porcentagem de famílias contatadas nas quais uma entrevista foi completada. Tais números serão sempre superiores à taxa de resposta descrita anteriormente, a qual inclui unidades selecionadas não contatadas no de­nominador. Uma publicação disponível da American Association of Public Opinion Research (AAPOR) fornece uma excelente discussão dos cálculos da taxa de resposta e de como relatá-los (AAPOR, 2006).

VIÉS ASSOCIADO À AUSÊNCIA DE RESPOSTA O efeito da ausência de resposta sobre as estimativas do levantamento depende da porcentagem que não responde e da medida em que aqueles que não respondem são tendenciosos – ou seja, sistematicamente diferente de toda a população. Se a maioria daqueles selecionados fornece dados, as estimativas da amostra serão muito boas mesmo se os não respondentes forem distintivos. Por exemplo, quando a Bureau of the Census dos Estados Unidos realiza a National Health Interview Survey, é bem-sucedida em completar entrevistas em mais de 90% das famílias selecionadas. É fácil de mostrar que mesmo se os 10% não respondentes são muito distintivos, as amostras resultantes são ainda muito similares à população como um todo.

Pesquisa de levantamento 67

A experiência do Bureau of the Cesus é extrema no sentido positivo. No outro extremo, ocasionalmente ver-se-á relatórios de levantamentos feitos por correio ou pela internet nos quais de 5 a 20% da amostra selecionada respondeu. Nesses casos, a amostra final pode ter uma pequena relação com o processo de amostragem original; esses respondentes são essencialmente autosselecionados. É muito improvável que tais procedimentos forneçam algumas estatísticas credíveis sobre as características da população como um todo. As taxas de resposta para a maioria dos projetos de pesquisa de levantamento estão em algum lugar entre esses dois extremos. Elas geralmente são superiores em áreas rurais do que o são em grandes cidades. Também é mais fácil coletar informações de algum adulto responsável em uma família do que obter uma entrevista com um respondente específico designado. Alguns assuntos (por exemplo, saúde) podem interessar mais pessoas do que outros tópicos (por exemplo, comportamento econômico ou opinião pública). Além disso, organizações de pesquisa diferem consideravelmente na medida em que dedicam tempo e dinheiro para melhorar as taxas de resposta. Não há nenhum padrão acordado para uma taxa de resposta mínima aceitável. O Office of Management and Budget do governo federal, o qual analisa os levantamentos feitos sob contrato com o governo, geralmente solicita que os procedimentos sejam suscetíveis de produzir uma taxa de resposta superior a 80% e exige uma análise da ausência de resposta se um levantamento não atende a esse padrão (OMB, 2006). Nos Estados Unidos, as organizações de pesquisa acadêmica por vezes são capazes de atingir taxas de resposta para adultos designados na faixa de 70% para pesquisas em pessoa com amostras gerais de famílias. A General Social Survey, realizada pelo National Opinion Research Center, é um exemplo. Taxas de resposta para levantamentos de amostras em cidades ou o uso de amostras de discagem aleatória de dígitos provavelmente são inferiores – frequentemente muito inferiores. A natureza dos vieses associados à ausência de resposta difere um pouco entre correio, telefone e procedimentos de entrevista pessoal. Uma generalização que parece sustentar a maioria dos levantamentos por correio é que as pessoas que têm um interesse particular no assunto ou na pesquisa em si são mais prováveis de retornar questionários por correio do que aquelas que são menos interessadas (Groves et al. 2006). Isso significa que levantamentos por correio com baixas taxas de resposta podem ser significativamente tendenciosos na maneira com que são relacionados diretamente aos propósitos da pesquisa (Filion, 1975; Heberlein e

68 Floyd J. Fowler Jr.

Baumgartner, 1978; Jobber, 1984). Por exemplo, um estudo daqueles que não retornam um questionário por correio sobre experiências de cuidados com a saúde, mas que foram posteriormente entrevistados por telefone, indicou que os que não responderam por correio eram mais jovens, mais saudáveis, usavam menos os serviços de saúde, e eram mais propensos a ser homens do que os respondentes por correio (Fowler et al., 2002). Gallangher, Fowler e Stringfellow (2005) relataram em outro estudo em que os registros de saúde dos que não responderam estavam disponíveis, permitindo-lhes concluir que os primeiros respondentes por correio eram significativamente diferentes dos últimos de diversas formas altamente relevantes para o levantamento. Outro exemplo de viés significativo a partir da baixa resposta aos questionários por correspondência é a pesquisa frequentemente citada, da eleição presidencial de 1936, feita pela Literary Digest, que conseguiu prever a vitória para Alf Landon em uma eleição que Franklin Roosevelt ganhou por maioria de votos. Conta-se a história de que uma amostra foi extraída de listas telefônicas, e os Republicanos (aqueles partidários de Landon) eram mais prováveis de ter telefones em 1936. Além disso, no entanto, o levantamento da Literary Digest foi feito por correspondência. Sua falha também foi a ausência de resposta; apenas uma minoria daqueles solicitados a reenviar os questionários o fizeram. Como é típico em levantamentos por correio, aqueles que queriam que o oprimido ganhasse, os apoiadores de Landon, eram particularmente prováveis de querer expressar seus pontos de vista (Bryson, 1976; Converse, 1987). A disponibilidade é a fonte mais importante de ausência de resposta para levantamentos por telefone e pessoais do que para levantamentos por correio. É obvio que se um esforço de coleta de dados for realizado entre 9h e 17h, de segunda a sexta-feira, as pessoas que estarão disponíveis para ser entrevistadas serão distintivas. É claro, a maioria das organizações de levantamento enfatizam o contato com as famílias à noite e nos finais de semana. Todavia, aqueles mais prováveis de ser encontrados são os pais que ficam em casa, pessoas desempregadas e aposentadas. Eles tenderão a não ter uma ocupação voluntária e uma vida social. São mais prováveis de ser pais de crianças pequenas. Famílias maiores são mais prováveis de ter alguém em casa do que as compostas por apenas um ou dois membros. A acessibilidade de um tipo diferente também produz vieses associados à ausência de resposta. Os levantamentos nacionais que usam procedimentos de entrevistas pessoais quase sempre têm taxas de resposta inferiores em grandes cidades do que em subúrbios e áreas rurais.

Pesquisa de levantamento 69

Há três razões principais para isso. Primeiro, a taxa de dificuldade de encontrar indivíduos solteiros é maior nas cidades. Segundo, uma fração crescente de indivíduos nas grandes cidades vive em prédios de apartamentos que têm significativas características de segurança que tornam difícil aos entrevistadores ter acesso direto aos residentes. Terceiro, há mais áreas nas cidades onde visitas à noite são desagradáveis para os entrevistadores; portanto, eles podem não dar às pessoas difíceis de encontrar uma boa chance de serem encontradas em casa. O constante aumento da população das cidades e outras grandes mudanças sociais (mais domicílios com uma única pessoa, menos famílias com filhos, mais mulheres na força de trabalho) têm feito a obtenção de altas taxas de resposta mais difícil durante os últimos 20 anos tanto para os levantamentos em pessoa quanto para os feitos por telefone. As taxas de resposta dos levantamentos por telefone também podem sofrer pelo aumento do uso do identificador de chamadas e pela ascensão do uso de telefones celulares – ambos podem ter diminuído a proporção em que as pessoas atendem aos seus telefones fixos e podem ser expostos à introdução dos entrevistadores. De Leeuw e de Heer (2002) relatam tendências de declínio nas taxas de resposta internacionalmente, bem como nos Estados Unidos. Os papéis correspondentes do não contato e das recusas na ausência de resposta variam de país para país. Há alguma evidencia de que procedimentos por telefone podem reduzir a taxa de resposta diferencial entre as grandes cidades e as áreas rurais porque é possível dar uma cobertura mais completa para domicílios urbanos, fazer contato com as pessoas em prédios de alta segurança, e fazer um grande número de esforços para encontrar pessoas solteiras em casa. Por outro lado, pessoas menos instruídas parecem mais dispostas a serem entrevistadas em um procedimento de dígito aleatório por telefone, como são aqueles com mais de 65 anos. Tais vieses são encontrados menos frequentemente em levantamentos por entrevistas pessoais. Groves e Kahn (1979), Cannell, Groves, Magilavy, Mathiowetz Miller (1987), Groves e Lyberg (1988) e Groves e Couper (1998) apresentam boas avaliações dos vieses da ausência de resposta em levantamentos por telefone. Finalmente, há um viés associado às pessoas que estão impossibilitadas de ser entrevistadas ou de preencher um formulário. Tais pessoas normalmente compõem uma pequena fração de uma população geral. Deixar de fora as pessoas que estão em um hospital, contudo, pode ser uma omissão muito importante quando se está tentando estimar a utilização dos cuidados com a saúde ou as despesas. Há também áreas vizi-

70 Floyd J. Fowler Jr.

nhas ou grupos onde omitir pessoas que não falam inglês poderia ser um fator significante. Se medidas especiais não são tomadas para coletar dados de um grupo particular, as estimativas da amostra requerem uma população mais restrita: a população que realmente teve uma chance de responder às questões ou de fornecer dados, por conta dos procedimentos de coleta de dados implementados. Apesar da tendência de ser demograficamente diferente entre respondentes e não respondentes para levantamentos administrados por um entrevistador, particularmente para levantamentos por telefone baseados na discagem aleatória de dígitos, o efeito da ausência de resposta sobre as estimativas do levantamento é menos claro. Keeter, Miller, Kohut, Groves e Presses (2000) relatam uma cuidadosa comparação dos resultados de dois levantamentos por telefone: um rendeu uma taxa de resposta de 36%, o outro uma taxa de 60%. Com relação às atitudes políticas e sociais que eram os tópicos do levantamento, havia muito pouca diferença estatisticamente significante entre os dois resultados. Os pesquisadores relataram uma replicação desse estudo com resultados similares (Keeter, Kennedy, Dimock, Best e Craighill, 2006). Contudo, esses estudos não devem levar os pesquisadores a acreditar que a ausência de resposta não é uma importante fonte de erro. Groves (2006) relata sobre uma análise de taxas de resposta e erro de ausência de resposta. Ele estudou mais de 200 estimativas baseadas em 30 levantamentos que usaram vários modos de coleta de dados. Encontrou evidencias consideráveis de erros devidos à ausência de resposta. Groves alcançou, contudo, duas outras conclusões importantes: 1. A taxa de resposta para uma pesquisa não é uma predição muito boa do erro de ausência de resposta. A correlação que ele relata entre as duas é de 0,33. 2. Uma das razões principais para a associação comparativamente baixa é a variabilidade dentro dos levantamentos no montante dos erros de ausência de resposta para variáveis diferentes. Deste modo, para qualquer pesquisa, algumas estimativas podem ser muito afetadas pela ausência de resposta, enquanto outras são muito pouco afetadas. A questão-chave é a extensão em que a ausência de resposta é relacionada com as estimativas que o levantamento é destinado a fazer. Groves, Presser e Dipko (2004) relatam resultados experimentais que mostram que as pessoas com papeis relevantes para um tópico do levantamento

Pesquisa de levantamento 71

(co­mo novos pais solicitados a fazer um levantamento sobre os cuidados com as crianças) são mais prováveis de responder do que a média. Contudo, eles também descobriram que tais grupos de papeis identificáveis comumente eram pequenos e, por isso, não poderiam ter um efeito mensurável sobre as estimativas do levantamento. Isso parece razoável, e é consistente com as evidencias existentes, de que o interesse do respondente no assunto pode desempenhar um papel maior na resposta a levantamentos por correio do que quando um entrevistador pede cooperação. De modo geral, temos claras evidências de que a ausência de resposta pode afetar as estimativas do levantamento, mas normalmente nos falta uma informação confiável para prever quando e quanto isso irá ou não afetar as estimativas do levantamento. Além disso, o efeito da ausência de resposta sobre uma variável pode ser muito diferente do que nas outras em um mesmo levantamento. A Tabela 4.1 apresenta um exemplo para ajudar a pensar sobre os efeitos potenciais da ausência de resposta sobre os resultados. Suponha que uma amostra de 100 é extraída, e 90 respondem (taxa de resposta de 90%). Dos 90, 45 dizem “sim” para alguma questão; os outros 45 dizem “não”. Há 10 pessoas (os não respondentes) das quais a visão nós não sabemos. Se elas todas eram “sims”, o número verdadeiro para a população seria 55% “sim”. Desta forma: Taxa de resposta = 90% 50% dos respondentes dizem “sim” A porcentagem real na amostra originalmente selecionada que diria “sim” se eles respondessem poderia ser não mais do que 55% e não menos que 45%. O intervalo possível para o exemplo é dado na coluna do lado direito da Tabela 4.1. Tabela 4.1 Exemplo de erro potencial devido à ausência de resposta





Sim Não Total

Respostas* (Respostas conhecidas)**

Ausência de respostas (Respostas não conhecidas)

Amostra total (intervalo possível de respostas se todos responderam)

45 45 90

0 a 10 0 a 10 10

45 a 55 45 a 55 100

* Se a taxa de resposta foi de 90%. ** Se 50% dos respondentes responderam “sim”.

A Tabela 4.2 organiza essa lógica para um intervalo de taxas de resposta. Pode ser visto que quando as taxas de resposta são baixas, o potencial de erros devido à ausência de resposta é muito grande.

72 Floyd J. Fowler Jr.

Tabela 4.1 Intervalo de porcentagens verdadeiras possíveis quando 50% da amostra fornece uma resposta, por taxa de resposta Quando a Taxa de Resposta é de:

Se 50% dos que responderam deram uma resposta particular, o valor verdadeiro se todos na amostra responderam pode variar de:

90%

70%

50%

30%

10%

45-55%

35-65%

25-75%

15-85%

5-95%

Fonte: Adaptado de uma tabela desenvolvida por Jack Elinson e Mitchell D. Elinson. Comunicação pessoal.

Pode ser instrutivo comparar os efeitos potenciais do viés da ausência de resposta, tais como os apresentados na Tabela 4.2, com os efeitos do erro de amostragem apresentados no capítulo anterior (ver a Tabela 3.1). Normalmente não se sabe quão tendenciosa é a ausência de resposta, mas é raro uma boa hipótese de que ela seja imparcial. Esforços para garantir que as taxas de resposta alcancem um nível razoável e para evitar procedimentos que produzem sistematicamente diferenças entre respondentes e não respondentes são formas importantes de construir a confiança na exatidão das estimativas do levantamento. REDUZINDO A AUSÊNCIA DE RESPOSTA Levantamentos por Entrevista Pessoal ou por Telefone Assim como sempre se pode dizer que uma amostra maior será mais confiável do que uma amostra pequena, sendo todas as outras coisas iguais, também se pode dizer que um levantamento com uma taxa de resposta maior provavelmente irá produzir uma amostra melhor e menos tendenciosa do que um que tem mais ausência de resposta. Pelo menos, dado que o erro da ausência de resposta normalmente não é medido, pode-se dizer que taxas de resposta maiores aumentam a credibilidade dos resultados de um levantamento. Como em qualquer outra decisão do projeto, um pesquisador deve escolher quanto esforço investir na redução da ausência de resposta. Dois problemas diferentes devem ser abordados a fim de alcançar uma alta taxa de resposta para levantamentos pessoais e por telefone: obter acesso aos indivíduos selecionados e conseguir sua cooperação. Para reduzir a ausência de resposta resultante da falta de disponibilidade • Faça diversas chamadas, concentrando-se nas noites e nos finais de semana. O número necessário depende da configuração. Seis

Pesquisa de levantamento 73

ligações por família são provavelmente o mínimo em áreas urbanas. Para estudos por telefone, mais chamadas podem ser feitas mais barato, e muitas organizações usam 10 como mínimo. Comumente, muito mais do que 10 chamadas são feitas. • Tenha entrevistadores com horários flexíveis que possam fazer entrevistas a qualquer hora que seja conveniente aos respondentes. • Para conseguir cooperação • Se possível, envie uma carta informativa com antecedência. Isso tranquiliza alguns respondentes, bem como faz com que os entrevistadores sintam-se mais confiantes. • Apresente eficazmente e precisamente os propósitos do projeto. Tenha certeza de que os respondentes saibam que sua ajuda é importante e como ela será útil. • Tenha certeza de que os respondentes não serão ameaçados pela tarefa ou pelos usos a que os dados serão submetidos. • Tenha entrevistadores eficazes. Tenha certeza de que eles sabem que a taxa de resposta é importante. Identifique os entrevistadores que estão tendo problemas com a taxa de resposta rapidamente ou recicle ou não continue a usar entrevistadores que não são eficientes. • Ensine os entrevistadores a ouvir os respondentes e a adequar a interação ao indivíduo em vez de seguir uma abordagem amplamente preparada para apresentar o levantamento. Achar o equilíbrio entre persistência e capacidade de responder não é fácil para respondentes relutantes. A participação em levantamentos é voluntária, mas a relutância em participar é muitas vezes baseada na ignorância. Groves e Couper (1998) apresentam análises úteis das razões para a relutância dos respondentes em ser entrevistados. É apropriado solicitar aos respondentes que se informem sobre os objetivos de um levantamento antes de recusarem. A maioria dos levantamentos fornece um propósito útil de alguma posição estratégica. Quando uma pessoa recusa, os dados resultantes serão menos exatos. Os entrevistadores devem ser solicitados a fazer um bom esforço para conduzir os respondentes ao ponto de que eles saibam o que estão sendo solicitados a fazer e por quê. Também é razoavelmente rotineiro perguntar às pessoas que inicialmente recusaram para reconsiderar. Uma porcentagem significativa de recusas resulta do contato com respondentes na hora errada em vez de uma relutância fundamental em ser entrevistado. Entre um quarto

74 Floyd J. Fowler Jr.

e um terço das pessoas que inicialmente recusam concordarão em ser entrevistadas quando perguntadas novamente um tempo depois. O processo de entrevista normalmente é uma experiência positiva para os respondentes. Se este está sendo conduzido por um grupo responsável, as respostas serão mantidas estritamente confidenciais. Pesquisadores rotineiramente respeitam a confidencialidade com o mesmo zelo que os psiquiatras e os jornalistas protegem suas fontes. Muitos projetos de pesquisa estão oferecendo alguns motivos razoáveis para os quais a maioria das pessoas estaria disposta a contribuir. Se o entrevistador está disposto a arranjar uma entrevista conveniente ao respondente, as pressões de tempo podem não ser notáveis para a maioria dos respondentes. Finalmente, a maioria dos respondentes relata que ser entrevistado é agradável. As pessoas gostam de ter uma oportunidade para falar sobre elas mesmas a um bom ouvinte. A discagem aleatória de dígitos representa mudanças particularmente significantes para alcançar boas taxas de resposta. Quando abordagens assistidas por lista são usadas para selecionar a amostra, cartas podem ser enviadas para os domicílios para os quais os endereços são conhecidos. Contudo, mesmo quando isso é feito, está sobre o entrevistador a carga de envolver a pessoa que atende ao telefone. As primeiras frases são críticas para o sucesso. Também, por conta de os contatos por telefone serem feitos por muitos vendedores e para fins de captação de recursos, algumas pessoas iniciam com uma impressão negativa a ligações de estranhos. Nesse contexto, mesmo organizações conscientes atingem taxas de resposta entre 30 e 50% – particularmente quando o assunto da pesquisa não é imediatamente atraente. A dificuldade em atingir altas taxas de resposta é um dos limites intrínsecos da discagem aleatória de dígitos como uma abordagem para amostragem. Finalmente, deve ser notado que pagamentos adiantados em dinheiro para respondentes de entrevistas demonstraram um aumento nas taxas de respostas tanto nas entrevistas pessoais quanto por telefone. Historicamente os pagamentos têm sido usados principalmente para estudos de entrevista que fazem solicitações incomuns aos respondentes, tais como aqueles que envolvem múltiplas entrevistas. Contudo, pesquisas recentes mostram que também há um impacto sobre as taxas de resposta quando apenas uma entrevista é feita (Groves e Couper, 1998; Singer, 2002; Singer, Van Hoewyk, Geber, Raghunnathan e McGanale, 1999; Singer, Van Hoewyk e Maher, 2000). A utilidade mais importante dos pequenos pagamentos é prender a atenção dos respondentes para que eles

Pesquisa de levantamento 75

leiam a carta previamente enviada ou ouçam as instruções do entrevistador. Isso provavelmente também produz alguns sentimentos positivos e, em alguns, o sentido de que um gesto positivo pela equipe de pesquisa pode justificar algum gesto positivo recíproco – como fazer a entrevista. Outra razão para considerar incentivos financeiros, além dos seus efeitos sobre o total das taxas de resposta, é que eles podem reduzir o viés da ausência de resposta resultante daqueles mais interessados em um tópico serem sobrerepresentados em amostras – por induzir algumas pessoas menos interessadas a responder o que caso contrário não responderiam. Levantamentos por correio Os problemas em reduzir a ausência de resposta para levantamentos por correio são um pouco diferentes. Chegar ao respondente, o que é uma parte crítica dos levantamentos pessoais e por telefone, não é normalmente um problema se o pesquisador tem um endereço exato. A maioria das pessoas vai para casa para pegar suas correspondências. Antes, a principal dificuldade é induzir os respondentes a realizar a tarefa de responder sem a intervenção de um entrevistador. Escrever uma carta não é uma forma muito efetiva de convencer uma alta porcentagem das pessoas a fazer alguma coisa. O contato pessoal é significantemente mais efetivo do que isso. Há um grande corpo de literatura sobre estratégias projetadas para tentar fazer um contado por correio mais efetivo. Deve-se imprimir um questionário em papel colorido ou branco? Quão bem faz um impressionante papel timbrado? E sobre as autenticações? Qual é a importância de pagar as pessoas? Alguns pesquisadores enviam dinheiro junto com o questionário, enquanto outros prometem o reembolso se o questionário for reenviado. A carta do respondente deve ser assinada com tinta azul? Um selo autêntico é melhor do que um envelope com porte pago? Genericamente falando, quase nada faz com que um questionário por correio pareça mais profissional, mais personalizado ou mais atrativo terá algum efeito positivo sobre a taxa de respostas. Cuidar de tais detalhes provavelmente vale a pena no conjunto; Dillman (2007, 2008) revisa bem essas questões. Provavelmente também é importante fazer com que o instrumento seja fácil de completar. Mais detalhes sobre modelos são fornecidos no Capítulo 6, mas há três pontos dignos de serem mencionados aqui. 1. O leiaute deve ser limpo para que seja fácil de ver como proceder.

76 Floyd J. Fowler Jr.

2. As questões devem ser atrativamente espaçadas, ordenadas e fáceis de ler. 3. A tarefa deve ser fácil de fazer. Não peça aos respondentes que forneçam respostas escritas, exceto na opinião deles. As tarefas devem ser verificar um quadro, circular um número ou algo equivalentemente simples. Novamente, Dillman (2007, 2008) fornece uma ampla orientação sobre o leiaute dos instrumentos autoadiministrados. Várias revisões de estudos publicados indicam que o pagamento adiantado de vários dólares aos respondentes aumenta as taxas de resposta por correio (Fox, Crask e Kim, 1988; James e Bolstein, 1990). Quase todos os estudos mostraram um benefício, até mesmo levantamentos de médicos (Berry e Kanouse, 1987). Contudo, é apenas o pagamento adiantado que tem demonstrado afetar as respostas. Pagamentos atrasados, ofertas para dar dinheiro para caridade e inscrições em modelos não têm mostrado melhorar as taxas de resposta (Warriner, Goyder, Jersten, Hohner e McSupurren, 1996). Finalmente, não há dúvida de que a diferença mais importante entre bons levantamentos por correio e levantamentos pobres é a extensão na qual o pesquisador faz contato repetido com os não respondentes. Uma sequência sensata de eventos, tal como o esboçado por Dillman (2007), pode incluir o que segue: 1. Cerca de 10 dias depois da correspondência inicial, enviar um cartão para lembrar, enfatizando a importância do estudo e da alta taxa de resposta. 2. Cerca de 10 dias depois que a carta foi enviada, envie para os não respondentes remanescentes novamente uma carta enfatizando a importância de uma alta taxa de retorno e incluindo outro questionário para aqueles que jogaram o primeiro fora. 3. Se a taxa de resposta ainda não é satisfatória, provavelmente o melhor próximo passo é entrar em contato pelo telefone com os não respondentes. Se números de telefone não estão disponíveis ou se as despesas com chamadas telefônicas parecem muito grandes, cartas adicionais persuasivas, telegramas ou outros procedimentos que se destacam e parecem importantes têm se mostrado úteis. Com os acompanhamentos por telefone, é claro, as taxas de resposta serão maiores do que sem eles. Se o pesquisador é persistente, e se este é um estudo razoavelmente bem concebido e bem formulado, taxas de

Pesquisa de levantamento 77

resposta aceitáveis podem ser obtidas por correio. Há vários exemplos de levantamentos por correio que alcançam taxas de resposta tão ou mais altas do que outros métodos (por exemplo, Fowler, Roman e Di, 1998). Se um pesquisador vai contatar novamente os não respondentes, ele precisa saber quem não reenviou o questionário. O processo não precisa ser sinuoso ou complexo. Um simples número de identificação pode ser escrito no questionário ou no envelope de retorno. É uma boa prática dizer às pessoas na carta para que serve o número. Ocasionalmente o pesquisador pode querer reafirmar aos respondentes que eles não serão identificados. Há uma estratégia alternativa simples que funciona muito bem e que ainda permite acompanhamento. Um questionário sem identificador é enviado aos respondentes. Anexado ao questionário está um cartão postal separado que contém um identificador do respondente, como segue: Caro Pesquisador, estou enviando este cartão postal no mesmo instante em que coloco meu questionário preenchido no correio. Uma vez que meu questionário é completamente anônimo, este cartão postal dirá a você que não precisa me mandar um lembrete posterior para reenviar o questionário.

Este procedimento mantém o anonimato do respondente, ao mesmo tempo que diz ao pesquisador quando alguém completou o questionário. Alguns poderiam pensar que os respondentes simplesmente mandariam de volta o cartão postal a fim de evitar lembretes posteriores, mas isso raramente acontece. O número de cartões postais e questionários reenviados quase sempre vem a ser aproximadamente o mesmo. Sieber (1992) discute uma ampla gama de meios de coletar dados anonimamente. Levantamentos pela internet Embora os levantamentos pela internet sejam comparativamente novos, assim não há o mesmo corpo de experiência que existe para o correio e para os levantamentos por entrevista, a dinâmica e os desafios parecem estreitamente paralelos com os levantamentos por correio. O problema é induzir as pessoas a responder sem a intervenção de um entrevistador. Há duas formas principais para as quais a internet é usada para levantamentos: os respondentes são solicitados a responder questões em um questionário por e-mail ou são solicitados a visitar um site onde um

78 Floyd J. Fowler Jr.

formulário está esperando para ser preenchido. Por uma variedade de razões, usar e-mail como uma abordagem para coleta de dados não é uma ideia muito boa (ver o Capítulo 5), e o uso da internet para levantamentos é essencialmente sobre obter respondentes para visitarem um site e completarem um questionário. A forma mais comum de solicitar às pessoas para que completem um levantamento pela internet é mandar um convite por e-mail. Como se pode esperar, isso pode produzir resultados muito diferentes. Dillman (2007) relata um levantamento de corpo docente que obteve uma taxa de resposta próxima de 60%, quase a mesma taxa que obtiveram em uma versão paralela por correio do mesmo levantamento. Kaplovitz, Hadlock e Levine (2004) relatam um experimento similar com estudantes que obteve uma taxa de resposta pela internet que foi 50% maior que o estudo de Dillman e no qual o postal por correio teve uma taxa de resposta significativamente mais alta do que a estratégia do e-mail. Ambos os experimentos foram com populações que têm acesso praticamente universal ao e-mail e o usam rotineiramente – e o pedido de levantamento era identificável como vindo de uma instituição a qual os respondentes eram membros. Quando os pedidos de levantamento vêm de fontes menos conhecidas ou desconhecidas e vão para pessoas que variam muito em como e quanto elas usam a internet, os resultados são previsivelmente variáveis. Às vezes, quase ninguém responde. Os mesmos tipos de passos que se descobriu serem úteis para levantamentos por correio provavelmente ajudam a reunir esforços para levantamentos pela internet: patrocinadores identificáveis, instrumentos bem formulados, incentivos financeiros e contatos repetidos, inclusive tentativas de pedido por correio ou telefone para aqueles que não responderam a um pedido inicial por e-mail. Dillman (2007) apresenta uma discussão profunda das abordagens para melhorar as taxas de resposta. Levantamentos multímodo Um dos melhores caminhos para minimizar a ausência de resposta em levantamento é usar mais de um modo de coleta de dados. As questões-chave, como observado, são acesso, motivação e custo. Misturar os modos pode habilitar os pesquisadores a alcançar as pessoas que estão inacessíveis por meio de um único modo. Isso também pode permitir-lhes coletar dados dos membros da amostra menos intrinsecamente motivados. Por exemplo, um protocolo atrativo é usar e-mail ou correio para

Pesquisa de levantamento 79

a primeira fase da coleta de dados, seguido por entrevistar por telefone com os não respondentes. Combinar entrevistas por telefone e em pessoa é outro modelo eficaz. Uma questão crítica em levantamentos multímodo é a compatibilidade dos dados através dos modos. As respostas para algumas perguntas são afetadas pelo modo da coleta de dados; outras não o são. A fim de combinar dados coletados usando modos diferentes, é importante que os dados sejam comparáveis. Tais questões são mais discutidas no Capítulo 5.

DUAS OUTRAS ABORDAGENS PARA DIMINUIR O ERRO DA AUSÊNCIA DE RESPOSTA Respondente representante Muitos levantamentos rotineiramente coletam dados de um representante da família sobre os outros membros da família. Se um respondente está impossibilitado ou relutante a ser entrevistado, pedir a outro membro da família relatar para o respondente designado é uma opção. Estudos da qualidade de tais dados representados normalmente, mas não sempre, indicam que o relato do representante não é tão bom quanto o autorrelato para a maioria dos tópicos. Contudo, poucos pesquisadores aceitariam relatórios feitos por representantes para estados subjetivos, tais como sentimentos, conhecimentos ou opiniões. Para informações factuais, contudo, se há um representante bem-informado disponível, usá-lo pode ser uma forma efetiva para reduzir o erro resultante da ausência de resposta. Groves (1989) revisa a literatura inconclusa sobre a qualidade dos dados fornecidos por representantes. Fazendo um levantamento dos não respondentes Suponha que um levantamento por correio foi feito e 60% dos amostrados responderam. O pesquisador pensa que muitos não respondentes responderiam a solicitação para dar uma entrevista pessoal ou por telefone, mas necessita de fundos para tentar tais procedimentos com todos os não respondentes. Uma opção é extrair uma amostra deles a ser contatada com os métodos mais dispendiosos. Dois usos diferentes podem ser feitos de tais esforços. Primeiro, os dados desse segundo turno de coleta de dados podem ser usados para estimar a direção e a quantidade de vieses na amostra

80 Floyd J. Fowler Jr.

inicial. É claro, o segundo turno também terá ausência de resposta, portanto pode produzir dados que não representam completamente todos os não respondentes. Contudo, sujeitos a essa limitação, os dados podem ser usados para melhorar um ajuste estatístico (discutido no Capítulo 10). Com essa perspectiva, o pesquisador pode perguntar apenas um subconjunto de questões-chave, em vez de todas as questões, como uma forma de melhorar as chances de que um respondente relutante possa concordar em participar. Algumas organizações de pesquisa usam incentivos financeiros nesses esforços também. Segundo, se a nova rodada de coleta de dados replica questões da amostra inicial, os resultados podem ser adicionados aos dados da amostra inicial definida. Para fazer isso, os dados precisam ser ponderados para se ajustarem ao fato de que apenas uma amostra de não respondentes recebeu o tratamento de acompanhamento. Se metade dos não respondentes são acompanhados, então os respondentes dessa fase da coleta de dados devem ser ponderados por um fator de dois quando eles forem combinados com os dados iniciais. Além disso, os resultados podem ser apropriadamente relatados como refletindo uma porcentagem ajustada da amostra da população (uma taxa de resposta ajustada), calculada da seguinte maneira: Respostas da Fase I + 2 X Respostas da Fase II Taxa de Resposta Ajustada = Amostra Original Elegível

AMOSTRAS NÃO PROBABILísticaS (OU DE PROBABILIDADE MODIFICADA) A discussão neste capítulo até agora assumiu um formato de amostra probabilística por meio do qual os respondentes são designados por algum procedimento objetivo. O problema dos pesquisadores é coletar dados desses designados. Contudo, como temos discutido, frequentemen­ te é difícil e caro obter respostas de uma alta porcentagem de uma amostra probabilística, particularmente uma amostra geral da população que em média não tem uma razão particular para investir em um levantamento particular. É, portanto, compreensível que os investigadores tenham explorado abordagens alternativas para facilitar a responsabilidade da coleta de dados.

Pesquisa de levantamento 81

Substituindo respondentes As discordâncias entre os pesquisadores sobre a importância da amostragem probabilística é intrigante. O Governo Federal em geral não custeará esforços de pesquisas projetadas para fazer estimativas das características da população que não sejam baseadas nas técnicas da amostragem probabilística. A maioria das organizações de pesquisa acadêmica e muitas organizações de pesquisa sem fins lucrativos têm a mesma abordagem para produzir a amostragem. Ao mesmo tempo, a maioria dos grupos de pesquisa da opinião pública, de pesquisa de grupos políticos de votação e das organizações de pesquisa de mercado apoiam-se pesadamente nos métodos de amostragem não probabilística (ver Converse, 1987, para uma discussão das raízes históricas dessa diferença). O núcleo das estratégias de amostragem probabilística é que a inclusão de alguém em uma amostra é baseada em um procedimento predeterminado que define uma taxa de seleção para subgrupos definidos da população. Além disso, nenhuma característica do respondente nem critério do entrevistador influencia a probabilidade de uma pessoa estar em uma amostra. Apesar das modificações não probabilísticas dos procedimentos de amostragem variarem, todas compartilham a propriedade de que, no último estágio, o critério do entrevistador e/ou as características do respondente que não fazem parte do modelo de amostra afetam a probabilidade de ser incluído em uma amostra. Os dois procedimentos mais comuns são descritos a seguir. Para um estudo por entrevistas pessoais envolvendo amostragem não probabilística, o pesquisador pode extrair quarteirões da mesma maneira que um amostrador extrairia para uma área de amostra probabilística. A diferença seria que, uma vez que o quarteirão é selecionado, o en­trevistador seria instruído a visitar aquele quarteirão e completar algum número fixo de entrevistas com as pessoas que residem no quarteirão. Não haveria nenhuma lista específica de unidades habitacionais no quarteirão. Uma abordagem é dar ao entrevistador a liberdade de visitar qualquer casa localizada naquele quarteirão; ele não faria visitas subsequentes para encontrar as pessoas que não estavam em casa no momento da visita inicial. Uma estratégia similar é usada para levantamentos por telefone. Dentro de uma troca particular, ou conjunto de números dentro de uma troca, um alvo é definido para completar um determinado número de entrevistas. Caso não haja resposta ou nenhum respondente disponível

82 Floyd J. Fowler Jr.

no momento em que o entrevistado telefona, outro número que esteja dentro do mesmo grupo é chamado até que o número desejado de entrevistas seja obtido. O primeiro estágio de amostragem, se for conduzido da maneira como indicado anteriormente, distribui a amostra sobre a área geográfica mais ou menos da maneira como a população é distribuída. Sobre a família e a seleção de respondentes, contudo, há três tipos muito claros de vieses que podem ser introduzidos. Na estratégia de entrevista pessoal, mas não na por telefone, os entrevistadores podem fazer uma escolha acerca de quais casas visitar. Acontece que eles vão mais às casas mais atraentes do que às menos atraentes, e a apartamentos do primeiro andar mais do que aos do segundo e terceiro andares. Os entrevistadores também preferem unidades habitacionais sem cachorros. Outros fatores que influenciam as escolhas feitas pelos entrevistadores individuais podem ser deixadas a cargo da imaginação do leitor. Algumas organizações de pesquisa tentam restringir o critério dos entrevistadores fornecendo informações acerca de por onde começar no quarteirão e solicitando a eles que não pulem unidades habitacionais. Sem uma lista prévia de unidades no quarteirão, contudo, é praticamente impossível avaliar se aquelas instruções foram ou não seguidas. Além disso, se há uma listagem prévia das unidades na rua, uma porção das economias reservadas para os custos com essa abordagem é eliminada. Além do potencial para substituir as famílias em que as entrevistas são feitas, é de grande valor fazer uma entrevista com algum adulto da família que esteja disponível e disposto a ser entrevistado. As exigências da amostra probabilística especificam um respondente dentro de uma família por algum método objetivo; em contraste, as estratégias de substituição permitem entrevistas com qualquer membro de uma família contatada que esteja disposto a ser entrevistado. Uma das mais obvias características do potencial de viés dos métodos não probabilísticos é o efeito de disponibilidade. Se não se vai ligar novamente para uma unidade habitacional na qual ninguém estava em casa, ou ligar de volta para membros da família que não estavam em casa no momento em que o entrevistado fez contato, as pessoas que passam mais tempo em casa têm uma chance maior de serem selecionadas do que aquelas que rotineiramente não estão em casa. Uma amostragem descontrolada dessa forma produz alguns vieses óbvios de amostra. A abordagem mais comum para melhorar a qualidade

Pesquisa de levantamento 83

das amostras é introduzir cotas para vieses óbvios. Desse modo um entrevistador pode ser obrigado a entrevistar metade de homens e metade de mulheres em um determinado quarteirão ou agrupamento de telefone. Ocasionalmente alguma restrição adicional será estabelecida, tal como a composição racial esperada ou o número de adultos jovens ou velhos. É importante, contudo, não colocar muitas limitações nas cotas, ou os entrevistadores terão que gastar uma grande quantidade de tempo ligando ou caminhando pelos quarteirões procurando por respondentes elegíveis. O viés final inerente ao fato de permitir substituições tem a ver com a conquista da cooperação. No caso em que o respondente diz estar ocupado ou que não é uma boa hora para ser entrevistado, o entrevistador não tem incentivo para mobilizar a cooperação. Se um projeto não é efetivamente apresentado, uma fração significativa da população não ficará interessada em ajudar. Deixar as pessoas se recusarem facilmente sem um esforço árduo para apresentar o estudo a eles não vai apenas influenciar uma amostra contra as pessoas ocupadas, isso também vai influenciá-la contra as pessoas que têm menos conhecimento prévio ou menos interesse intrínseco em pesquisa e/ou no assunto particular que está sendo estudado. Sudman (1967, 1976) argumenta que há ausência de resposta em todos os levantamentos, mesmo naqueles em que todo esforço é feito para contatar os não respondentes. Uma vez que foi aprendido que um indivíduo não irá cooperar ou que não pode ser alcançado depois de vários telefonemas, ele sugere que substituir um respondente da mesma casa ou do mesmo quarteirão na verdade pode melhorar a qualidade das estimativas. Ele argumenta que ter um vizinho na amostra pode ser melhor do que não ter nem o respondente designado nem seu vizinho ou vizinha. Quando um controle cuidadoso é exercido sobre o critério dos entrevistadores, contudo, como Sudman defende, a economia em ligações de retorno são compensadas pelo aumento nos custos de supervisão. Métodos de amostragem não probabilística produzem economia de custos para levantamentos de entrevista pessoal (menos para levantamentos por telefone). Uma outra vantagem importante desses métodos, particularmente para levantamentos políticos, é que eles possibilitam conduzir levantamentos durante a noite ou em poucos dias. Há muitas pessoas para as quais muitas ligações de retorno ao longo de vários dias são necessárias para pegá-las em casa. Levantamentos rápidos, obviamente, têm que contar principalmente com a resposta das pessoas que estão mais disponíveis. Quando uma cota de amostra é efetivamente implementada, as amostras resultantes normalmente são bastante similares

84 Floyd J. Fowler Jr.

aos dados de amostra probabilística, na medida em que eles podem ser comparados. Mesmo assim, dois fatos não devem ser esquecidos. Primeiro, visto que a chave para economizar dinheiro é não fazer ligações de retorno, apenas cerca de um terço da população tem chance de estar na maioria das amostras não probabilísticas (isto é, a população que está em casa em uma primeira ligação). Uma amostra que dá a apenas um terço da população uma chance de ser selecionada, um terço da população com características distintivas conhecidas, tem grande potencial de ser atípica de forma que afetarão as estatísticas da amostra. Robinson (1989) fornece um excelente exemplo de quão distorcida uma amostra presumivelmente bem feita pode ser. Ele comparou resultados de dois levantamentos, um baseado em amostra probabilística e outro em amostra não probabilística, ambos destinados a estimar o interesse em arte e a presença em eventos relacionados à arte. O levantamento da amostra não probabilística superestimou muito o nível de interesse nas artes. Além dos vieses potenciais, outra desvantagem das amostras de cota é que os pressupostos da teoria da probabilidade e dos erros de amostragem, os quais rotineiramente são apresentados como descrevendo a confiança das amostras não probabilísticas, não se aplicam. Se há substitutos, a amostra não é uma amostra probabilística, embora possa ser espalhada pela população de uma forma razoavelmente realista. Há alguns momentos em que amostras não probabilísticas são úteis. Henry (1990) descreve os vários tipos de amostra não probabilística e quando elas podem ser apropriadas. Se um pesquisador decide usar uma amostra não probabilística, contudo, deve ser dito aos leitores como a amostra foi extraída, o fato de que isso provavelmente é tendencioso na direção da disponibilidade e da boa vontade (complacência) para ser entrevistado, e que os pressupostos normais para calcular os erros de amostra não se aplicam. Tal advertência para os leitores não é comum. Em vários casos, as amostras não probabilísticas são seriamente mal apresentadas, e isso constitui um sério problema para a credibilidade da pesquisa em ciências sociais.

A AUSÊNCIA DE RESPOSTA COMO UMA FONTE DE ERRO A ausência de resposta é uma importante fonte de erros em levantamentos. A Tabela 4.2 demonstra o grande potencial disso em afetar os

Pesquisa de levantamento 85

resultados. No entanto, embora possamos calcular a taxa de ausência de resposta, normalmente não sabemos o resultado disso nos dados. O estudo de Keeter e colaboradores (2006) ilustra um levantamento com uma taxa comparativamente baixa de resposta produzindo resultados que são muito similares a uma com uma taxa muito mais alta, mas a análise de Groves (2006) lembra-nos de não sermos complacentes. O problema-chave é que nos faltam bons dados acerca de quando a ausência de resposta é e não é provável de ser tendenciosa com respeito ao conteúdo do levantamento. Certamente um efeito positivo involuntário das preocupações cada vez maiores acerca das taxas de resposta aumentará a pressão sobre os pesquisadores para que coletem dados sobre os vieses da ausência de resposta quando puderem. Contudo, isso é algo difícil de ser feito. Na ausência de tais dados, talvez o mais forte argumento para os esforços para maximizar as taxas de resposta seja a credibilidade. Quando as taxas de resposta são altas, há apenas um pequeno potencial para erro devido à ausência de resposta a ser importante. Quando as taxas de resposta são baixas, há um grande potencial para erros importantes; as críticas aos resultados do levantamento têm uma base sensata sobre a qual se apoiar para dizer que os dados não são verossímeis.

EXERCÍCIO Se uma amostra de unidades habitacionais é selecionada como primeiro estágio da amostragem de adultos com 18 anos ou mais, a taxa de resposta é o número total de entrevistas dividido pelo número de indivíduos na população de estudo designada pelo procedimento de amostragem para estar na amostra. Você incluiria ou excluiria os seguintes grupos do denominador quando estivesse calculando a taxa de resposta? (Por quê?) Unidades habitacionais desocupadas. Aqueles que estavam ausentes, em férias. Aqueles que estavam temporariamente no hospital. Aqueles que se recusaram a ser entrevistados. Unidades habitacionais onde todos os moradores eram menores de 18 anos. Aqueles que não sabiam falar a língua do entrevistador. Aqueles cujas outras pessoas da família disseram ser doentes mentais ou muito confusos para serem entrevistados.

86 Floyd J. Fowler Jr.

Aqueles que não estavam nunca em casa quando o entrevistador ligava. Aqueles que estavam ausentes, na faculdade.

Defina a população a qual as suas estatísticas (e sua taxa de resposta) se aplicam.

Leituras Complementares Dillman, D. A. (2007). Mail and Internet surveys: The tailored design method (2nd ed.). New York: John Wiley. Groves, R. M., & Couper, M. P. (1998). Nonresponse in household interview surveys. New York: John Wiley. Groves, R. M., Dillman, D. A., Eltinge, J. L., & Little, R. J. A. (Eds.). (2002). Survey nonresponse. New York: John Wiley.

Método de coleta de dados

5

A escolha do modo para coleta de dados, por correspondência, por telefone, pela internet, por entrevista pessoal ou em grupos, é relacionada diretamente com a estrutura da amostra, com o tópico da pesquisa, com as características da amostra e com os recursos e equipe disponíveis; isso influencia as taxas de resposta, os modelos de questões e os custos da pesquisa. Computadores podem ser utilizados no processo de coleta de dados através dos métodos citados. Neste capítulo serão apresentadas várias considerações e consequências da escolha de cada método de coleta de dados.

Uma das decisões mais urgentes que o pesquisador precisa tomar refere-se ao modo como será realizada a coleta de dados. Um entrevistador deveria fazer as perguntas e gravar as respostas, ou as questões deveriam ser autoadministradas, ou seja, respondidas e conduzidas pelo próprio entrevistado? Se a participação de um entrevistador for necessária, há ainda a decisão por uma entrevista realizada pessoalmente ou por telefone. Há diferentes modos de apresentar o questionário ao respondente, caso este precise ler e responder às questões sem o auxílio de um pesquisador. Em alguns casos, questionários são entregues aos entrevistados, em grupos ou individualmente, e devolvidos imediatamente. Em pesquisas realizadas com famílias, questionários podem ser deixados nas casas ou enviados por correspondência e devolvidos da mesma maneira. Para os que possuem acesso à internet, as perguntas podem ser enviadas por e-mail ou pode ser solicitado aos entrevistados que acessem sites para responder às questões. Computadores podem ser incorporados de várias formas ao processo de coleta de dados. Obviamente, entrevistadores costumam fazer

88 Floyd J. Fowler Jr.

uso de computadores portáteis ao realizarem entrevistas por telefone ou pessoalmente. Indivíduos têm respondido às mais interessantes variações de pesquisas que utilizam o computador como ferramenta. Pesquisas que fazem da internet um instrumento não utilizam entrevistadores. Os dados podem ser coletados em lugares frequentados pelos entrevistados, como consultórios médicos, por exemplo, desde que os respondentes estejam utilizando computadores. Finalmente, em levantamentos de dados realizados pelo telefone, uma voz computadorizada pode fazer as perguntas, cujas respostas serão dadas pressionando teclas do telefone. Embora a maioria das pesquisas utilize um único meio para a coleta de dados, não raro são empregadas combinações de métodos. Por exemplo, é possível que pesquisas baseadas em entrevistas pessoais tenham um determinado número de questões a serem administradas pelos próprios sujeitos, as quais podem ser respondidas diretamente através de um computador. A coleta de dados realizada através de computadores pode também vir acompanhada de entrevistas por telefone. Para reduzir a taxa de ausência de resposta, indivíduos que porventura não retornarem questionários enviados por correio podem ser contatados pelo entrevistador pessoalmente ou por telefone. As pesquisas que fazem uso de e-mails são comumente complementadas por levantamento de dados por correspondência para aqueles que não fornecem seu endereço de e-mail ou não respondem às mensagens eletrônicas. Os respondentes que não forem localizados pelo pesquisador podem ser entrevistados por telefone ou solicitados a preencherem um questionário autoadministrado. Finalmente, algumas pesquisas feitas com famílias utilizam entrevistas por telefone para sujeitos cujos números de contato podem ser obtidos, contudo, fazem uso de entrevistas pessoais em famílias cujos números de telefone não são encontrados. A eficácia de cada modo de pesquisa dependerá de uma série de condições. A meta deste capítulo é apresentar e discutir cada uma destas condições, necessárias à escolha do melhor método para a coleta de dados.

AS MAIORES DIFICULDADES NA ESCOLHA DE UMA ESTRATÉGIA Amostragem O modo escolhido pelo pesquisador para elaborar uma amostra é relacionado ao melhor método para coletar dados. Certos tipos de abordagens de amostragem podem facilitar ou dificultar o uso de uma ou outra estratégia. Se uma amostragem é oriunda de uma lista, a informação

Pesquisa de levantamento 89

contida nesta é importante. Obviamente, se na lista faltarem endereços confiáveis de correspondência, e-mails ou números de telefone, tentar coletar dados por este meio torna-se uma tarefa complicada. A discagem aleatória de dígitos aprimorou expressivamente o potencial das estratégias de coleta de dados através do telefone, ao dar a todas as famílias com telefone a chance de serem selecionadas. Estar disposto a excluir as que não possuem números de telefone é, talvez, o meio mais barato de elaborar uma amostragem geral de famílias. Logicamente, é possível utilizar a estratégia de discagem aleatória de dígitos simplesmente para fazer um contato inicial com as famílias e em seguida coletar dados usando outro método. A partir do momento em que uma família for localizada, pode ser solicitado um endereço ou um e-mail para manter contato e permitir o envio de um questionário ou a visita de um entrevistador. Estes métodos são úteis quando um pesquisador procura por uma população singular, uma vez que a coleta de dados através do telefone é consideravelmente mais barata do que aquela realizada através de entrevistas pessoais. Essas estratégias podem apresentar problemas no que diz respeito à cooperação dos sujeitos. Quando a base da amostragem é um conjunto de endereços, uma lista ou uma amostragem por área, números de telefone, entrevistas pessoais ou procedimentos de correspondência podem ser viáveis. Obviamente, se o endereço for confiável, um entrevistador pode ser enviado para realizar a coleta de dados. Além disso, é possível obter números de telefone de vários endereços através da utilização de serviços comerciais ou da internet que ligam nomes e endereços a números publicados em listas telefônicas. Este método não irá fornecer números de telefone para todos os endereços. Contudo, algum outro modo de coleta de dados será necessário como um complemento. É ordinariamente possível realizar entrevistas por telefone com a maioria dos sujeitos considerando, desse modo, as potenciais vantagens deste método. Se uma amostra é derivada de uma boa lista de endereços, um levantamento de dados com base em correspondências também se torna possível. No entanto, em uma área urbana com vários condomínios é essencial que haja distinções por apartamento (ou por nome de família), bem como por nomes de ruas. Sem uma designação correta, o envio das correspondências pode não ser bem-sucedido, e as cartas provavelmente não serão entregues ao destinatário correto. O problema possui a mesma magnitude em áreas rurais onde os indivíduos retiram suas correspondências em caixas de correio. Se no refe-

90 Floyd J. Fowler Jr.

rencial da amostra de uma área rural não estão incluídos os nomes e endereços dos sujeitos, então a realização de um levantamento de dados por correspondência está fora de questão. Listas de amostragem que incluem endereços de e-mail obviamente proporcionam novas oportunidades para métodos de coleta de dados. Se por um lado ainda não é universal a utilização do correio eletrônico, por outro há grupos (trabalhadores, estudantes, membros de organizações profissionais) para os quais é possível a aplicação de pesquisas envolvendo o uso deste. Nestes casos, o emprego da internet como um dos principais métodos para coleta de dados torna-se uma boa alternativa. Um último problema de amostragem a ser considerado é a designação de um respondente. Se a estrutura da amostra é uma listagem de indivíduos, qualquer procedimento é viável, incluindo aquele baseado em correspondência. Muitas pesquisas, no entanto, requerem a designação de um tipo específico de respondente para a realização da coleta de dados. Se um questionário é endereçado a uma casa de família ou organização, o pesquisador terá algum controle sobre quem irá respondê-lo. Portanto, o envolvimento de um entrevistador é um importante auxílio, caso ocorram problemas na designação de respondentes. Tipo de população Como os sujeitos lidam com computadores, suas habilidades em leitura e escrita e sua motivação para cooperar são fatores que devem ser considerados no ato da escolha de um modo para a coleta de dados. Procedimentos autoadministrados exigem mais das habilidades de leitura e escrita dos sujeitos do que procedimentos de entrevista, e a familiaridade dos mesmos com computadores é considerada se o pesquisador fizer uso da internet como ferramenta de pesquisa. Respondentes que não são proficientes em leitura e escrita (mas que possuem uma boa expressão oral), indivíduos que apresentam dificuldades de visão, pessoas que não são familiarizadas com a utilização de computadores, ou aquelas que, por alguma razão, estão fatigadas ou doentes, provavelmente irão preferir responder a uma entrevista a preencher um questionário. Outra dificuldade observada na aplicação de procedimentos autoadministrados é obter indivíduos que estejam dispostos a responder os questionários adequadamente. Se não há o envolvimento de um entrevistador, a motivação partirá exclusivamente do respondente; indivíduos que estão particularmente interessados no tópico da pesquisa tendem a

Pesquisa de levantamento 91

apresentar um maior empenho ao responder (Fowler et al., 2002; Heberlein e Baumgartner, 1978; Jobber, 1984). Neste contexto, se um pesquisador está coletando dados de uma população com um bom nível cultural e que, em média, se mostra altamente interessada no tópico da pesquisa, procedimentos que utilizam correspondência ou e-mail tornam-se mais atraentes. Em contrapartida, se um pesquisador está lidando com uma população cujas habilidades de leitura e escrita são insatisfatórias e/ou nas quais a média de interesse e motivação mostra-se baixa, as estratégias de coleta de dados baseadas em entrevistas são preferíveis. A facilidade de contato é outro fator a ser considerado. Estratégias baseadas em entrevistas dependem da capacidade do entrevistador de contatar os respondentes e organizar a coleta de dados. Uma grande vantagem das estratégias autoadministradas é de que, se os endereços estão corretos, as questões serão enviadas aos indivíduos sem maiores problemas. Além disso, pessoas que acumulam diversas ocupações têm a possibilidade de responder ao questionário no momento que julgarem conveniente. Por outro lado, se a pesquisa é relacionada ao ambiente profissional, pessoas ocupadas em seus setores de trabalho poderão responder à entrevista por telefone ou combinar um horário com o entrevistador. Agendar um horário para uma entrevista por telefone pode ser a melhor maneira de contatar estes indivíduos para realizar a coleta de dados. Formato de questões Geralmente, se um pesquisador planeja realizar um questionário autoadministrado, ele precisa limitá-lo a questões que requerem respostas objetivas, ou seja, questões cujas respostas são apenas assinaladas em uma folha entregue pelo pesquisador. Em parte, este método é utilizado pela sua característica de simplificar respostas, o que pode aumentar a taxa de devolução de questionários. Segundo, respostas amplas de questionários autoadministrados não costumam oferecer dados produtivos. Sem a presença de um entrevistador para descobrir o significado de relatos incompletos, baseado nos objetivos das questões, as respostas não poderão ser comparadas entre os respondentes e, por consequência, se tornarão praticamente indecifráveis. A provável função dessas respostas (se apresentarem alguma utilidade) será de apoio aos dados inseridos na pesquisa. Apesar da necessidade da presença de um entrevistador para aplicar questões discursivas, há também alguns casos nos quais questões objetivas produzem melhores resultados se autoadministradas. Um exem-

92 Floyd J. Fowler Jr.

plo deste fato se dá quando um entrevistador deseja realizar uma série de questões de forma similar. A leitura, feita por um pesquisador, de longas listas contendo alternativas similares pode tornar uma entrevista constrangedora e tediosa. Em alguns casos, uma boa estratégia é inserir este tipo de questão em questionários autoadministrados, os quais podem ser entregues em forma impressa ou eletrônica. Este tipo de modificação pode sinalizar uma mudança favorável nos rumos da entrevista. Procedimentos autoadministrados também são vantajosos quando há numerosas ou complexas categorias de respostas. Em uma entrevista pessoal, é comum entregar ao respondente um cartão para que ele possa anotar todas as suas respostas, prevenindo, assim, possíveis esquecimentos. No entanto, em pesquisas por telefone são necessários alguns ajustes. Três métodos são utilizados. No primeiro, pesquisadores podem simplesmente limitar as categorias de respostas para entrevistas. Tem-se discutido que o número de quatro categorias é o máximo adequado para entrevistas por telefone; em muitos levantamentos de dados predomina o número de duas a três categorias de resposta. No segundo, uma longa lista pode ser apresentada em uma entrevista por telefone se o entrevistador ler as categorias de resposta lentamente, repetindo-as e solicitando ao respondente que escolha a categoria que ache adequada. Não foi esclarecido, contudo, se as respostas obtidas dessa forma são idênticas àquelas oferecidas em uma lista visual de categorias. Para alguns tipos de questões, as respostas são influenciadas pela ordem na qual as perguntas são lidas (Bishop, Hippler, Schwartz, e Strack, 1988; Schuman e Presser, 1981). No terceiro, pesquisadores podem fragmentar uma questão complexa em duas ou mais questões simplificadas. Por exemplo, é comum solicitar aos indivíduos que insiram sua renda total em quatro ou cinco categorias. Uma questão com nove categorias de respostas pode ser realizada em duas etapas, como nas frases a seguir: Você diria que a sua renda familiar total é menor que $30.000, entre $30.000 e $60.000, ou maior que $60.000? Então, dependendo da resposta, o entrevistador pros­ segue fazendo outra pergunta de três alternativas, como: Bem, então você diria que a sua renda familiar total é menor que $40.000, de $40.000 a $50.000, ou maior que $50.000? Estas variações simplificam as questões, contudo, o formato destas também pode influenciar as respostas (Groves, 1989). Há formatos de questões, incluindo aquelas com descrições complexas de situações ou eventos e aquelas que necessitam de recursos vi-

Pesquisa de levantamento 93

suais para serem compreendidas, que não podem ser adaptadas para entrevistas por telefone. Se, porventura, tais questões forem elementos cruciais da pesquisa, então outra forma para a realização da entrevista se faz necessária. Pesquisadores têm demonstrado, entretanto, que é possível adaptar a maioria das questões para entrevistas por telefone. Se um instrumento for utilizado para pesquisas autoadministradas e para aquelas realizadas através de entrevistas, é importante elaborar as questões com antecedência. Isso geralmente requer poucas mudanças para transformar um roteiro de entrevistas em uma pesquisa autoadministrada. Métodos baseados em computador proporcionam um número de vantagens que não podem ser obtidas em procedimentos que utilizam papel e caneta. Por exemplo, regras para o preenchimento de questões que possuem mais de uma resposta possível são praticamente impossíveis de serem compreendidas sem a assistência de um computador. Por vezes é aconselhável desarranjar a ordem das questões ou as alternativas de resposta – uma tarefa simples com o auxílio de um computador, porém quase impossível sem a sua assistência. Finalmente, quando respondentes estão trabalhando diretamente com um computador, uma maior quantidade de material complexo pode ser incluída na pesquisa. Deste modo, fotos, material de áudio e outras combinações dessa espécie podem ser apresentadas aos respondentes como parte do processo de levantamento de dados. Conteúdo das questões Muitos estudos têm comparado os resultados de diferentes estratégias de coleta de dados (por exemplo, Cannel et al., 1987; Groves e Kahn, 1979; Hochstim, 1967; Mangione, Hingson, e Barret, 1982). Boas coletâneas de resultados são apresentadas por Leeuw e van der Zouwen (1988) e Dillman (2007). Para a maioria dos levantamentos de dados estudados, o total de resultados obtidos através de entrevistas pessoais, entrevistas por telefone e procedimentos autoadministrados tem sido similares. Pesquisadores têm alimentado uma calorosa discussão a respeito da melhor estratégia para lidar com tópicos delicados. Procedimentos autoadministrados são considerados melhores, pois não é necessário que o respondente revele para um entrevistador certos acontecimentos ou aspectos pouco louváveis de sua personalidade. Também é defendido o caráter impessoal das entrevistas por telefone, o qual deveria auxiliar o respondente, encorajando-o a revelar eventos ou comportamentos nega-

94 Floyd J. Fowler Jr.

tivos. Além disso, a discagem aleatória de dígitos proporciona a execução de um procedimento de levantamento de dados anônimo e virtual, considerando o fato de que o entrevistador necessita saber o nome ou endereço do respondente. Ainda há os que defendem a presença de um entrevistador para apresentar questões delicadas, pois acreditam que é essencial que se estabeleça uma relação de confiança, a qual se faz necessária para que os respondentes relatem informações pessoais. Embora todos os argumentos anteriores sejam plausíveis, dados claramente indicam que informações pessoais são obtidas com maior frequência, e certamente com maior precisão, através de métodos autoadministrados. Tanto o método autoadministrado em questões impressas quanto o mesmo método monitorado por computador apresentam os mesmos resultados, em comparação com os procedimentos administrados por um entrevistador (Aquilino, 1994; Dillman e Tarnai, 1991; Tourangeau e Smith, 1998; Turner et al., 1998). Além disso, tais resultados se associam a tópicos delicados (como uso de drogas ilegais e comportamento sexual) e temas mais sutis ligados à construção e manutenção da autoimagem, como problemas relacionados à saúde ou a “dificuldades” surgidas após uma cirurgia na próstata (Fowler, Roman e Di, 1998; McHorney, Kosinski, Ware, 1994). Se as possíveis respostas pessoais são o foco de uma pesquisa, torna-se preciso encontrar um modo de obtê-las sem a presença de um entrevistador, de maneira que as respostas sejam genuínas. Ao comparar entrevistas pessoais e por telefone, de acordo com este tópico de discussão, os dados não se mostram claros (de Leeuw e van der Zouwen, 1988). Todavia, é provavelmente mais comum que procedimentos por telefone evidenciem diferenças na estrutura das respostas, evidenciando as diferenças sociais dos respondentes, em comparação com entrevistas pessoais. Uma das diferenças mais marcantes foi descoberta por Mangione e colaboradores (1982) em taxas de resposta nas quais os indivíduos admitiam terem tido problemas de abuso de álcool no passado. Hochstim (1967), Henson, Roth e Cannell (1977), Aquilino (1994), e Fowler e colaboradores (1998) observaram resultados consistentes. Um aspecto completamente distinto do conteúdo das questões que pode afetar o modo de coleta de dados é a dificuldade na transcrição de respostas. Em alguns levantamentos de dados, pesquisadores almejam indagar sobre eventos e comportamentos cujas respostas são de difícil transcrição, tanto por estenderem o limite de tempo quanto por apresentarem muitos detalhes. Em determinados casos, uma transcrição precisa pode apresentar benefícios no que diz respeito à consulta de registros ou à dis-

Pesquisa de levantamento 95

cussão de questões com membros do grupo familiar. O padrão de entrevistas é um rápido processo de perguntas e respostas, o qual não oferece oportunidades para aprimorar a coleta de dados; este fato pode ser percebido especialmente em entrevistas por telefone. Procedimentos autoadministrados proporcionam um maior tempo para elaborar as respostas, para consultar registros e para consultar outros membros do grupo familiar. Quando são solicitados maiores detalhes a respeito de eventos simples, como informações sobre o que os indivíduos comem ou como gastam seu dinheiro, ou quais programas assistem, o melhor método é solicitar aos respondentes que organizem relatórios. Embora haja limites de quantos indivíduos irão elaborar relatórios, e geralmente os respondentes são pagos para fazê-lo, este é um bom método para conseguir maiores detalhes. Há alternativas informatizadas para proporcionar maior praticidade à elaboração de relatórios, como ter indivíduos ligando periodicamente para um número gratuito ou fornecendo informações pela internet, as quais podem oferecer dados da mesma qualidade. De uma forma geral, quando as amostras são passíveis de comparação, pesquisadores concluíram que muitas estimativas obtidas por pesquisas não são afetadas pelo método da coleta de dados. Salvo a relevância de alguns dos problemas mencionados anteriormente, é provável que a decisão sobre como realizar a coleta de dados deva ser feita em razão da ligação entre o tema do questionário e o método da coleta de dados. Contudo, é necessário para o processo de levantamento de dados que se estabeleça uma relação entre o formato ou o conteúdo das questões e o modo da coleta de dados. Taxas de resposta A taxa de resposta tende a ser um fator decisivo na escolha de um procedimento de coleta de dados. Obviamente, umas das maiores potencialidades de levantamentos de dados autoadministrados, quando eles são possíveis, é a elevada taxa de resposta. Generalizando, quando estudantes em uma sala de aula ou trabalhadores em seus respectivos setores são solicitados a responder questionários, a taxa de resposta se aproxima dos 100%. A quantidade de respostas geralmente diminui em razão de abstenções ou escalas de trabalho (trocas, folgas). A taxa de resposta por levantamentos de dados por correspondência ou e-mail depende dos sujeitos e do propósito da pesquisa. Uma pesquisa financiada pela Medicare, realizada com pacientes que passaram

96 Floyd J. Fowler Jr.

por cirurgia de próstata, alcançou um retorno de 82% em respostas enviadas por correspondência, seguido pela marca de 90% de retorno em respostas obtidas por telefone (Fowler et al., 1998). Em contrapartida, há casos de pesquisas feitas por correspondência que obtiveram retorno de menos de 20%. Não há dúvidas de que o problema da ausência de resposta esteja ligado principalmente aos levantamentos de dados por correspondência. Como foi observado no capitulo anterior, se um pesquisador simplesmente envia questionários para uma população geral, sem um acompanhamento adequado, a taxa de retorno tende a ser menor que 50% (Heberlein e Baumgartner, 1978). Se o processo for acompanhado de maneira adequada e se o projeto for bem elaborado e executado, as taxas de resposta poderão ser obtidas tanto por pesquisas por correspondência quanto por outros métodos (por exemplo, Dillman, 2007, Fowler et al., 1998). A eficácia de estratégias que utilizam o telefone para produzir elevadas taxas de resposta depende, em parte, do esquema de amostragem. Uma maneira de utilizar levantamentos de dados por telefone se dá através da reprodução de alguns procedimentos executados em entrevistas pessoais. Se um pesquisador possui uma lista de endereços e números de telefone, uma carta pode ser enviada introduzindo o tópico do estudo e explicando seus propósitos. Em seguida, o entrevistador pode realizar o primeiro contato por telefone, pedindo a cooperação do respondente. Sob essas circunstâncias, as taxas de resposta obtidas através de entrevistas pessoais ou por telefone não diferem de maneira significativa. Isso ocorre especialmente quando é oferecida aos não respondentes a opção de serem entrevistados pessoalmente (Groves, 1989; Hochstim, 1967; Mangione et al., 1982). Os procedimentos descritos anteriormente, contudo, representam uma minoria nas pesquisas por telefone. São mais comuns os estudos que associam o telefone com a amostragem por discagem aleatória de dígitos. Uma particularidade da discagem aleatória de dígitos é que geralmente a carta prévia não é enviada, ainda que algumas organizações utilizem listas de endereços e enviem cartas quando um endereço é ligado a um número selecionado. Por uma série de razões, as taxas de resposta oriundas do sistema de discagem aleatória de dígitos têm sido menos utilizadas desde a década passada. Este fenômeno, somado ao crescimento do uso de telefones celulares, tem influenciado de modo considerável as amostras baseadas no sistema de discagem aleatória de dígitos. Concluindo, tanto para amostras derivadas de listas quanto para resultados de pesquisas telefônicas, há uma sutil diferença entre entrevistas

Pesquisa de levantamento 97

pessoais e por telefone no que diz respeito a tipos de resposta. Além disso, quando pesquisadores optam por realizar novas entrevistas com respondentes que já foram entrevistados para conseguir informações adicionais, a taxa de resposta obtida pelo telefone não é diferente daquelas obtidas por intermédio de entrevistas pessoais. Para populações maiores, aparentemente um dos custos da discagem aleatória de dígitos em levantamento de dados por telefone é a reduzida taxa de resposta em famílias selecionadas, muito menor do que aquela obtida através de entrevistas pessoais. Quando uma redução de 5 a 20% nas taxas de resposta é multiplicada pela taxa na qual as pessoas sem telefone, ou linhas telefônicas, também são excluídas de tais amostras, o diferencial nas taxas de resposta torna-se considerável. Ao escolherem o método de discagem aleatória de dígitos, os pesquisadores devem estar preparados ou para enfrentar dificuldades como esta, ou para trabalhar muito, com o objetivo de evitá-la. Custos A grande vantagem dos procedimentos de levantamento de dados por telefone e por correspondência é que eles geralmente possuem um custo menor por retorno do que as entrevistas pessoais. Obviamente, o método mais barato para levantamento de dados é aquele que utiliza a internet como ferramenta. Os custos dos levantamentos de dados dependem de uma série de fatores. Alguns dos fatores mais expressivos são: a quantidade de tempo exigida para a elaboração do questionário, o tempo necessário para instalar e testar o programa de monitoramento por computador, a extensão do questionário, o alcance geográfico da amostra, a disponibilidade e a importância da amostra, os procedimentos de retorno, as regras para seleção de respondentes e a disponibilidade de equipe treinada. Os custos de um levantamento de dados por correspondência podem variar. O custo de postagem, as taxas de envio e a impressão de questionários não são despesas baratas. Além disso, se forem realizadas ligações como lembretes, o gasto torna-se maior. Outro fator indispensável para comparação é associado às despesas de telefone envolvidas. Os custos do uso de telefones irão afetar a comparação existente entre levantamento de dados por telefone e por entrevistas pessoais, no entanto entrevistas pessoais com famílias comumente possuem um maior custo por entrevista do que aquelas realizadas por telefone, fazendo uso de uma mesma amostra. Seguramente, os pagamentos e os demais custos para um entrevistador visitar uma casa e

98 Floyd J. Fowler Jr.

fazer contato com um respondente irão exceder aqueles obtidos através de procedimentos por telefone. A comparação de custos entre os métodos por correspondência e por telefone também irá depender da população. Se for uma população altamente motivada, que prontamente responde às pesquisas, os custos do procedimento por correspondência serão menores do que por telefone. No entanto, na maioria dos casos, para conseguir taxas de resposta similares, o uso de métodos por correspondência e por telefone podem ter praticamente o mesmo resultado. Embora a escolha entre levantamento de dados por correspondência ou por telefone possa ser feita independentemente de gastos, geralmente os mesmos influenciam na escolha do procedimento por entrevistas pessoais. Ainda há muitos casos nos quais é necessário fazer uso das potencialidades das entrevistas pessoais para atingir os objetivos estabelecidos pela pesquisa. Para concluir, é óbvio que, se o levantamento de dados pode ser feito pela internet, os custos serão consideravelmente menores. Dependendo de como se dará a coleta de dados, poderá haver um investimento inicial na instalação de programas. Além disso, o principal custo na coleta de dados é relacionado ao tempo gasto pela equipe para elaborar o método de levantamento de dados e testá-lo. As principais dificuldades percebidas na comparação com outros métodos são associadas, certamente, à confiabilidade das amostras recolhidas por e-mail e a taxa de resposta que pode ser alcançada. Serviços disponíveis Os serviços e a equipe disponíveis devem ser considerados na escolha de um modo de coleta de dados. A formação de uma equipe de entrevistadores é custosa e difícil. As taxas de rejeição à pesquisa são geralmente elevadas para entrevistadores recém-treinados. Obter a cooperação dos respondentes é uma árdua tarefa para entrevistadores inexperientes, o que resulta em altas taxas de recusa no início do processo. Em suma, torna-se complicado encontrar profissionais qualificados para treinar e supervisionar entrevistadores. Desta forma, uma sugestão prática para pesquisadores interessados em realizar levantamento de dados baseado em entrevistas pessoais é trabalhar a habilidade em coletar dados de maneira organizada e profissional. Se um indivíduo tem acesso à outra pesquisa em andamento ou se um dos membros da equipe já possui experiência em treinamento e supervisão de entrevistadores, o sucesso de estudos baseados em entre-

Pesquisa de levantamento 99

vistas será provável. Caso isso não ocorra, um levantamento de dados autoadministrado apresentará vantagens consideráveis. Duração da coleta de dados O tempo gasto na coleta de dados varia de acordo com o método escolhido. Os levantamento de dados por correspondência geralmente são realizados em um período de dois meses. Em condições normais, o processo envolve enviar a correspondência, aguardar por um tempo, enviar mais algumas correspondências, aguardar mais algum tempo, e realizar alguns eventuais contatos por telefone ou pessoalmente. Obviamente, a internet elimina o período de espera por respostas, contudo, os lembretes dados pessoalmente ainda são largamente utilizados. Em contrapartida, é possível realizar um levantamento de dados por telefone em poucos dias. Pesquisas executadas rapidamente podem apresentar uma elevada taxa de ausência de resposta, uma vez que pode tornar-se complicado estabelecer contato com alguns indivíduos em um curto espaço de tempo. Entretanto, um levantamento de dados por telefone tende a ser realizado em um período de tempo consideravelmente menor do que um feito por entrevistas pessoais com famílias ou por correspondência. O prazo exigido para realizar um levantamento de dados baseado em entrevistas pessoais com famílias vem de encontro a generalizações, pois depende da quantidade de amostras e da disponibilidade da equipe. É correto afirmar, todavia, que somente em circunstâncias extremas um levantamento de dados baseado em entrevistas pessoais será realizado em um período de tempo menor do que um levantamento de dados por telefone. Coleta de dados assistida por computador O método tradicional de levantamento de dados tem sua origem em materiais escritos, os quais eram manuseados tanto pelos entrevistadores quanto pelos respondentes. Entretanto, na década passada, o papel e o lápis foram substituídos pelos computadores: agora questões são lidas na tela de um computador por pesquisadores e entrevistados, e as respostas ficam registradas por senhas eletrônicas. A principal vantagem da coleta de dados assistida por computador é a obtenção de respostas instantaneamente. Em algumas pesquisas, há ainda outras vantagens para a coleta de dados: • O computador pode compreender e executar modelos complexos de questões que, manualmente, seriam de difícil elaboração.

100 Floyd J. Fowler Jr.

• Informações provenientes de perguntas ou de entrevistas anteriores podem ser consideradas na elaboração ou na sequência das questões feitas. • Se um dado inconsistente é fornecido, o computador pode identificar e reparar o erro durante a coleta de dados. Apesar destas vantagens, é necessário dispor de tempo para garantir que a coleta de dados monitorada por computador seja livre de erro e, como será discutido em detalhes no Capítulo 9, pesquisadores podem perder a habilidade de checar ou exercitar um controle de qualidade sobre o processo de inclusão de dados. Portanto, como a maioria das decisões a respeito da elaboração de pesquisas, os benefícios do emprego da coleta de dados assistida por computador podem variar conforme as especificidades de cada projeto. Couper e colaboradores (1998) apresentam os estudos mais recentes associados à coleta de dados assistida por computador. O auxílio do computador é usado frequentemente em conjunto com o levantamento de dados por telefone. De fato, para algumas pessoas, a entrevista por telefone assistida por computador é um sinônimo para levantamento de dados por telefone. Até o presente momento, não há registros de que a qualidade dos dados obtidos através de pesquisas por telefone seja afetada pela coleta de dados assistida por computador, exceto pela redução de dados perdidos (Catlin e Ingram, 1988). A maioria das vantagens ou desvantagens documentadas são técnicas: a facilidade de manutenção da ordem e estrutura das questões, a velocidade da inclusão de dados, a administração de amostras e a possibilidade de auxiliar os entrevistadores no que diz respeito ao formato de questões ou definições, caso precisem. As desvantagens incluem a necessidade da utilização de programas livres de erro, a dificuldade para os entrevistadores realizarem correções e o risco de haver pane no sistema computacional. Também, embora respostas literais sejam encorajadas por entrevistadores nas questões em forma de narração, a coleta de dados assistidada por computador posteriormente aumenta a exigência da utilização de questões objetivas. A maioria das entrevistas assistidas por computador são realizadas a partir de um serviço telefônico central. Com o uso de computadores portáteis, todavia, as entrevistas com famílias também requerem coleta de dados assistida por computador. Além disso, em certos ambientes, como em consultórios médicos, computadores têm sido utilizados para coletar dados de indivíduos através do método autoadministrativo: os respondentes se sentam diante de um computador, leem questões na tela, e as respondem sem a

Pesquisa de levantamento 101

presença de um entrevistador. Computadores com equipamentos como telas sensíveis ao toque ou mouse são particularmente apropriados para este tipo de coleta de dados. As vantagens de uma entrevista pessoal assistida por computador são praticamente as mesmas das entrevistas por telefone assistidas por computador: a facilidade na administração das questões e a rápida compilação de dados. Ao término de um dia de entrevistas, o entrevistador pode transmitir os dados para um escritório central através do telefone. Apesar da assistência computacional a pesquisas automonitoradas ainda estar em desenvolvimento, há algumas potencialidades interessantes que tendem a ser realizadas. Por exemplo, os computadores tornam possível a apresentação de informações e estímulos de outra maneira que não por palavras (por exemplo, fotos). Os computadores têm a capacidade de adequar o idioma das questões ao idioma falado pelo entrevistado, bem como de apresentar o áudio das questões para indivíduos que tenham dificuldades na leitura. A habilidade dos computadores de modificar a escolha ou a sequência de questões, de modo que se encaixem na ordem lógica ditada pelas respostas, é uma característica positiva na autoadministração, na qual instruções complexas são de difícil assimilação pelos respondentes. Computadores conectados a linhas telefônicas podem perguntar e gravar as respostas através de números discados nas teclas do telefone, oferecendo uma alternativa para que os respondentes, fazendo uso da internet, forneçam dados no momento que acharem conveniente. Finalmente, os respondentes tendem a se sentir mais confortáveis ao responder perguntas pessoais para computadores do que para entrevistadores.

COMPARAÇÃO RESUMIDA DE MÉTODOS A discussão anterior não é exaustiva, mas apresenta a maioria das considerações mais importantes. A escolha do modo de coleta de dados é complexa e envolve muitos aspectos relacionados ao processo de pesquisa de levantamento. A seguir, um resumo das potencialidades e defeitos dos principais métodos para coleta de dados. Potenciais vantagens de entrevistas pessoais: • Algumas estruturas de amostra podem ser mais bem empregadas por meio de entrevistas pessoais (por exemplo, amostras por área de probabilidade).

102 Floyd J. Fowler Jr.

• O procedimento baseado em entrevistas pessoais é provavelmente o meio mais eficaz de obter cooperação. • As vantagens de um procedimento administrado pelo entrevistador, como responder a dúvidas dos respondentes, selecionar respostas adequadas, seguindo meticulosamente instruções ou sequências complexas, podem ser empregadas. • Torna-se viável a combinação de diferentes métodos, incluindo observações, recursos visuais e seções autoadministradas, os quais podem vir apresentados tanto impressos quanto na tela de um computador. • É possível o estabelecimento de laços afetivos e confiança (incluindo qualquer acordo escrito que se faça necessário para autorizar o registro de respostas pessoais). • Provavelmente, instrumentos de pesquisa que requerem tempo para serem executados são mais bem empregados em entrevistas pessoais do que em qualquer outro método. Potenciais desvantagens de entrevistas pessoais: • Há a probabilidade de haver um maior custo neste método do que em outros. • Uma equipe treinada de entrevistadores, que estejam geograficamente próximos à amostra, se faz necessária. • O período total de coleta de dados tende a ser maior do que em procedimentos por telefone. • Algumas amostras (aquelas em residências de classe alta ou em áreas com elevadas taxas de crime, elites, empregados, estudantes) podem tornar-se mais acessíveis pela utilização de outros meios. Potenciais vantagens de entrevistas por telefone: • Os custos são geralmente menores do que em entrevistas pessoais. • A discagem aleatória de dígitos pode ser usada em amostras de população geral. • Proporciona um melhor acesso a certos grupos, especialmente se comparadas a entrevistas pessoais. • O período da coleta de dados é geralmente menor do que o dos outros métodos. • As vantagens do procedimento monitorado por um entrevistador (em oposição a pesquisas que utilizam correspondência ou a internet como ferramentas) podem ser aproveitadas.

Pesquisa de levantamento 103

• A administração do pesquisador em entrevistas por telefone é mais simples do que em entrevistas pessoais: não é preciso uma equipe tão grande, não é preciso estar próximo da amostra, e a supervisão e o controle de qualidade são potencialmente melhores. • Há a tendência de se obter uma melhor taxa de resposta oriunda de uma amostra por listagem do que de uma amostra por correspondência. Potenciais desvantagens de estudos por telefone: • Pode haver limitações de amostragem, especialmente como resultado da omissão daqueles que não possuem linha telefônica; ou da incapacidade de contatar aqueles que não possuem o número correto na lista telefônica. • A ausência de resposta associada à amostragem pela discagem aleatória de dígitos é maior do que por entrevistas pessoais. • Questionários ou limitações por área são associados ao telefone, incluindo limites alternativas de resposta, usos de recursos visuais e observações do entrevistador. • O telefone é possivelmente menos apropriado para questões delicadas ou pessoais. Potenciais vantagens da coleta de dados autoadministrada (em contraste com a coleta de dados administrada por um entrevistador): • É possível (em oposição a entrevistas por telefone) apresentar questões que necessitam de auxílios visuais. • Fazer questões que pedem respostas longas ou complexas também se torna viável. • Fazer uma série de questões similares pode ser mais bem aceito pelos entrevistados. • O fato de que o respondente não precisa compartilhar suas respostas com um entrevistador torna a coleta de dados mais confiável. Potenciais desvantagens da autoadministração: • É imprescindível que o questionário seja cuidadosamente estruturado. • Questões de ampla discussão geralmente não apresentam utilidade. • É indispensável que os respondentes sejam habilidosos em leitura e escrita.

104 Floyd J. Fowler Jr.

• O entrevistador não está presente para averiguar se todas as questões estão sendo respondidas, ou se as respostas são adequadas. • Torna-se difícil estabelecer um controle sobre quem responde às questões. Pesquisas autoadministradas podem ser realizadas por correspondência, através de administração em grupos ou em famílias. Cada método tem suas qualidades e potenciais defeitos. Vantagens da administração em grupos: • As taxas de cooperação são geralmente altas. • Proporciona ao entrevistador a chance de explicar o estudo aos respondentes, bem como responder a dúvidas sobre o questionário (contrastando com levantamento de dados por correspondência). • Geralmente os custos são baixos. A principal desvantagem é que apenas um reduzido número de pesquisas pode fazer uso de amostras recolhidas de uma só vez em um grupo. Vantagens de procedimentos por correspondência: • Os custos são relativamente baixos. • Eles podem ser realizados com um mínimo de serviços e equipe. • A correspondência proporciona o acesso a amostras diversas e que, por qualquer outra razão, sejam difíceis de obter através de entrevistas pessoais ou por telefone. • É dado tempo aos respondentes para que eles forneçam respostas cuidadosamente elaboradas, para procurar registros ou para realizar outros tipos de consulta. Desvantagens de procedimentos por correspondência: • O contato por correspondência talvez não seja um meio eficaz de se obter cooperação (dependendo do grupo a ser estudado e do tópico da pesquisa). • Há várias desvantagens em não haver a participação de um entrevistador na coleta de dados. • Endereços confiáveis para correspondência são necessários.

Pesquisa de levantamento 105

Vantagens de entregar (e posteriormente buscar) questionários em famílias: • O entrevistador pode explicar o estudo, responder questões e designar uma família respondente, em contraste com a correspondência. • As taxas de resposta tendem a ser como as de estudos que utilizam entrevistas pessoais. • Há mais oportunidades para os entrevistados darem respostas cuidadosamente elaboradas e consultarem registros de outros membros da família do que em pesquisas baseadas em entrevistas pessoais ou por telefone. • Equipes de entrevistadores treinados não são necessárias. Desvantagens da aplicação de questionários: • Este procedimento tem o mesmo custo de entrevistas pessoais. • Uma equipe de campo é necessária (embora talvez um indivíduo com menos treinamento possa ser útil para entrevistas pessoais). Potenciais vantagens em levantamentos de dados pela internet: • O custo da coleta de dados é baixo. • As respostas podem ser obtidas rapidamente. • Todas as vantagens de um instrumento autoadministrado podem ser aproveitadas. • Todas as vantagens de um instrumento monitorado por computador podem ser aproveitadas. • Como pesquisas por correspondência, este método concede tempo para respostas cuidadosamente elaboradas, verificação de registros ou outros tipos de consulta. Potenciais desvantagens em levantamentos de dados pela internet: • Amostras são limitadas aos usuários da internet. • São necessários endereços confiáveis. • Há o desafio de obter cooperação (dependendo dos grupos incluídos na amostragem e do tópico). • As várias desvantagens da não participação de um entrevistador podem afetar a coleta de dados. Finalmente, ao considerar suas opções, os pesquisadores devem considerar combinações de modos. Como podemos notar, respostas a

106 Floyd J. Fowler Jr.

muitas questões não são afetadas pelo modo de coleta de dados. Combinações de pessoal, por telefone, por correspondências e procedimentos que utilizam a internet como ferramenta podem oferecer menores preços aliados a métodos que não tenham o custo da amostragem ou ausência de resposta. Dillman (2007) e Leeuw, Dillman e Hox (2008) discutem algumas dessas combinações.

CONCLUSÃO É evidente que a escolha do modo de pesquisa é uma decisão complexa e depende, sobretudo, da situação na qual a pesquisa está inserida. Todas as estratégias apresentadas anteriormente são a melhor escolha para alguns estudos. É apropriado, todavia, perceber que a tendência mudou consideravelmente no que diz respeito às pesquisas em geral, em amostras baseadas em famílias. Há 35 anos, um pesquisador teria admitido que uma pesquisa com base em entrevistas pessoais seria o método escolhido pela maioria dos estudos. O ônus da prova recairia sobre a pessoa que quisesse comprovar a eficácia de outro método de coleta de dados. Em virtude das vantagens de custo, nas últimas décadas do século XX, um pesquisador teria de enviar diretamente as questões por correspondência ou realizá-las por telefone. Contudo, em razão da comum preocupação a respeito da ausência de resposta a pesquisas por telefone, a tendência mudou novamente. Enquanto as amostras oriundas de pesquisas por telefone utilizando o sistema de discagem aleatória de dígitos ainda são largamente empregadas, há uma crescente procura por métodos alternativos de pesquisa envolvendo uma amostra geral da população. O papel desempenhado pelas técnicas autoadministradas tem crescido na última década por duas razões. Em primeiro lugar, temos, obviamente, as inúmeras inovações nos métodos de coleta de dados proporcionadas pelo crescimento ilimitado da internet. Em segundo, um considerável número de evidências tem demonstrado que os procedimentos autoadministrados, especialmente aqueles monitorados por computador, podem coletar dados mais pontuais do que entrevistadores. Tais considerações, juntamente com a expansão de pesquisas sobre temas como uso de drogas e comportamento sexual, têm aumentado o interesse em integrar essas estratégias para aprimorar os métodos de coleta de dados. Em suma, deve ficar claro que a estrutura geral da pesquisa norteia a escolha pelo modo como será feita a coleta de dados. Uma peque-

Pesquisa de levantamento 107

na amostra de entrevistas pessoais pode produzir dados mais úteis do que uma grande amostra de entrevistas por telefone. Ter plena consciência a respeito dos objetivos metodológicos e considerar se a confiabilidade dos dados e os custos poderão ser afetados pelo método escolhido se faz necessário antes de uma decisão apropriada no que diz respeito ao modo da coleta de dados.

EXERCÍCIO Desconsiderando os custos monetários, relate um tópico de pesquisa para o qual a pesquisa por correspondência seria o método mais adequado, e explique por que esta seria a melhor alternativa em detrimento das demais. Faça o mesmo com o método de pesquisa de discagem aleatória de dígitos, de entrevistas pessoais com famílias, e uma pesquisa que utilize a internet para a coleta de dados.

Leituras Complementares de Leeuw, E. D. (2008). Choosing the method of data collection. In E. D. de Leeuw. J. J. Hox, e D. A. Dillman (Eds.), International handbook of survey methodology (pp. 113-135). Mahwah, NJ: Lawrence Erlbaum. Dillman, D. A. (2007). Mail and Internet surveys: The tailored design method (2nd ed.). New York: John Wiley. Groves, R. M., Fowler, F. J., Couper, M. P., Lepkowsky, J. M., Singer, E., e Tourangeau, R. (2004). Survey methodology (Chap. 5). New York: John Wiley.

6

Formulando questões para que sejam boas medidas

Em levantamentos, respostas não são intrinsecamente de interesse, mas por conta de sua relação com alguma coisa que se supõe que elas meçam. Questões boas são confiáveis (fornecem medidas consistentes em situações comparáveis) e válidas (as respostas correspondem ao que elas pretendem medir). Este capítulo discute abordagens teóricas e práticas para a formulação de questões para que sejam medidas confiáveis e válidas.

Formular uma questão para um instrumento de pesquisa é formular uma medida, não uma investigação conversacional. Em geral, uma resposta dada a uma questão de levantamento é muitas vezes de nenhum interesse intrínseco. Ela é valiosa na medida em que pode mostrar que possui uma relação previsível com os fatos ou com os estados subjetivos de interesse. Boas questões maximizam a relação entre as respostas registradas e o que o pesquisador está tentando medir. De certo modo, respostas de levantamento são simples respostas evocadas em uma situação artificial criada pelo pesquisador. A questão crítica neste capítulo é o que uma resposta a uma questão de levantamento nos diz sobre alguma realidade na qual temos interesse. Vejamos alguns tipos específicos de respostas e seus significados: 1. Um respondente nos diz que votou em Kerry e não em Bush para presidente em 2004. A realidade na qual estamos interessados é em que nível, se houve algum, ele foi influenciado na cabine de votação. A resposta dada no levantamento pode diferir de o que aconteceu na cabine de votação por um número de razões. O respondente pode ter pressionado o botão errado e,

Pesquisa de levantamento 109

portanto, não saber em quem ele realmente votou. Ele pode ter esquecido. O respondente também pode ter alterado sua resposta intencionalmente por alguma razão. 2. Um respondente nos diz quantas vezes foi ao médico durante o ano passado. Este é o mesmo número a que o pesquisador chegaria se tivesse seguido o respondente cerca de 24 horas todos os dias durante o ano passado? Problemas de recordação, de definição do que constitui uma visita ao médico e de boa vontade para responder com precisão podem afetar a correspondência entre o número que o respondente fornece e a conta a que o pesquisador teria chegado de forma independente. 3. Quando um entrevistado qualifica o seu sistema de escolas públicas como “bom” em vez de “regular” ou “ruim”, o pesquisador interpretará tal resposta como refletindo avaliações e percepções daquele sistema escolar. Se o entrevistado classificou apenas uma escola (em vez de todo o sistema), se inclinou a resposta para agradar o entrevistador, ou entendeu a questão de maneira diferente dos outros, sua resposta pode não refletir os sentimentos que o pesquisador tentou medir. Muitos levantamentos são analisados e interpretados como se o pesquisador soubesse com certeza o que as respostas significam. Estudos formulados para avaliar a correspondência entre as respostas dos entrevistados e os valores verdadeiros mostram que muitos deles respondem a várias questões muito bem. Mesmo assim, assumir correspondência perfeita entre as respostas que as pessoas dão e alguma outra realidade é ingênuo. Quando as respostas são boas medidas, são normalmente o resultado de um processo de formulação cuidadoso. Nas seções seguintes, maneiras específicas pelas quais os pesquisadores podem melhorar a correspondência entre as respostas dos entrevistados e o estado verdadeiro das coisas são discutidas. Um dos objetivos de uma boa medida é aumentar a confiabilidade das questões. Quando dois respondentes estão em uma mesma situação, eles devem responder às questões da mesma forma. À medida que há inconsistência entre eles, um erro aleatório é introduzido, e a medição é menos precisa. A primeira parte deste capítulo lida com como aumentar a confiabilidade das questões. Há também a questão de o que uma resposta dada significa em relação ao que o pesquisador está tentando medir: Quão bem a resposta

110 Floyd J. Fowler Jr.

corresponde? As últimas duas seções deste capítulo são dedicadas à validade, a correspondência entre as respostas e os valores verdadeiros e formas de melhorar tal correspondência (Cronbach e Meehl, 1955).

AUMENTANDO A CONFIABILIDADE DAS RESPOSTAS Um passo no sentido de assegurar a consistência da medição é que para cada respondente em uma amostra é feito o mesmo conjunto de perguntas. As respostas a essas perguntas são gravadas. O pesquisador gostaria de estar apto a assumir que as diferenças nas respostas derivam das diferenças entre os entrevistados no que eles têm para dizer e não das diferenças no estímulo ao qual os respondentes foram expostos. A formulação das questões é obviamente uma parte central do estímulo. Uma coleta de dados de levantamento é uma interação entre um pesquisador e um respondente. Em uma pesquisa autoadministrada, em papel ou via computador, o pesquisador fala diretamente com o entrevistado através de um questionário escrito ou por palavras em uma tela de computador. Em outros levantamentos, um entrevistador lê as palavras do pesquisador para o respondente. Em ambos os casos, o instrumento de pesquisa é o protocolo para um dos lados da interação. A fim de fornecer uma experiência de coleta de dados consistente para todos os respondentes, uma boa questão tem as seguintes propriedades: • O lado do pesquisador do processo de pergunta e resposta é totalmente planejado, de forma que as questões escritas preparam totalmente o respondente para respondê-las. • A questão significa a mesma coisa para todos os respondentes. • Os tipos de respostas que constituem uma resposta apropriada para a questão são comunicados de forma coerente a todos os respondentes. Evitando a Formulação Inadequada O exemplo mais simples de formulação inadequada de uma questão é quando, de alguma forma, as palavras do pesquisador não constituem uma questão completa.

Pesquisa de levantamento 111 FORMULAÇÃO INCOMPLETA

Ruim

Melhor

6.1

Idade?

Qual era sua idade em seu último aniversário?

6.2

Razão pela qual foi ao médico da última vez?

Qual foi o problema médico ou a razão pela qual você foi ao medico mais recentemente?

Entrevistadores (ou respondentes) terão de adicionar palavras ou substituí-las para que se possa respondê-las a partir das palavras na coluna da esquerda. Se o objetivo é que todos os respondentes respondam às mesmas questões, então é melhor que o pesquisador escreva as questões de forma completa. Às vezes a formulação opcional é requerida para atender às diferentes circunstâncias dos respondentes. Isso não significa, contudo, que o pesquisador tenha que desistir de escrever as questões. Se a entrevista é assistida por computador, frequentemente este pode adequar a formulação das questões. Se um roteiro de entrevista em papel é usado, é uma convenção comum colocar termos opcionais entre parênteses. Tais palavras serão usadas pelo entrevistador quando forem adequadas à situação e omitidas quando não forem necessárias.

EXEMPLOS DE TERMOS OPCIONAIS

6.3

Você foi (ou alguém que vive aqui com você) atacado ou agredido por um desconhecido durante o último ano?

6.4

Você (ele/ela) informou o ataque à polícia?

6.5

Que idade tinha (CADA PESSOA) no (seu/dele/dela) último aniversário?

No exemplo 6.3, a frase entre parênteses seria omitida se o entrevistador já soubesse que o respondente vivia sozinho. Se mais de uma pessoa vivia na casa, contudo, o entrevistador incluiria isso. A opção entre parênteses oferecida em 6.4 pode parecer de menor importância. Os parênteses, contudo, alertam o entrevistador para o fato de que uma escolha de termo deve ser feita; o pronome adequado é utilizado, e o princípio de que o entrevistador precisa ler apenas a questão exatamente como escrita a fim de apresentar um estímulo satisfatório é mantido. Uma variação que realiza a mesma coisa é ilustrada em 6.5. Um formato como esse pode ser usado se a mesma pergunta fosse feita para cada pessoa em uma família. Em vez de repetir infinitamente as mesmas palavras, uma única questão é escrita instruindo o entrevistador para substituir uma designação apropriada (seu marido, seu filho, sua filha mais velha).

112 Floyd J. Fowler Jr.

Tanto em papel quanto pelo computador, o objetivo é fazer com que o entrevistador faça perguntas que façam sentido e que se valham dos conhecimentos previamente obtidos na entrevista para adequar as questões às circunstancias individuais dos respondentes. Há outro tipo de formulação opcional que é visto ocasionalmente em questionários e que não é aceitável. EXEMPLO DE FORMULAÇÃO OPCIONAL INACEITÁVEL 6.6

O que você mais gosta neste bairro? (Nós estamos interessados em qualquer coisa, como casas, pessoas, parques ou o que quer que seja.)

Presumivelmente, o que está entre parênteses foi pensado para ajudar os respondentes que tenham dificuldade em responder à questão. A partir de um ponto de vista da medição, contudo, isso viola o princípio da entrevista-padrão. Se o entrevistador usa o conteúdo entre parênteses quando um respondente não chega prontamente a uma resposta, aquele subconjunto de respondentes terá respondido uma questão diferente. Tais opções são introduzidas quando o pesquisador não acredita que a questão inicial é uma boa questão. A abordagem apropriada é escrever, em primeiro lugar, uma boa questão. Aos entrevistadores não deve ser dada nenhuma opção sobre quais questões ler ou como lê-las, exceto, como nos exemplos anteriores, para fazer as questões se adaptarem às circunstâncias particulares de um respondente de uma forma padronizada. O que se segue é um exemplo diferente de uma formulação de questão incompleta. Há três erros envolvidos no exemplo. EXEMPLO DE UMA FORMULAÇÃO POBRE

6.7

Eu gostaria que você classificasse diferentes características do seu bairro como muito bom, bom, razoável ou ruim. Por favor, pense cuidadosamente sobre cada item quando eu os ler. a. Escolas públicas b. Parques c. Transporte público d. Outro

O primeiro problema com 6.7 é a ordem principal. As alternativas de resposta são lidas antes de uma instrução para pensar cuidadosamente sobre os itens específicos. O respondente provavelmente esquecerá a questão. O entrevistador provavelmente terá que fazer alguma explicação ou reformulação antes que o respondente esteja preparado para dar uma resposta. Em se-

Pesquisa de levantamento 113

gundo lugar, as palavras que o entrevistador precisa perguntar sobre os itens da lista não são fornecidas. Uma questão muito melhor seria a seguinte: 6.7a

Eu irei pedir a você para que classifique diferentes características do seu bairro. Eu quero que você pense cuidadosamente sobre as suas respostas. Como você classificaria (CARACTERÍSTICA)- você diria muito bom, bom, razoável ou ruim?

O entrevistador inseriria sequencialmente cada item (escolas públicas, parques, etc.) até que as quatro questões tivessem sido feitas. Este formado dá ao entrevistador a formulação necessária para perguntar o primeiro e todos os outros itens subsequentes da lista como questões completas. Isso também coloca os elementos da questão em uma ordem apropriada, de forma que as alternativas de resposta são lidas para o respondente da maneira que elas mais provavelmente serão lembradas. O terceiro problema com o exemplo é a quarta alternativa, “outro”. O que o entrevistador dirá? Ele ou ela fará uma nova questão, como “Há alguma outra coisa no seu bairro que você aprecie?” Como serão redigidas as questões de classificação? Não é raro ver “outro” em uma lista de questões em um formulário similar ao do exemplo. Claramente, da forma como apresentado em 6.7, o planejamento é inadequado. Os exemplos apresentados ilustram questões que não poderiam ser apresentadas consistentemente a todos os respondentes como um resultado da formulação incompleta. Outro passo necessário para melhorar a consistência é criar um conjunto de questões que fluam sem problemas e facilmente. Se as questões têm uma formulação estranha ou confusa, se há palavras difíceis de pronunciar ou se combinações de palavras soam estranho juntas, os entrevistadores mudarão as palavras para fazer com que soem melhor ou para torná-las mais fáceis de ler. Pode ser possível treinar e supervisionar os entrevistadores para manter tais mudanças no mínimo possível. Não obstante, isso só faz sentido para ajudar os entrevistadores por oferecer-lhes questões que são o mais fácil de ler possível. Garantindo um significado coerente para todos os respondentes Se a todos os entrevistados são feitas exatamente as mesmas perguntas, um passo foi dado para garantir que as diferenças nas respostas podem ser atribuídas às diferenças dos respondentes. Mas há uma consideração mais profunda: Todas as questões devem significar a mesma coisa para todos os respondentes. Se dois respondentes entendem que uma

114 Floyd J. Fowler Jr.

questão significa coisas diferentes, suas respostas podem ser diferentes apenas por essa razão. Um problema em potencial é usar palavras que não são universalmente entendidas. Em amostras gerais de populações, é importante lembrar que uma série de experiências educacionais e culturais serão representadas. Até mesmo com respondentes muito bem educados, usar palavras simples que são curtas e amplamente entendidas é um método seguro para a formulação de questionários. Indubitavelmente, um erro muito mais comum do que usar palavras não familiares é o uso de termos ou conceitos que podem ter múltiplos significados. A prevalência de interpretações errôneas de formulações comuns vem sendo bem documentada por aqueles que estudaram o problema (por exemplo, Belson, 1981; Fowler, 1992; Oksenberg, Cannell e Kalton, 1991; Tanur. 1991; Tourangeau, Rips e Rasinski, 2000). TERMOS DEFINIDOS POBREMENTE 6.8

Quantas vezes no ano passado você viu ou falou com um médico sobre sua saúde?

Problema. Há dois termos ou conceitos ambíguos nessa questão. Primeiro, há base para incerteza sobre o que constitui um profissional da saúde. Apenas as pessoas com formação em medicina e que a praticam estão incluídas? Se sim, os psiquiatras estão incluídos, mas psicólogos, quiropráticos, osteopatas e podólogos não estão. E os médicos assistentes ou enfermeiros que trabalham diretamente para os médicos em consultórios? Se uma pessoa vai a um consultório médico para ser vacinada por um enfermeiro, isso conta? Segundo, o que constitui ver ou falar com um médico? Consultas por telefone contam? Visitas a um consultório médico quando o médico não é visto contam? Soluções. Normalmente a melhor abordagem é fornecer aos entrevistadores e respondentes as definições que eles precisam. 6.8a

Nós vamos perguntar a você sobre médicos e sobre a obtenção de aconselhamentos de um médico. Neste caso, estamos interessados em todos os profissionais que tenham o grau ou que trabalham diretamente para um doutor em medicina em um consultório, tais como enfermeiros ou médicos assistentes.

Quando a definição do que é esperado é extremamente complicada e tomaria um longo tempo para definir, como pode ser o caso nessa

Pesquisa de levantamento 115

questão, uma abordagem mais construtiva pode ser fazer perguntas suplementares sobre eventos desejados que são particularmente suscetíveis de serem omitidos. Por exemplo, visitas a psiquiatras, visitas para tomar vacinas e consultas por telefone normalmente são subnotificadas e podem justificar questões especiais de acompanhamento. Perguntar questões específicas de acompanhamento para ter certeza de que eventos não foram deixados de lado é uma forma fácil de reduzir tais erros. TERMOS DEFINIDOS POBREMENTE 6.9

Você tomou café da manhã ontem?

Problema. O problema é que a definição de café da manhã varia muito. Algumas pessoas consideram café e uma rosquinha a qualquer momento antes do meio-dia um café da manhã. Outras não consideram que tomaram café da manhã a menos que isso inclua uma grande entrada, como bacon e ovos, e que seja consumido antes das 8h. Se o objetivo é medir o consumo de comida pela manhã, os resultados provavelmente terão erros consideráveis decorrente das diferentes definições de café da manhã. Soluções. Há duas abordagens para a solução. Por outro lado, pode-se optar por definir café da manhã: 6.9a

Para os nossos propósitos, vamos considerar café da manhã como uma refeição consumida antes das 10h, que inclua alguma proteína, como ovos, carne ou leite, alguns grãos, como torradas ou cereal, e alguma fruta ou vegetal, incluindo suco. Usando essa definição, você tomou café da manhã ontem?

Embora esta seja normalmente uma abordagem muito boa, neste caso é muito complicada. Em vez de tentar comunicar uma definição comum aos respondentes, o pesquisador pode simplesmente perguntar às pessoas o que elas comeram antes das 10h. Na fase de codificação, o que foi consumido pode ser avaliado coerentemente para ver se isso se encaixa nos padrões de café da manhã, sem precisar que cada respondente compartilhe a mesma definição. TERMOS DEFINIDOS POBREMENTE 6.10

Você é a favor ou contra a legislação para o controle de armas?

Problema. A legislação para o controle de armas pode significar banir a venda legal de certos tipos de armas, pedir às pessoas para que re-

116 Floyd J. Fowler Jr.

gistrem suas armas, limitar o número ou o tipo de armas que as pessoas podem possuir ou limitar quais pessoas podem possuí-las. As respostas não podem ser interpretadas sem suposições sobre o que os respondentes pensam que a questão significa. Eles indubitavelmente interpretam essa questão de forma diferente. 6.10a Uma proposta para o controle das armas é que a nenhuma pessoa que já tenha sido condenada por um crime violento seja permitido comprar ou possuir uma pistola, um rifle ou uma espingarda. Você se opõe ou apóia uma legislação como esta?

Pode-se argumentar que esta é apenas uma de uma variedade de propostas para o controle das armas. Este é exatamente o ponto. Se queremos perguntar múltiplas questões sobre possíveis diferentes estratégias para o controle das armas, devemos perguntar separadamente questões específicas que podem ser geralmente entendidas por todos os respondentes e interpretadas pelos pesquisadores. Não se resolve o problema de uma questão complexa deixando-se para o respondente decidir qual questão ele quer responder. Há uma tensão potencial entre dar uma definição complicada para todos os respondentes e tentar manter as questões claras e simples. Isso é particularmente verdadeiro para levantamentos administrados pelo entrevistador, assim como as definições são particularmente difíceis de entender quando são dadas oralmente. Uma abordagem potencial é dizer aos entrevistadores para fornecer definições aos respondentes que pedirem esclarecimentos ou aparentarem não compreender bem uma questão. Uma preocupação acerca de tais abordagens é que os entrevistadores não darão definições coerentes se tiverem que improvisar. Contudo, entrevistas assistidas por computador facilitam o fornecimento de definições precisamente formuladas. A outra preocupação, mais importante, é que apenas alguns respondentes entenderão a definição necessária. Aqueles que não solicitarem esclarecimentos ou que não aparentarem estar confusos vão ter uma lacuna de informações que poderá afetar suas respostas. Conrad e Schober (2000) experimentaram dando liberdade aos entrevistadores para fornecerem definições e explicações quando elas parecessem necessárias. Houve alguma evidência de que a precisão melhorou, mas o aumento veio a um preço de mais treinamento de entrevistadores e entrevistas mais longas. Enquanto há necessidade de mais pesquisa sobre como fazer questões sobre conceitos complexos, a abordagem geral de evitar termos complexos ou ambíguos, e definir aqueles

Pesquisa de levantamento 117

que são usados na formulação das questões, é a melhor abordagem para a maioria dos levantamentos.

EVITANDO QUESTÕES MÚLTIPLAS Outra maneira de fazer questões não confiáveis é perguntar duas coisas na mesma questão. 6.11

Você quer ser rico e famoso?

O problema é óbvio: rico e famoso não são a mesma coisa. Uma pessoa pode querer ser um, mas não querer ser o outro. Os respondentes, quando se deparam com duas questões, terão de decidir a qual responder, e essa decisão será feita de forma inconsistente por diferentes respondentes. A maioria das questões múltiplas são um pouco mais sutis, contudo. 6.12

Nos últimos 30 dias, quando você sacou dinheiro em um caixa-eletrônico, com que frequência sacou menos de 25 dólares - sempre, normalmente, algumas vezes, nunca?

Essa questão requer três cálculos cognitivos: calcular o número de visitas a um caixa-eletrônico, o número de vezes que menos de 25 dólares foram sacados, e a relação entre os dois números. Enquanto tecnicamente há apenas uma questão, é necessário responder pelo menos duas questões anteriores para que se produza a resposta. A pergunta seria mais bem formulada se usássemos duas questões. 6.12a Nos últimos 30 dias, quantas vezes você sacou dinheiro em um caixa-eletrônico? 6.12b (SE ALGUMA) Em quantas dessas vezes você sacou menos de 25 dólares?

Observe outras duas virtudes das séries 6.12a e 6.12b. Primeiro, isso identifica aqueles que não usaram um caixa-eletrônico, aos quais a questão não se aplica. Segundo, por perguntar por números em ambas as questões, isso evita que os respondentes façam um cálculo. Simplificar a demanda sobre o respondente é quase sempre uma boa ideia. 6.13

A que tipo de lugar você vai para o seu atendimento médico de rotina?

Essa questão admite que todos os respondentes têm uma rotina de cuidados médicos, o que não é uma suposição precisa. Isso deveria ser

118 Floyd J. Fowler Jr.

perguntado em duas questões. Provavelmente a melhor abordagem é perguntar aos respondentes se eles tiveram alguma rotina de cuidados médicos em algum período – por exemplo, nos últimos 12 meses. Se sim, prossiga com uma questão sobre o tipo de lugar. A opção “não sei” Quando os respondentes estão sendo questionados sobre suas próprias vidas, sentimentos ou experiências, uma resposta “não sei” é normalmente uma afirmação de que eles estão relutantes em fazer a tarefa requerida para dar uma resposta. Por outro lado, às vezes perguntamos a eles questões relativas a coisas sobre as quais eles legitimamente não sabem. Conforme o assunto das questões se afasta das suas vidas imediatas, é mais plausível e razoável que alguns respondentes não tenham o conhecimento adequado sobre o qual basear uma resposta ou não tenham formado uma opinião ou sentimento. Neste caso, temos outro exemplo de uma questão que na verdade é duas em uma: você tem a informação necessária para responder à pergunta e, se sim, qual é a resposta? Há duas abordagens para lidar com tal possibilidade. Pode-se apenas perguntar as questões de todos os respondentes, confiando no respondente para oferecer-se a dar uma resposta “não sei”. Os respondentes diferem em sua complacência para voluntariamente responderem que “não sabem”, contudo (Schuman e Presser, 1981), e os entrevistadores são inconsistentes na forma como lidar com tais respostas (Fowler e Mangiore, 1990; Groves, 1989). A alternativa é dizer a todos os respondentes uma triagem de questões padronizadas sobre se eles se sentem ou não familiarizados o suficiente com um tópico para ter uma opinião ou sentimento sobre ele. Quando um pesquisador está lidando com um tópico com o qual a familiaridade é alta, se uma questão de triagem para conhecimento é feita ou não, não importa. Quando um número notável de respondente não é familiarizado com o tópico, ou nunca pensou sobre, não importa com o que a questão está lidando, é provavelmente melhor fazer uma questão de triagem sobre a familiaridade com o tópico. Formulação especializada para subgrupos especiais Os pesquisadores têm lutado com o fato de que o vocabulário em diferentes subgrupos da população não é o mesmo. Pode-se argumentar

Pesquisa de levantamento 119

que medições padronizadas na verdade requereriam diferentes questões para diferentes subgrupos (Schaeffer, 1992). Criar formulários de questionários diferentes para subgrupos diferentes, contudo, quase nunca é feito. Antes, os metodologistas tendem a trabalhar duro na tentativa de encontrar a melhor forma para as questões que possuem um significado consistente entre a população como um todo. Apesar de haver situações em que a formulação de uma questão seja mais típica da linguagem de um segmento de uma comunidade do que de outro (normalmente o segmento mais instruído), encontrar palavras exatamente comparáveis para algum outro grupo da população e então fornecer aos entrevistadores regras confiáveis para decidir quando perguntar qual versão é tão difícil que é provável de se produzir mais insegurança do que eliminá-la. O grande desafio é como coletar dados comparáveis de pessoas que falam línguas diferentes. Os esforços mais cuidadosos para traduzir uma versão original em uma nova língua contam com um tradutor diferente que faz uma retrotradução da nova versão para a língua original, e então tenta conciliar as diferenças entre o original e a versão antes traduzida. Esse processo seria muito melhorado se os formuladores da questão original estivessem preocupados com a facilidade da tradução. Por exemplo, números são traduzidos mais facilmente entre as línguas do que adjetivos. Conceitos abstratos e palavras que são coloquiais são prováveis de ser particularmente difíceis de traduzir precisamente. Mesmo quando grande cuidado é tomado, é muito difícil ter certeza de que as pessoas estão respondendo questões comparáveis entre as línguas. É duvidoso que escalas de classificação adjetivas sejam sempre comparáveis em todas as línguas. Quanto mais concretas forem as questões, maiores as chances de comparabilidade entre as línguas ou culturas. Marin e Marin (1991) apresentam uma boa análise dos desafios de coletar dados comparáveis de pessoas falantes de inglês e de espanhol. Harkness, Van de Vijver e Mohler (2003) fornecem um olhar abrangente sobre os desafios de coletar dados comparáveis entre culturas. Expectativas padrão para tipos de resposta Como afirmado, é importante dar aos entrevistadores um bom roteiro para que possam ler as questões exatamente como formuladas, e é importante formular questões que signifiquem a mesma coisa para todos os respondentes. O outro componente-chave de uma boa questão é que

120 Floyd J. Fowler Jr.

os respondentes devem ter a mesma percepção de o que constitui uma resposta adequada para a questão. A forma mais simples de fornecer aos respondentes a mesma percepção de o que constitui uma resposta adequada é dar-lhes uma lista de respostas aceitáveis. Tais questões são chamadas de questões fechadas. O respondente precisa escolher uma, ou, às vezes, mais de uma, de um conjunto de alternativas fornecidas pelo pesquisador. 6.14

Qual foi a principal razão pela qual você foi ao médico – por um novo problema de saúde, para o acompanhamento de um problema de saúde anterior, para um checkup de rotina, ou por alguma outra razão?

Questões fechadas não são adequadas em todos os casos. O leque de respostas possíveis pode ser mais extenso do que é razoável de se fornecer. O pesquisador não pode sentir que todas as respostas razoáveis podem ser antecipadas. Por essas razões, ele pode preferir não fornecer uma lista de alternativas ao respondente. Neste caso, a questão deve informar o tipo de resposta esperado sempre que possível. 6.15

Quando você teve sarampo?

Problema. A questão não especifica os termos nos quais o respondente deve responder. Considere as seguintes respostas possíveis: “Cinco anos atrás”; “Enquanto eu estava no exército”; “Quando eu estava grávida do nosso primeiro filho”; “Quando eu tinha 32 anos”; “Em 1987”. Todas essas respostas poderiam ser dadas pela mesma pessoa, e todas são apropriadas à questão como colocada. Elas não são todas aceitáveis no mesmo levantamento, contudo, porque estatísticas descritivas requerem respostas comparáveis. Um entrevistador não pode usar as palavras no exemplo 6.14 e consistentemente obter dados comparáveis, porque cada respondente deve adivinhar que tipo de resposta é esperado. Solução. Uma nova questão que explique ao respondente que tipo de resposta é esperado deve ser criada. 6.15a Quantos anos você tinha quando teve sarampo?

Obviamente, a opção 6.15a é a forma que a questão deveria ter si­ do formulada pelo pesquisador para todos os respondentes.

Pesquisa de levantamento 121 6.16

Por que você votou no candidato A?

Problemas. Quase todas as questões “Por que” levantam problemas. Uma razão é que o sentido de causalidade ou a estrutura de referência pode influenciar as respostas. No exemplo particular anterior, o respondente pode escolher falar sobre os pontos fortes do candidato A, as fraquezas do candidato B, ou as razões pelas quais ele ou ela usou determinado critério (Minha mãe foi Republicana ao longo da vida). Por isso os respondentes que veem as coisas exatamente da mesma forma poder responder de forma diferente. Solução. Especificar o foco da resposta. 6.16a Quais características do candidato A levaram você a votar (nele/nela) em relação ao candidato B?

Esse tipo de questão explica aos respondentes que o pesquisador quer que eles falem sobre o candidato A, a pessoa na qual eles votaram. Se todos os respondentes respondem com a mesma estrutura de referência, então o pesquisador estará apto a comparar as respostas dos diferentes respondentes de forma direta. 6.17

Quais são algumas das coisas deste bairro que você mais gosta?

Problemas. Ao responder uma questão como essa, algumas pessoas vão apenas mencionar um ou dois pontos, enquanto outros mencionarão vários. É possível que isso reflita diferenças importantes na percepção ou nos sentimentos dos respondentes. Pesquisas têm mostrado muito claramente, contudo, que a educação é altamente relacionada ao número de respostas que as pessoas dão a tais questões. Os entrevistadores também afetam o número de respostas. Solução. Especificar o número de pontos a serem levantados: 6.17a Qual é a característica deste bairro que você elegeria como a que você mais gosta? 6.17b Diga-me três coisas relacionadas a viver neste bairro de que você mais gosta.

Embora isso possa não ser uma solução satisfatória para todas as questões, para a maioria das questões como essa isso é uma forma eficaz de reduzir a variação indesejada nas respostas entre os respondentes.

122 Floyd J. Fowler Jr.

Um ponto básico é que aquelas respostas podem variar devido aos respondentes terem um entendimento diferente dos tipos de resposta que são apropriados. Uma melhor especificação das propriedades de uma resposta desejada pode remover uma fonte desnecessária de incertezas no processo de medição.

TIPOS DE MEDIDAS/TIPOS DE QUESTÕES Os procedimentos relatados são elaborados para maximizar a confiança, na medida em que as pessoas em situações comparáveis responderão a questões de maneira similar. Pode-se medir com perfeita confiança, contudo, e ainda não estar medindo o que se deseja medir. Na medida em que a resposta fornece uma medida verdadeira e significa o que o pesquisador quer ou espera que signifique é chamado de validade. Nesta seção, aspectos da formulação de questões são discutidos, além dos passos para maximizar a confiabilidade das questões, que podem aumentar a validade das medições de levantamento. Para esta discussão, é necessário distinguir entre questões formuladas designadas a medir fatos ou eventos objetivamente mensuráveis e questões designadas a medir estados subjetivos, tais como atitudes, opiniões e sentimentos. Mesmo que haja questões que caem em uma área obscura na fronteira entre essas duas categorias, a ideia de validade é de alguma forma diferente para medidas objetivas e subjetivas. Se é possível verificar a exatidão de uma resposta por alguma observação independente, então a medida de validade torna-se a similaridade do relato de levantamento para o valor de alguma medida “verdadeira”. Na teoria, pode-se obter uma conta independente, precisa, do número de vezes que um indivíduo usou um caixa-eletrônico durante um ano. Embora na prática possa ser muito difícil obter tal medição independente (por exemplo, ter acesso aos registros relevantes poderia ser impossível), o entendimento da validade pode ser consistente para situações objetivas. Em contraste, quando as pessoas são questionadas sobre estados subjetivos, sentimentos, atitudes e opiniões, não há uma forma objetiva de validar as respostas. Apenas o respondente têm acesso aos seus sentimentos ou opiniões. Portanto, a validade dos relatos de estados subjetivos pode ser acessa apenas por usar correlações com outras respostas que uma pessoa fornece ou com outros fatos sobre a vida dos respondentes que se pensa que podem ser relacionados com o que está sendo men-

Pesquisa de levantamento 123

surado. Para tais mensurações, não há medida verdadeiramente direta independentemente possível; o significado das respostas deve ser inferido a partir dos padrões de associação.

Níveis de mensuração Há quatro formas diferentes por meio das quais as medições são realizadas em ciências sociais. Isso produz quatro tipos diferentes de tarefas para os respondentes e quatro tipos diferentes de dados para análise: Nominal – pessoas ou eventos são classificados em categorias desordenadas (Você é do sexo masculino ou feminino?) Ordinal – pessoas ou eventos são ordenados ou colocados em categorias organizadas ao longo de uma única dimensão (Como você classificaria sua saúde – muito boa, boa, regular ou ruim?) Intervalar – números que fornecem informações significativas sobre a distância entre estímulos ordenados ou classes são inscritos (na verdade, intervalos de dados são muito raros; temperatura em Fahrenheit é um dos poucos exemplos comuns) Razão – números são atribuídos como as razões entre valores e significados, assim como os intervalos entre eles. Exemplos comuns são contagens ou medições por um objetivo, escalas físicas tais como distância, peso ou pressão (Quantos anos você tinha no seu último aniversário?) Muito comumente em levantamentos, quando se está coletando dados factuais, é solicitado aos respondentes que encaixem a si mesmos ou suas experiências em uma categoria, criando dados nominais, ou lhes é solicitado um número, muitas vezes uma relação de dados. “Você está empregado?”; “Você é casado?”; e “Você tem artrite?” são exemplos de questões que fornecem dados nominais. “Quantas vezes você foi ao médico?”; “Quanto você pesa?”; e “Quanto lhe é pago por hora?” são exemplos de questões que pedem aos respondentes para fornecer números reais para uma relação de dados. Quando se está coletando dados factuais, respostas ordinais devem ser solicitadas aos respondentes. Por exemplo, deve ser solicitado a eles que relatem seus rendimentos em categorias relativamente amplas ou que descrevam seu comportamento em termos não numéricos (por exem­plo, habitualmente, às vezes, raramente ou nunca). Quando solicitamos a eles que relatem eventos factuais em termos ordinais, isso é porque grande precisão não é solicitada pelo pesquisador ou porque a tarefa de relatar

124 Floyd J. Fowler Jr.

um número exato é considerada muito difícil. Há normalmente uma base numérica real, contudo, subjacente a uma resposta ordinal para uma questão factual. A situação é um pouco diferente com relação aos relatos de dados subjetivos. Embora tenha havido esforços ao longo dos anos, primeiro no trabalho de psicólogos psicofísicos (por exemplo, Thurstone e Chave, 1992), para que as pessoas atribuam números a estados subjetivos que satisfaçam as hipóteses do intervalo e da razão de dados, para a maioria dos respondentes é solicitado que forneçam dados nominais e ordinais sobre estados subjetivos. A questão nominal é, “Em qual categoria seus sentimentos, opiniões ou percepções se encaixam?” Quando estamos formulando um instrumento de levantamento, uma tarefa básica do pesquisador é decidir que tipo de medição é desejado. Quando essa decisão for tomada, há algumas implicações claras para a forma em que a questão será perguntada. Tipos de questões As questões de pesquisa podem ser grosseiramente classificadas em dois grupos: aqueles para os quais uma lista de respostas aceitáveis é fornecida aos respondentes (questões fechadas) e aqueles para as quais as respostas aceitáveis não são exatamente fornecidas para os respondentes (questões abertas). Quando o objetivo é colocar as pessoas em categorias desordenadas (dados nominais), o pesquisador pode escolher se perguntará uma questão aberta ou fechada. Questões praticamente idênticas podem ser formuladas de qualquer forma. EXEMPLOS DE QUESTÕES ABERTAS E FECHADAS

6.18 6.18a 6.19 6.19a

Quais as suas condições de saúde? (aberta) Em qual das seguintes condições você se encaixa atualmente? (LER A LISTA) (fechada) Qual você considera o problema mais importante que nosso país enfrenta hoje? (aberta) Aqui temos uma lista dos problemas com os quais muitas pessoas no país estão preocupadas. Qual você considera o problema mais importante que nosso país enfrenta hoje? (fechada)

Há vantagens para as questões abertas. Elas permitem que o pesquisador obtenha respostas imprevistas. Também podem descrever de

Pesquisa de levantamento 125

forma mais próxima as visões reais dos respondentes. Em terceiro lugar, e este não é um ponto trivial, os respondentes gostam da oportunidade de responder a algumas questões com suas próprias palavras. Responder apenas escolhendo uma resposta fornecida e nunca ter a oportunidade de dizer o que se passa em suas cabeças pode ser uma experiência frustrante. Finalmente, questões abertas são apropriadas quando uma lista de respostas possíveis é maior do que o viável de se apresentar aos respondentes. Além de tudo isso, contudo, questões fechadas são normalmente uma forma mais satisfatória de produzir dados. Há quatro razões para isso: 1. O respondente pode realizar de forma mais segura a tarefa de responder à questão quando alternativas de resposta são fornecidas. 2. O pesquisador pode realizar de forma mais segura a tarefa de interpretar o significado das respostas quando as alternativas são fornecidas ao respondente (Schuman e Presser, 1981). 3. Quando uma questão completamente aberta é feita, muitas pessoas dão respostas relativamente raras que não são analiticamente úteis. Fornecer aos respondentes um número restrito de opções de respostas aumenta a probabilidade de que um número suficiente de pessoas dará alguma resposta particular que seja analiticamente interessante. 4. Visto que a maioria das coletas de dados é atualmente assistida por computador, é muito fácil para entrevistadores ou respondentes registrar as respostas olhando as respostas fornecidas do que as digitando. Finalmente, se o pesquisador deseja dados ordinais, as categorias devem ser fornecidas ao respondente. Não se pode ordenar respostas de maneira confiável ao longo de um único continuum a menos que um conjunto de respostas ordenadas admissíveis seja especificado na questão. Uma discussão mais aprofundada sobre a tarefa que é dada aos respondentes quando são solicitados a realizar uma tarefa ordinal é apropriada, visto que este é provavelmente o tipo prevalente de mensuração em pesquisas de levantamento. A Figura 6.1 mostra um continuum. (Este caso diz respeito a ter os respondentes fazendo uma avaliação de algum tipo, mas a abordagem geral se aplica a todas as questões ordinais.) Há uma dimensão assumida pelo pesquisador que vai dos sentimentos mais negativos possíveis aos mais positivos possíveis. A maneira com que os pesquisadores colocam os respondentes em categorias ordenadas é colocando-lhes designadores

126 Floyd J. Fowler Jr.

ou rótulos em tal continuum. Os respondentes então são solicitados a considerar os rótulos, seus próprios sentimentos ou opiniões e colocar-se na categoria apropriada. SENTIMENTO SOBRE ALGO Extremamente Positivo

Extremamente Negativo

ESCALA DE DUAS CATEGORIAS Bom

Não Bom

ESCALA DE TRÊS CATEGORIAS Bom

Regular



ESCALA DE QUATRO CATEGORIAS Muito Bom Bom

Regular

ESCALA DE CINCO CATEGORIAS Excelente Muito Bom ESCALA DE ONZE CATEGORIAS 10 9 8 7

Ruim

Bom 6

5

Ruim

Regular 4

3

2

Ruim 1

0

Figura 6.1 Escalas subjetivas contínuas.

Há dois pontos importantes sobre os tipos de dados que resultam de tais questões. Primeiro, os respondentes irão diferir nos seus entendimentos de o que os rótulos ou categorias significam. A única suposição necessária a fim de se fazer análises significativas, contudo, é que, em média, as pessoas que classificam seus sentimentos como “bom” sentemse mais positivas do que aquelas que os classificam como “regular”. Na medida em que as pessoas diferem um pouco em seus entendimentos de um critério para “bom” e “regular”, há uma desconfiança na mensuração, mas ela ainda pode ter significado (isto é, correlaciona-se com o estado de sentimentos subjacente que o pesquisador quer medir). Segundo, uma escala de medição ordinal como essa é relativa. A distribuição de pessoas escolhendo um determinado rótulo ou categoria depende da escala particular que é apresentada. Considere novamente a escala de classificação na Figura 6.1 e as duas abordagens para criar escalas ordinais. Em um caso, o pesquisador usou uma escala de três pontos: bom, regular ou ruim. No segundo caso, o pesquisador usou cinco opções descritivas: excelente, muito bom, bom, regular e ruim. Quando se compara as duas escalas, pode-se ver que adicionar “excelente” e “muito bom” em todas as probabilidades não apenas

Pesquisa de levantamento 127

fragmenta a categoria “bom” em três partes. Antes, isso muda todo o sentido da escala. As pessoas respondem à posição ordinal das categorias assim como o fazem aos descritores. Um experimento recente considerável (Wilson, Alman, Whitaker e Callegro, 2004). Foi solicitado aos respondentes que usassem duas escalas de 5 pontos para classificar sua saúde – uma idêntica à escala de 5 pontos da Figura 6.1 e a outra usando “muito boa, boa, moderada, ruim e muito ruim”. Os respondentes foram, então, solicitados a usar uma escala de 1 a 10 para fornecer um equivalente numérico para cada categoria verbal nas duas escalas. Como se poderia esperar, o número dado para “muito boa” foi maior quando esta era a primeira resposta (9,8 versus 7,8) e “boa” recebeu um escore numérico de 7,3 quando esta foi a segunda categoria, mas apenas 5,4 quando foi a terceira. Tais escalas são significativas se forem usadas como devem ser: para ordenar as pessoas. Por si só, contudo, a declaração de que uma porcentagem da população sente que algo está “bom ou melhor” não é inadequada, pois implica que a população está sendo descrita em algum sentido absoluto. Na verdade, a porcentagem mudaria se a pergunta fosse diferente. Apenas afirmações comparativas (ou afirmações sobre relações) são justificáveis quando se está usando medidas ordinais: • comparando respostas à mesma questão ao longo dos grupos (por exemplo, 20% a mais do grupo A do que do grupo B classificou o candidato como “bom ou melhor”); ou • comparando respostas de amostras comparáveis ao longo do tempo (por exemplo, 10% a mais classificou o candidato como “bom” ou melhor em janeiro do que em novembro). Os mesmos comentários gerais se aplicam aos dados obtidos pela ordenação dos itens feita pelos respondentes (por exemplo, considere as escolas, os serviços de polícia e a coleta de lixo. Qual é o serviço mais importante para você?). O percentual que deu a algum item o topo do ranking, ou o ranking médio de um item, é completamente dependente da lista particular fornecida. Comparações entre distribuições quando as alternativas foram trocadas não são significativas. Itens concordo/não concordo: um caso especial Itens concordo/não concordo são muito predominantes em pesquisas de levantamento e, portanto, merecem uma atenção especial. A tarefa

128 Floyd J. Fowler Jr.

dada aos respondentes em tais itens é diferente daquela de situar a si próprio em uma categoria ordenada. A abordagem habitual é ler uma afirmação aos respondentes e perguntar a eles se concordam ou não com ela. A afirmação está localizada em algum lugar em um continuum tal como o retratado na Figura 6.1. As localizações dos respondentes no continuum são calculadas pela descoberta de se eles dizem que seus sentimentos são muito próximos à afirmação (por concordarem) ou se são muito distantes de onde aquela afirmação está localizada (por discordarem). Quando se compara questões apresentadas no formato concordo/ não concordo com questões no formato direto de classificação, há numerosas desvantagens para o primeiro. Compare o seguinte: 6.20 Minha saúde está ruim. Você concorda fortemente, concorda, discorda ou discorda fortemente? 6.20a Como você classificaria sua saúde – excelente, muito boa, boa, regular ou ruim?

As desvantagens da primeira afirmação são as seguintes: • A escala de classificação coloca os respondentes em cinco categorias; as questões concordo/não concordo são quase sempre analisadas por colocar os respondentes em dois grupos (os que concordam e os que não concordam). Portanto, mais informação é obtida da classificação. • Questões concordo/não concordo, para que sejam interpretáveis, podem apenas ser perguntadas sobre extremos em um continuum. Se a afirmação fosse “Minha saúde é regular,” uma pessoa poderia discordar tanto porque é “boa” ou porque é “ruim”. Essa característica limita a habilidade de ordenar as pessoas no meio de um continuum. • Os respondentes normalmente acham confusa a forma de dizer que sua saúde é boa por discordar que ela é ruim. • Estudos mostram que alguns respondentes são particularmente prováveis de concordar (ou consentir) quando as questões são colocadas dessa maneira; ou seja, há pessoas que concordariam tanto que sua saúde é “ruim” quanto que ela “não é ruim” se a questão 6.20 fosse declarada na negativa (Dillman e Tarnai, 1991; Krosnick, Judd e Wittenbrink, 2007; Schuman e Presser, 1981). Por conta dessas complexidades, rotineiramente se constata que a tarefa de classificação direta tem mais validade do que a questão concordo/não concordo comparável. Para tarefas unidimensionais de escala,

Pesquisa de levantamento 129

é difícil justificar o uso da questão 6.20 em vez da 6.20a. Um uso muito comum do formato, contudo, é obter respostas para afirmações complexas como as seguintes: 6.21

Com as condições econômicas conforme estão atualmente, não é razoável ter mais de dois filhos.

Esta questão está perguntando pelo menos sobre três coisas de uma vez: o estado econômico percebido, o olhar sobre o número máximo apropriado de filhos e o olhar sobre a relação entre a economia e o tamanho da família. Se não acontece de uma pessoa pensar que as condições econômicas são ruins (o que a questão impõe como uma suposição) e/ou que as condições econômicas de qualquer tipo têm alguma implicação para o tamanho da família, mas se essa pessoa pensa que dois filhos é um bom objetivo para uma família, não é fácil responder à questão. Além disso, se uma pessoa concorda ou discorda, é difícil saber com o que o respondente concorda ou discorda. O formato concordo/não concordo parece ser uma maneira bastante simples de construir questões. Na verdade, usar essa forma para fornecer medidas confiáveis e úteis não é fácil e requer uma grande quantidade de cuidado e atenção. Normalmente os pesquisadores terão dados mais confiáveis, válidos e interpretáveis se evitarem as questões concordo/não concordo. AUMENTANDO A VALIDADE DOS RELATOS FACTUAIS Quando um pesquisador pergunta uma questão factual de um respondente, o objetivo é ter o relato deste com perfeita precisão; ou seja, dar a mesma resposta que o pesquisador teria dado se tivesse acesso às informações necessárias para responder à questão. Há uma rica literatura metodológica sobre o relato do material factual. Os relatos têm sido comparados com os registros em uma variedade de áreas, em particular o relato de eventos econômicos e de saúde (ver Cannell, Marquis e Laurent, 1977, para um bom resumo, bem como Edwards et al., 1994; Edwards, Winn e Collins, 1996; Tourangeau, Rips e Rasinski, 2000). Os respondentes respondem a várias questões com precisão. Por exemplo, mais de 90% das noites passadas em um hospital dentro de 6 meses de uma entrevista são relatadas (Cannell, Marquis e Laurent, 1977).

130 Floyd J. Fowler Jr.

O quão bem as pessoas relatam, contudo, depende tanto de o que eles estão sendo questionados quanto de como estão lhes perguntando. Há quatro razões básicas que explicam o porquê de os respondentes relatarem eventos com uma precisão menos perfeita: 1. Eles não entendem a questão. 2. Eles não sabem a resposta. 3. Eles não conseguem lembrar, embora saibam a resposta. 4. Eles não querem relatar a resposta no contexto da entrevista. Há vários passos que o pesquisador pode seguir para combater cada um desses problemas em potencial. Tais passos são revisados a seguir. Entendendo a questão Se os respondentes não têm todos o mesmo entendimento de o que a questão solicita, isso certamente resultará em erro. Como discutido antes, quando os pesquisadores estão tentando contar eventos que têm definições complexas, tais como assaltos ou serviços médicos, eles têm duas opções: (a) Fornecer definições para todos os respondentes; ou (b) ter os respondentes fornecendo as informações necessárias para classificar suas experiências em categorias detalhadas, complexas, e então ter os codificadores categorizando as respostas. Fowler (1992) mostrou que as pessoas respondem a questões que incluem termos ambíguos, produzindo dados completamente distorcidos. Os pesquisadores não podem presumir que os respondentes irão pedir esclarecimentos se eles não estão certos de o que uma questão significa. Para maximizar a validade de dados de levantamento factual, um primeiro passo essencial é escrever questões que serão consistentemente entendidas por todos os respondentes. Falta de conhecimento A falta de conhecimento como uma fonte de erro pode ser de dois tipos principais: (a) O respondente escolhido não sabe a resposta para a questão, mas alguém na família selecionada sabe; ou (b) ninguém na família selecionada sabe a resposta. A solução para a primeira situação está em escolher o respondente correto, não na formulação da questão. Na maioria das vezes, o problema é que o respondente da família é solicitado a relatar informações sobre outros membros da família ou dela como um todo. As soluções incluem o seguinte:

Pesquisa de levantamento 131

• Identificar e entrevistar o membro mais bem informado da família. • Usar procedimentos de coleta de dados que permitam ao respondente consultar outros membros da família. • Eliminar respondentes substitutos; apenas peça aos respondentes para fornecer informações sobre eles próprios. Às vezes uma estratégia complexa de coleta de dados é necessária. Por exemplo, a Nacional Crime Victimization Survey, conduzida pelo Bureau of the Census obtém relatos de crimes domésticos de um único informante da família, mas, além disso, pergunta a cada adulto da família diretamente sobre crimes pessoais, tais como furtos. Se a entrevista básica será conduzida pessoalmente, os custos das entrevistas com outros membros da família podem ser reduzidos se formulários autoadministrados forem deixados para que sejam preenchidos pelos membros da família que estejam ausentes, ou se entrevistas secundárias forem feitas por telefone. Uma variação é pedir ao principal respondente para reportar o mais completamente possível a informação desejada para todos os membros da família, então enviar a ele um resumo para verificação, permitindo a consulta a outros membros da família. Quando perguntamos aos respondentes questões sobre eles mesmos que não conseguem responder, há um problema de formulação da questão. Teoricamente, podemos diferenciar entre a informação que o respondente não consegue lembrar e a informação que ele nunca teve. Em ambos os casos, o problema para o pesquisador é formular questões que quase todos possam responder. Entre as opiniões disponíveis estão as seguintes: • Mude as questões para perguntar informações que sejam menos detalhadas ou mais fáceis de lembrar. • Ajude o respondente a estimar a resposta. • Mude ou pule o objetivo. Não é incomum que as questões solicitem respostas com mais detalhes do que os objetivos da pesquisa necessitam. A questão solicita aos respondentes que digam os nomes de todos os medicamentos que eles tomam (uma questão muito difícil) quando o objetivo é descobrir quem está tomando medicação para pressão alta (uma questão muito mais fácil). A questão pergunta sobre rendimentos de forma livre (uma maneira implicitamente muito detalhada) quando obter uma estimativa de renda em categorias amplas satisfaria os objetivos da pesquisa.

132 Floyd J. Fowler Jr.

A recordação segue alguns princípios óbvios: Pequenos eventos que têm menos impacto serão mais provavelmente esquecidos do que aqueles mais significantes; eventos recentes são mais bem reportados do que aqueles que ocorreram em um passado mais distante (Cannell, Marquis e Laurent, 1977). Algumas vezes pode valer à pena mudar os objetivos da questão para melhorar o relato perguntando por eventos que são mais fáceis de recordar. Por exemplo, embora possa ser desejável que os respondentes relatem todos os crimes que aconteceram no último ano, haverá menos erros no relato se eles forem solicitados a relatar apenas os últimos seis meses. Um conjunto de estratégias de formulação de questões comparativamente novo foi o resultado do crescente envolvimento de psicólogos cognitivistas nos métodos de pesquisa (Jabine, Straf, Tanur e Tourangeau, 1984; Sirken, Herrman, Schechter, Schwarz, Tanur e Tourangeau, 1999; Willis, 2005). Várias estratégias estão sendo testadas para ajudar os respondentes a recordar eventos (por exemplo, pela sugestão de possíveis associações) ou eventos em um determinado lugar no tempo (por exemplo, pela recordação dos respondentes de alguma coisa que aconteceu cerca de um ano antes). Calendários de eventos ajudam os respondentes a situar os acontecimentos no tempo e a lembrá-los, inserindo-os em um contexto (Belli, Lee, Stafford e Chou, 2004). Para várias tarefas de pesquisa, estudos têm mostrado que os respondentes na verdade não usam a recordação para responder a algumas questões; eles estimam a resposta (Burton e Blair, 1991). Por exemplo, se perguntamos aos respondentes o número de vezes que eles foram a uma mercearia para comprar comida em algum período, eles normalmente fazem uma estimativa baseada no seu padrão habitual em vez de tentar lembrar os eventos individualmente. Essa observação leva os pesquisadores a formular estratégias para ajudar os respondentes a fazerem estimativas melhores. Finalmente, é importante reconhecer que há algumas coisas que os pesquisadores gostariam que as pessoas relatassem e que elas não podem. Por exemplo, as pessoas não sabem os custos de seus tratamentos médicos que são pagos pelo plano de saúde. Caso se queria realmente obter tais custos, é necessário acrescentar o que os respondentes podem estar aptos a relatar (por exemplo, os gastos do próprio bolso) com dados coletados dos prestadores ou seguradores. Conveniência social Há certos fatos ou eventos que os respondentes preferirão não relatar de maneira precisa em uma entrevista. Condições de saúde que

Pesquisa de levantamento 133

têm algum grau de inconveniência social, tais como transtornos mentais ou doenças venéreas, são significantemente menos relatadas do que outras condições. Hospitalizações associadas a condições particularmente ameaçadoras, quer pelos possíveis estigmas que podem ser associados a elas ou por seu natural risco de vida, são relatadas em uma taxa menor do que a média (Cannell, Marquis e Laurent, 1977). As estimativas agregadas do consumo de álcool fortemente sugerem um relato inferior, embora os problemas de relato possam ser uma combinação das dificuldades de recordação e das preocupações dos respondentes sobre as normas sociais em relação ao consumo de álcool. Prisão e falência são outros eventos que se descobriu serem consistentemente menos relatados, mas que parecem improváveis de ser esquecidos (Locander, Sudman e Bradburn, 1976). Provavelmente há limites no que as pessoas vão relatar em uma configuração padrão de entrevista. Se um pesquisador realmente espera que alguém admita algo que é muito embaraçoso ou ilegal, esforços extraordinários são necessários para convencer os respondentes de que os riscos são mínimos e de que as razões para correr tal risco são importantes. O que segue são alguns dos passos que o pesquisador deve considerar quando questões particularmente sensíveis estão sendo feitas (ver também Catania, Gibson, Chitwood e Coates, 1990; Sudman e Bradburn, 1982). 1. Minimize o senso de julgamento; maximize a importância da precisão. Uma atenção especial à introdução e ao vocabulário que podem implicar que o pesquisador poderia avaliar certas respostas negativamente é importante. Os pesquisadores devem estar sempre conscientes do fato de que os respondentes estão tendo uma conversa com o pesquisador. As questões e o comportamento do entrevistador, se houver um, constituem toda a informação que o respondente tem sobre o tipo de interpretação que o pesquisador dará às respostas. Portanto, o pesquisador precisa ter muito cuidado com relação às pistas que o respondente está recebendo sobre o contexto no qual suas respostas serão interpretadas. 2. Use procedimentos autoadministrados de coleta de dados. Embora os dados não sejam conclusivos, há algumas evidências de que entrevistas por telefone são mais sujeitas a vieses de conveniência social do que entrevistas pessoais (Aquilino, 1994; de Leeuw e van der Zouwen, 1988; Fowler et al., 1998; Henson et al., 1977;

134 Floyd J. Fowler Jr.

Mangione et al., 1982). A evidência é muito mais clara de que ter o respondente respondendo a questões em um formulário autoadministrado, em papel ou diretamente no computador, em vez de contar com um entrevistador fazendo as perguntas, produzirá menos viés de conveniência social para alguns itens (por exemplo, Aquilino, 1994; Aquilino e Losciuto, 1990; Dillman e Tarnai, 1991; Fowler et al., 1998; Hochstim, 1967). Para levantamentos que lidam com tópicos sensíveis, um levantamento por correio ou administrado em grupo deve ser considerado. Um levantamento por entrevista pessoal também pode incluir algumas questões autoadministradas: Simplesmente é dado ao respondente um conjunto de questões para que responda em uma apostila. Se o levantamento é assistido por computador, os respondentes podem digitar suas respostas diretamente nele com o mesmo efeito. Por exemplo, tal abordagem tem mostrado aumentar significativamente os relatos de uso recente de drogas ilegais (Penne, Lessler, Beiler e Caspar, 1998; Tourangeau e Smith, 1998). Finalmente, Turner e colaboradores (1998) e Villarroel e co­laboradores (2006) têm mostrado que levantamentos por telefone obtêm uma estimativa muito maior de atividades socialmente sensíveis relacionadas a sexo e drogas quando as respostas são digitadas diretamente em um computador usan­do a característica do toque de tom no telefone do que quando um pesquisador faz as perguntas. 3. Garanta a confidencialidade e o anonimato. Quase todos os levantamentos prometem aos respondentes que as respostas serão tratadas confidencialmente e que ninguém além dos pesquisadores será capaz de associar individualmente os respondentes a suas respostas. Normalmente os respondentes são assegurados de tais fatos pelos pesquisadores na introdução e nas cartas precedentes, se houver alguma; isso pode ser reforçado pelo compromisso assinado pelos pesquisadores. Formulários autoadministrados sem identificação fornecem uma maneira de garantir que as respostas são anônimas – não apenas confidenciais. Finalmente, para levantamentos sobre assuntos particularmente sensíveis ou pessoais, há algumas estratégias elaboradas de levantamento, tais como técnicas aleatórias de resposta, na qual o respondente não pode ser ligado a suas respostas (Tais técnicas são descritas por Fox e Tracy, 1986, e por Fowler, 1995.)

Pesquisa de levantamento 135

É importante enfatizar novamente que o limite da pesquisa de levantamento é o que as pessoas estão dispostas a contar aos pesquisadores sob as condições da coleta de dados projetada pelo pesquisador. Há algumas questões que provavelmente não podem ser pedidas de amostras de probabilidade sem esforços extraordinários. Alguns dos procedimentos discutidos nesta seção, contudo, tais como tentar criar um contexto neutro para as respostas e enfatizar a importância da precisão e da neutralidade do processo de coleta de dados, são provavelmente procedimentos que valem a pena para a mais inofensiva das questões. Qualquer questão, não importa o quão inocente ela possa parecer, pode ter uma resposta embaraçosa para alguém da amostra. É melhor projetar todas as fases de um instrumento de pesquisa com a delicadeza de reduzir os efeitos da conveciência social e do embaraço para qualquer resposta que as pessoas possam dar.

AUMENTANDO A VALIDADE DAS RESPOSTAS QUE DESCREVEM ESTADOS SUBJETIVOS Como discutido anteriormente, a validade das questões subjetivas tem um significado diferente daquele das questões objetivas. Não há um critério externo; pode-se estimar a validade de uma medida subjetiva apenas pela extensão na qual as respostas são associadas de maneira esperada com as respostas para outras questões, ou outras características do indivíduo ao qual isso deve ser relacionado (ver Turner e Martin, 1984, para uma ampla discussão de questões que afetam a validade de medidas subjetivas). Há basicamente apenas três passos para o aumento da validade de medidas subjetivas: 1. Faça com que as questões sejam o mais confiável possível. Reveja a seção sobre confiabilidade das questões, lidando com a ambiguidade dos termos, com apresentações padronizadas e com a imprecisão nos formulários de resposta, e faça o possível para obter as questões que significarão a mesma coisa para todos os respondentes. Na medida em que as medições subjetivas não são confiáveis, sua validade será reduzida. Uma questão especial é a confiabilidade das escalas ordinais, que são dominantes entre as medições de estados subjetivos. As alternativas de resposta oferecidas devem ser unidimensionais (isto é, tratar de apenas uma questão) uniformes (apresentado em ordem, sem inversão).

136 Floyd J. Fowler Jr. ESCALAS PROBLEMÁTICAS 6.22

Como você classificaria seu trabalho – muito gratificante, gratificante mas estressante, não muito gratificante ou nada gratificante?

6.23

Como você classificaria seu trabalho – muito gratificante, algo gratificante, gratificante ou nada gratificante?

A questão 6.22 tem duas escalar de propriedade, gratificação e estresse, que não devem ser relacionadas. Nem todas as alternativas são esgotadas. A questão 6.22 deveria ser feita em duas questões se gratificação e estresse dos trabalhos serão ambos medidos. Em 6.23, alguns podem ver “gratificante” como mais positivo do que “algo gratificante” e ficar confuso sobre como as categorias foram ordenadas. Ambos os problemas são comuns e devem ser evitados. 2. Quando colocando as pessoas em classes ordenadas ao longo de um continuum, provavelmente é melhor ter mais categorias do que poucas. Há um limite, contudo, para a precisão da discriminação que os respondentes podem exercer em fornecer classificações ordenadas. Quando o número de categorias excede a habilidade dos respondentes em discriminar seus sentimentos, categorias numerosas simplesmente produzem um ruído não confiável. Várias categorias também podem tornar mais difíceis de administrar as questões, particularmente no telefone. Contudo, na medida em que aquela variação real entre os respondentes está sendo mensurada, mais categorias aumentarão sua validade. 3. Faça questões múltiplas, com diferentes formulários de questões, que meçam o mesmo estado subjetivo; combine as respostas em uma escala. As respostas para todas as questões são potencialmente influenciadas pelo estado subjetivo para serem mensuradas e pelas características específicas do respondente ou das questões. Alguns respondentes evitam categorias extremas; alguns tendem a concordar mais do que discordar. Questões múltiplas ajudam até mesmo sustentas idiossincrasias de respostas e aumentam a validade do processo de medição (Cron­bach, 1951; DeVellis, 2003). O ponto mais importante de se lembrar sobre o significado das medições subjetivas é a sua relatividade. As distribuições podem ser comparadas apenas quando a situação de estímulo é a mesma. Peque-

Pesquisa de levantamento 137

nas mudanças na formulação, que mudam o número de alternativas oferecidas, e até mesmo mudam a posição de uma questão em um questionário, podem fazer uma diferença importante em como as pessoas respondem (ver Schuman e Presser, 1981; Sudman e Bradburn, 1982; e Turner e Martin1984, para vários exemplos dos fatores que afetam as distribuições de respostas). A distribuição de respostas para uma questão subjetiva não pode ser interpretada diretamente; ela tem significado apenas quando as diferenças entre as amostras expostas ao mesmo questionário são comparadas ou quando os padrões de associação entre as respostas são estudados.

ERRO E FORMULAÇÃO DE QUESTÕES Uma propriedade definitiva dos levantamentos sociais é que as respostas às questões são usadas como medidas. A extensão em que aquelas respostas são boas medidas é obviamente uma dimensão crítica da qualidade das estimativas do levantamento. As questões podem ser medições pobres por não serem confiáveis (por produzirem resultados erráticos) ou por serem tendenciosas, produzindo estimativas que consistentemente erram em uma direção a partir do valor verdadeiro (como quando as prisões de motoristas alcoolizados são subnotificadas). Sabemos um pouco sobre como tornar as questões mais confiáveis. Os princípios descritos neste capítulo são provavelmente sólidos. Embora outros pontos possam ser adicionados à lista, criar questões não ambíguas que forneçam medidas consistentes ao longo dos respondentes é sempre um passo construtivo para boas medições. A questão da validade é mais complexa. De certo modo, cada variável a ser mensurada requer uma pesquisa para identificar o melhor conjunto de questões para medi-la e para produzir estimativas de quão válida a medida resultante é. Muitas das sugestões para melhorar os relatos neste capítulo emergiram do um programa de 20 anos para avaliar e melhorar as medições de variáveis relacionadas à saúde (Cannell, Marquis e Laurent, 1977; Cannell, Oksenberg e Converse, 1977). Há várias áreas nas quais muito mais trabalho sobre validação é necessário. Reduzir os erros de medida por meio da melhor formulação de questões é uma das formas menos caras de melhorar as estimativas de levantamento. Para qualquer levantamento, é importante atentar cui­dadosamente para a formulação de questões e para o pré-teste (o

138 Floyd J. Fowler Jr.

que é discutido no Capítulo 7), bem como para o uso da literatura de pesquisa existente sobre como medir o que está sendo medido. Também, continuar construindo uma literatura na qual a validade das medições vem sendo avaliada e relatada é muito necessário. Robinson, Chaver e Wrightsman (1997) e McDowell (2003) compilaram dados sobre a validade de várias medições de multi-item comumente utilizadas que documentam como as medições têm sido validadas, bem como quanto trabalho ainda precisa ser feito.

EXERCÍCIOS 1. Use os critérios discutidos neste capítulo para avaliar as seguintes questões como confiável, interpretável e medições analiticamente úteis; escreva questões melhores se conseguir. a. Para medir os rendimentos: Quanto você ganha? b. Para medir a saúde: Quão saudável você está? c. Para medir a satisfação com a vida: Como você classificaria sua vida – muito boa, melhor do que a média, um pouco dos dois, poderia ser melhor ou muito ruim? d. Para medir opiniões sobre leis de aborto: Diga-me se você concorda ou não com a declaração a seguir: O aborto é moralmente muito questionável; abortos deveriam ser ilegais, exceto em emergências. 2. Escreva uma série de questões para medir a posição a favor ou contra planos de saúde universais. 3. Escreva uma série de questões para medir o grau de envolvimento político. 4. Escreva uma hipótese sobre uma possível relação entre duas variáveis (por exemplo, boa saúde é relacionada com receber assistência médica de qualidade; ou boa qualidade de habitação está relacionada com altos rendimentos). Então, sob cada parte da hipótese, escreva uma informação que você necessitaria a fim de atribuir um valor a uma pessoa para cada uma das duas variáveis. Em seguida, elabore uma questão (ou um conjunto delas) para cada parte, e as respostas devem fornecer as informações de que você necessita. Indique se as suas questões

Pesquisa de levantamento 139

perguntam sobre informações factuais ou subjetivas e se os dados resultantes serão nominais, ordinais, intervalos ou propriedades de razões.

Leituras Complementares Fowler, F. J. (1995). Improving survey questions. Thousand Oaks, CA: Sage. Krosnick, J. A., Judd, C. M., & Wittenbrink, B.. (2007). The measurement of attitudes. In D. Albarracin, B. T. Johnson. & M. P. Zanna (Eds.) The handbook of attitudes (pp. 21-78). Mahwah, NJ: Lawrence Erlbaum. Tourangeau, R., Rips, L., & Rasinski, K. (2000). The psychology of survey response. Cambridge, UK: Cambridge University Press.

Avaliando questões e instrumentos de levantamento

7

A elaboração de um bom instrumento de levantamento de dados envolve selecionar as questões a fim de que elas venham ao encontro dos objetivos da pesquisa, testando-as para assegurar que sejam indagadas e respondidas como planejado e, a seguir, estruturando-as de maneira que facilitem o trabalho de respondentes e entrevistadores. Este capítulo descreve passos para a elaboração de bons instrumentos de levantamento.

Todo levantamento de dados requer ou um roteiro de entrevista, o qual constitui uma espécie de guia para entrevistadores em pesquisas, ou um questionário que os respondentes irão ler e preencher sem auxílio. Estes documentos, os quais serão apresentados em forma impressa ou como programas para computador, serão utilizados como instrumentos genéricos de levantamento de dados. Compreender a correta estruturação de uma boa questão e a melhor maneira de utilizar questões como parâmetros, consoante o que foi discutido no Capítulo 6, é certamente o elemento principal para a elaboração de um bom instrumento de levantamento. Há, contudo, uma série de instruções muito práticas essenciais para a produção de um bom instrumento de coleta de dados. Este capítulo apresenta um resumo desses passos. Converse e Presser (1986), Bradburn e Sudman (1992), Fowler (1995), Groves e colaboradores (2004), Presser e colaboradores (2004), e Willis (2005) apresentam longas e detalhadas discussões a respeito desses passos. A elaboração de um instrumento de levantamento de dados possui dois componentes: decidir o que averiguar, elaborar e testar questões que serão boas ferramentas de avaliação. Geralmente o primeiro passo é defi-

Pesquisa de levantamento 141

nir os objetivos do levantamento, embora estas metas possam ser revisadas, baseadas em testes subsequentes de questões. Então o processo de escolha e teste de questões é iniciado. Os passos envolvidos no processo de desenvolvimento de levantamento de dados podem incluir o seguinte: • focar em discussões em grupos; • esquematizar protótipo de um conjunto de questões; • fazer uma revisão crítica para detectar falhas comuns; • realizar entrevistas individuais cognitivas (evitando a reprodução de procedimentos de coleta de dados propostos); • inserir questões em um instrumento de levantamento de dados; • realizar um pré-teste utilizando uma aproximação de procedimentos de coleta dados propostos.

DEFININDO OBJETIVOS Um pré-requisito para elaborar um bom instrumento de levantamento de dados é decidir o que será averiguado. Isso pode parecer simples e evidente, contudo este passo é frequentemente esquecido, em detrimento dos resultados. Um valioso primeiro passo é escrever um parágrafo sobre as funções que deverão ser executadas pelo levantamento de dados. Na elaboração de um instrumento de levantamento de dados, pesquisadores são geralmente tentados a adicionar questões que não contribuem para alcançar as metas do projeto. Uma maneira de evitar essas tentações é ter um bom relatório dos propósitos, contra os quais a inclusão de uma área específica de pesquisa pode ser avaliada. Segundo, um pesquisador precisa elaborar uma lista do que dever ser averiguado para atingir as metas do projeto. Estas não devem ser questões; devem ser variáveis a serem avaliadas, listadas em categorias ou áreas que tenham sentido. Um plano de análise deve ser desenvolvido para acompanhar uma lista de variáveis a serem analisadas. Provavelmente, um bom começo já deverá ter sido feito associado à elaboração da amostra. O pesquisador já deverá ter definido quais subgrupos da população requerem estimativas especiais. Neste ponto, entretanto, o pesquisador precisa refinar estas ideias, com o intuito de criar uma listagem de (a) quais variáveis são elaboradas para serem variáveis dependentes, para as quais medidas de tendência central (por exemplo, meios ou distribuições) são estimadas; (b) quais variáveis precisam ser independentes, com o objetivo de compreender distribuições e padrões de associação; e (c) quais variáveis po-

142 Floyd J. Fowler Jr.

dem ser necessárias como variáveis de controle e intervenção para explicar padrões observados e analisar hipóteses conflitantes. Estes três documentos, um relatório de propostas, uma lista dos tipos de variáveis a serem analisadas e um esboço de um plano de análise são componentes essenciais para a elaboração de um instrumento de levantamento de dados.

PASSOS PRELIMINARES PARA A ELABORAÇÃO DE QUESTÕES Grupos focais* Antes de elaborar um esboço de uma lista estruturada de questões, é quase sempre de grande importância conduzir discussões a respeito do tópico do projeto com indivíduos que integram a população a ser estudada. A proposta inicial destas discussões é comparar a realidade sobre a qual os sujeitos estarão respondendo a questões com os conceitos abstratos constituintes objetivos do estudo. Exemplo. O objetivo é averiguar o número de visitas a médicos. Um grupo de discussão poderia se focar no que é comumente considerado como uma visita ao médico. Dois conceitos-chave são “visita” e “médico”. Os participantes podem ser indagados sobre os vários contatos que eles tiveram relacionados a médicos (por exemplo, atendimentos médicos por telefone, consultas para a realização de raio-x ou testes em laboratório, aplicação de vacinas) e se esses contatos poderiam ou não ser considerados visitas. Aos participantes também poderia ser inquirido a respeito das várias pessoas contatadas para cuidar de sua saúde (por exemplo, psicólogos, psiquiatras, técnicos em enfermagem, oftalmologistas, optometristas, fisioterapeutas) e perguntar se estes indivíduos podem ou não ser considerados médicos. Esta discussão pode proporcionar informações críticas de, pelo menos, três tipos: 1. Os tipos de contatos considerados visitas pelos indivíduos. Esta informação ajudaria o pesquisador a refinar os objetivos e os termos utilizados na questão para estabelecer o que pode ou não ser incluído. Por exemplo, consultas por telefone podem ser incluídas? Se um estudante de enfermagem é visto em um consultório médico, deve ser levado em consideração? 2. O que os indivíduos sabem. Por exemplo, está claro que um psiquiatra é formado em medicina, mas um psicólogo não o é? Que *

N. de R.T.: Em inglês: focus group.

Pesquisa de levantamento 143

suposições podem ser feitas sobre o conhecimento prévio e percepções das pessoas, treinamento, ou credenciais de seguro-saúde? 3. A compreensão de algumas palavras-chave ou termos. A palavra médico significa um indivíduo formado em medicina, ou é mais genérica (como quando utilizamos o nome de uma marca comercial para nos referirmos ao produto) referindo-se a quaisquer profissionais que usem jalecos brancos e lidem com questões relacionadas à saúde? Termos como “provedor de cuidados com a saúde” ou “profissional dos cuidados com a saúde” teriam o mesmo significado para os respondentes? Discussões de grupos focais são mais bem realizadas com seis a oito participantes. O protocolo geral é discutir as percepções, experiências e talvez sentimentos dos indivíduos relacionados ao que será averiguado no levantamento de dados. O número de grupos que será necessário pode variar, mas praticamente qualquer instrumento de levantamento de dados será bem-sucedido com ao menos dois grupos focais nos estágios iniciais do processo de elaboração do instrumento de levantamento de dados. Esboçando questões Munido de uma lista do que será avaliado, o pesquisador se esforça em encontrar uma única questão ou relação de questões necessárias para criar medidas das variáveis da lista. Muitas questões, como aquelas que lidam com informações prévias ou problemas demográficos, são padrão para a maioria dos levantamentos de dados. Pode ser útil revisar as questões utilizando o General Social Survey, com o apoio do National Opinion Research Center, na University of Chicago. Muitas pesquisas são também realizadas através da internet pelo Inter-university Consortium of Political and Social Research (ICPSR), na University of Michigan. McDowell (2003) é um excelente recurso para a realização desses levantamentos de dados com temas relacionados aos cuidados com a saúde. Cópias de instrumentos de levantamentos de dados originais, advindos das mais importantes organizações de levantamento, também são úteis como referências. Com base neles, o pesquisador pode abstrair ideias sobre como questões específicas são estruturadas, e sobre como gerar questões padronizadas e formatar instrumentos de levantamentos de dados.

144 Floyd J. Fowler Jr.

Tirar vantagem do trabalho que outros elaboraram é muito sensato. Obviamente, é melhor revisar questões feitas por pesquisadores que anteriormente fizeram trabalhos com o mesmo tópico. Além disso, se questões já foram feitas em outras amostras, a coleta de dados para comparação pode contribuir para a confiabilidade da pesquisa. O simples fato de que uma questão foi utilizada por alguém anteriormente, todavia, não é garantia de que a mesma é muito boa ou, certamente, que é apropriada para a dada pesquisa. Muitas questões inadequadas são largamente utilizadas por pesquisadores que não realizam uma análise crítica. Todas as questões devem ser testadas para que haja garantias de que “funcionam” para os sujeitos, para o contexto e para os objetivos de um determinado estudo.

Avaliação Pré-levantamento Revisão crítica sistemática A partir do momento em que o conjunto de questões é esboçado, é aconselhável que o próximo passo seja submetê-lo a uma revisão crítica. Lesser e Forsyth (1996) produziram uma lista de falhas a serem localizadas em um conjunto de questões. Fowler e Cosenza (2008) também propuseram uma lista de padrões para questões que podem ser aplicados inicialmente para teste. Enquanto a não utilização de listas pode tornar a tarefa exaustiva, o uso de ambas as listas pode auxiliar na identificação de uma série de características de questões que são indicadas como problemáticas. Uma extensão disso tem sido desenvolvida por Graesser e colaboradores (Graesser, Cai, Louwerse e Daniel, 2006), a qual é composta por uma lista de 12 problemas em questões que podem ser identificados através do uso de uma ferramenta eletrônica de avaliação. A utilização de uma dessas listagens pode ser útil na identificação de questões que podem precisar de revisão; bem como na indicação de dificuldades que requerem atenção durante as próximas fases de teste. Entrevistas cognitivas em laboratório Uma vez que a lista de questões estiver pronta, revisada e classificada como confiável, o próximo passo é averiguar se os sujeitos poderão entender e responder às questões. Discussões de grupos de foco podem proporcionar algumas soluções para problemas de compreensão, mas

Pesquisa de levantamento 145

elas não fornecem opções para discutir a avaliação de vocabulário específico ou o nível de dificuldade da tarefa de resposta. Nos estágios iniciais da estruturação de questões, o pesquisador também pode realizar testes, aplicando-as em grupos de amigos, parentes e colegas de trabalho. Versões recentes de instrumentos de levantamentos de dados contêm questões confusas, que não podem ser lidas como foram escritas, e que são praticamente impossíveis de serem respondidas. A partir do momento em que as questões estão em sua forma primitiva, mas antes de serem submetidas à pré-testes em campos formais, uma espécie formal de teste, comumente denominada testes cognitivos, é um importante passo (DeMaio e Rothgeb, 1996; Forsyth e Lesser, 1992; Fowler, 1995; Lesser e Tourangueau, 1989; Presser et al., 2004; Willis, 2005; Willis, DeMaio e Harris-Kojetin, 1999). Embora entrevistas cognitivas tenham uma variedade de formas, há certas características que são comumente compartilhadas. Primeiramente, respondentes são voluntários que estão dispostos a estender o seu período de participação para além do necessário na realização da coleta de dados, com o objetivo de auxiliar os pesquisadores. Comumente o serviço dos respondentes é recompensado, e eles são levados ao laboratório, onde as entrevistas podem ser observadas e gravadas. Geralmente essas entrevistas não são realizadas por entrevistadores comuns. Em algumas ocasiões, os entrevistadores são psicólogos cognitivos; em outras, as entrevistas são realizadas pelos próprios investigadores ou indivíduos encarregados de supervisionar entrevistadores. Na maioria dos casos, os entrevistadores possuem um vasto conhecimento sobre os objetivos de cada questão, o que possibilita a percepção de problemas relacionados à compreensão dos respondentes ou à forma como eles respondem às questões. O padrão básico requer perguntar aos respondentes uma série de questões, avaliando a maneira como os indivíduos as compreenderam e como as responderam. Não raro os respondentes são solicitados a “pensar em voz alta” enquanto preparam suas respostas. Em outros casos, os indivíduos são convidados a responder uma série de perguntas sobre sua compreensão e sobre dificuldades relacionadas às suas respostas. Duas das tarefas mais comuns são: 1. Solicitar aos respondentes que expliquem, com suas próprias palavras, o que a questão está pedindo. 2. Solicitar aos respondentes que justifiquem sua escolha em favor de uma resposta, em detrimento das outras.

146 Floyd J. Fowler Jr.

A meta é coletar informações suficientes a respeito da compreensão e preparação das respostas dos entrevistados, com o intuito de avaliar se estes realizaram a tarefa de acordo com as expectativas do pesquisador. Há quatro tipos específicos de questões que devem ser respondidas pelo teste cognitivo: 1. As questões são satisfatoriamente compreendidas? 2. Os respondentes possuem as informações necessárias para responder às questões? 3. As respostas refletem com precisão o que os respondentes desejam comunicar? 4. As respostas fornecem considerações válidas a respeito do tópico principal da questão? Há um certo limite sobre o que pode ser obtido por intermédio de entrevistas em laboratórios. Poucas entrevistas desse tipo são realizadas (geralmente o número de entrevistas é inferior a 10), pois elas exigem trabalho e, na maioria das organizações, podem ser conduzidas apenas por um reduzido número de pessoas. Segundo, as entrevistas são conduzidas sob condições artificiais; tarefas pelas quais os respondentes estão realmente interessados, e são hábeis para executar, podem não ser passíveis de execução por uma amostra cruzada realizada em suas residências. Entretanto, estas entrevistas são muito utilizadas como um passo essencial na elaboração e avaliação de um instrumento de levantamento de dados. Questões que não são satisfatoriamente compreendidas ou respondidas em um laboratório certamente não irão ter melhor resultado em uma situação real. Problemas de compreensão e dificuldades com a tarefa de resposta não são consideradas confiáveis em pretextos de campo como seriam em entrevistas em laboratórios, onde o processo para resposta pode ser examinado. A entrevista cognitiva em laboratório tem sido comumente empregada para testar protocolos de entrevista. Os mesmos problemas de compreensão e dificuldades da tarefa de resposta, contudo, se aplicam a métodos autoadministrados. Embora o teste-padrão de métodos autoadministrados, como descrito a seguir, geralmente envolva a ampliação de questões similares àquelas empregadas em entrevistas cognitivas, a compreensão dos respondentes é mais aparente quando o processo de perguntas e respostas é realizado oralmente. Deste modo, para questões de teste elaboradas para serem autoadministradas, uma entrevista cognitiva pode ser um meio eficaz de identificar problemas que não seriam observados no pré-teste-padrão.

Pesquisa de levantamento 147

ELABORAÇÃO, FORMATO E LEIAUTE DOS INSTRUMENTOS DE LEVANTAMENTO Uma vez que uma lista de questões é preparada para o pré-teste final, é necessário arranjar as questões de maneira que facilite o processo de entrevista ou autoadministração. O primeiro passo é ordenar as questões. Muitos pesquisadores optam por iniciar aplicando questões relativamente fáceis e diretas, que podem apresentar ao respondente o tópico da pesquisa. Questões que exigem um raciocínio mais apurado, ou aquelas que lidam com temas delicados, são comumente reservadas para as últimas sessões. Um procedimento aconselhável é numerar as questões de cada sessão: A1, A2, B1, B2, e assim por diante. Dessa forma, quando questões são adicionadas ou excluídas, não é necessário renumerar todas as questões. Quer o levantamento de dados seja administrado por um entrevistador, quer pelo próprio respondente, o objetivo principal dos esquemas e formato do questionário deve ser facilitar a tarefa dos entrevistadores e dos respondentes. Com o intuito de alcançar este objetivo, a seguir poderão ser observadas algumas regras, elaboradas para um instrumento de levantamento de dados administrado por um entrevistador: 1. Adotar uma convenção que diferencie as palavras lidas pelos entrevistadores para os respondentes, e as palavras que são instruções. Uma convenção comum é o emprego de letras em caixa alta para instruções e em caixa baixa para questões que devem ser lidas em voz alta. 2. Se uma entrevista é apresentada em forma impressa, e não é monitorada por computador, é necessário fazer uso de instruções que permitam ao respondente que ignore questões que foram elaboradas para um grupo específico de indivíduos. Uma convenção comum é colocar INSTRUÇÕES EM LETRAS MAIÚSCULAS. As instruções devem ser ligadas a respostas específicas, auxiliando o entrevistador. Obviamente, instrumentos monitorados por computador pularão questões automaticamente, com base nas respostas fornecidas. 3. Colocar vocabulário opcional em parênteses. Convenções como (dele/dela) ou (esposo/esposa) podem ser empregadas com naturalidade por entrevistadores se eles forem alertados por termos em parênteses. Uma convenção similar utiliza todas as letras maiúsculas (por exemplo, CÔNJUGE) quando o entrevistador precisa substituir uma palavra que não é fornecida na pró-

148 Floyd J. Fowler Jr.

pria questão. A assistência do computador geralmente oferece vocabulário opcional para ser utilizado, em vez de um entrevistador adaptar o vocabulário à situação. 4. Garantir que todas as palavras que deverão ser utilizadas pelo entrevistador estão, de fato, escritas. Isso inclui não apenas a estruturação das questões, mas transições, introduções para questões, definições necessárias e explicações. Para questionários autoadministrados, os mesmos princípios se aplicam; isto é, a meta principal é facilitar a utilização do questionário. O formato de um questionário autoadministrado é o mais importante. Em contraste com entrevistas, os respondentes não são beneficiados com a prática, eles usualmente não recebem a motivação necessária para realizar um bom trabalho e não são selecionados de acordo com suas habilidades para lidar com questionários. A seguir serão apresentados cinco princípios-guia: 1. Um questionário autoadministrado deve ser, em especial, autoexplicativo. Não há a necessidade da leitura de instruções, uma vez as mesmas não serão lidas adequadamente. 2. Questionários autoadministrados devem se restringir a respostas objetivas. Checar uma tabela de respostas, clicar em uma alternativa ou circular um número devem ser as únicas tarefas solicitadas. Quando os respondentes são convidados a responder com suas próprias palavras, as respostas são geralmente incompletas, vagas, de difícil compreensão e, por essa razão, dotadas de limitado valor como medidas. 3. É importante que não haja uma grande variedade de formatos de questões em questionários autoadministrados. Quanto maior o número de questões similares, menor a probabilidade de falhas na compreensão por parte do respondente; e também a tarefa se tornará mais fácil para os respondentes. 4. Um questionário deve ser elaborado da maneira mais clara e organizada possível. Redução do tamanho de letra (ou outra estratégia para colocar várias questões em uma única página) reduz consideravelmente a taxa de resposta em comparação com o mesmo número de questões organizadas para atrair a atenção do leitor, em mais de uma página. 5. Não é aconselhável fornecer informações redundantes aos respondentes, através de imagens e perguntas escritas que transmitem a mesma mensagem sobre como proceder. Se os indivíduos

Pesquisa de levantamento 149

podem se confundir sobre o que eles precisam fazer, eles irão. Se esforce para tornar tudo simples e claro. A maioria dos princípios listados anteriormente também podem ser aplicados em instrumentos monitorados por computador. Além disso, auxiliar os respondentes e entrevistadores a lidar com dificuldades comuns surgidas durante o processo, como encontrar a maneira adequada para corrigir respostas anteriores ou o que fazer se respondentes desejam ignorar uma questão é uma parte importante no trabalho de elaboração. A chave para evitar todas essas dificuldades é localizar os problemas com antecedência, por meio de testes. Boas descrições de procedimentos de teste são apresentadas por Dillman e Redline (2004), Tarnai e Moore (2004), Hansen e Couper (2004) e Baker, Crawford e Swinehart (2004).

PRÉ-TESTES DE CAMPO Uma vez que o instrumento de levantamento de dados esteja próximo de sua conclusão, um pré-teste de campo do instrumento e dos pro­ cedimentos se faz necessário. O propósito de tais pré-testes é descobrir como os protocolos de coleta de dados e os instrumentos do levantamento de dados irão funcionar sob circunstâncias reais. Pré-teste e roteiro de entrevista O pré-teste tradicional realizado por organizações de pesquisa geralmente consistem em entrevistadores experientes realizarem de 20 a 50 entrevistas com respondentes retirados de uma população semelhante àquela que será incluída na pesquisa. Os entrevistadores são solicitados a desempenhar duas funções nestes pré-testes: Eles são entrevistadores conduzindo o procedimento e são observadores do processo de coleta de dados que devem alertar os pesquisadores sobre melhorias necessárias nos instrumentos de levantamento de dados. É provavelmente mais típico deste processo de retorno de informações que ele ocorra em reuniões de grupo, embora haja casos nos quais os entrevistadores se dirigem aos pesquisadores individualmente. Pré-testes como os descritos aqui são essenciais para o processo de elaboração do levantamento de dados. Uma função particularmente importante é testar a utilidade do instrumento, tanto as questões quanto os esquemas, da perspectiva dos entrevistadores. Contudo, estes testes também pos-

150 Floyd J. Fowler Jr.

suem uma série de limitações. O padrão utilizado pelos entrevistadores para a identificação de problemas não é especificado, e é quase certo que os entrevistadores apresentam inconsistências no que consideram como problema. Também, uma discussão em grupo não é o meio mais aconselhável para reunir informações sistemáticas sobre a experiência de pré-teste. Os pesquisadores têm adicionado passos elaborados para tornar a experiência de pré-teste o mais sistemática e eficaz possível. Uma inovação simples é solicitar aos entrevistadores que preencham uma espécie de relatório sobre cada questão, para compartilhá-lo em uma reunião de grupo posterior. Um relatório desse tipo solicita aos entrevistadores que avaliem cada questão no que diz respeito a (a) se ela é de fácil leitura, (b) se os respondentes entenderam satisfatoriamente a questão e (c) se os indivíduos responderam às questões adequadamente (Fowler, 1995). Obviamente, os entrevistadores precisam adivinhar se as questões serão ou não respondidas e compreendidas; contudo, esta é uma tarefa necessária. A vantagem de um formulário é que entrevistadores são solicitados a voltar sua atenção para esses aspectos sutis da elaboração de questões, tão distintos dos aspectos práticos do instrumento de levantamento de dados, com os quais eles estão mais familiarizados. Ainda, dispor de entrevistadores que já responderam a esse tipo de formulário facilita aos investigadores o resumo de relatórios elaborados pelos entrevistadores, bem como a identificação de problemas de uma forma eficaz. A mais importante, e provavelmente de maior utilidade, inovação no que diz respeito ao pré-teste de campo é o uso de gravações de áudio e observação de comportamento para a avaliação de questões de levantamento de dados. Com a permissão dos respondentes, a qual é quase sempre obtida, torna-se fácil gravar pré-testes de entrevistas feitas tanto pessoalmente quanto por telefone. Gravadores treinados podem então escutar essas gravações e avaliar problemas no processo de pergunta e resposta de uma maneira satisfatória. Três comportamentos têm sido essenciais na identificação de problemas com questões de levantamento de dados (Fowler e Cannell, 1996; Oksenberg et al., 1991): (a) se o entrevistador realiza ou não a leitura das questões como foram escritas, (b) se é ou não solicitado pelo respondente maiores explicações a respeito das questões e (c) se o respondente inicialmente fornece uma resposta inadequada que requere a intervenção do entrevistador. Foi constatado que, ou as questões constantemente produzem comportamentos desse tipo, ou elas não os produzem de forma alguma em entrevistas; ou seja, há questões que são constantemente

Pesquisa de levantamento 151

mal interpretadas pelos entrevistadores, o que leva os respondentes a solicitarem maiores explicações ou a responderem de forma inadequada. Esse tipo de sistema não identifica todas as questões que são constantemente mal interpretadas pelos respondentes. No entanto, quando um desses comportamentos ocorre em 15% ou mais de pré-testes de entrevistas, tem sido demonstrado que ou a questão tende a produzir dados distorcidos, ou se torna suscetível à influência do entrevistador (Fowler, 1991; Fowler e Mangione, 1990). Um benefício adicional da observação de comportamento de prétestes de entrevistas é que os resultados são sistemáticos e podem ser reproduzidos. Deste modo o processo de avaliação da questão é conduzido de forma alheia a opiniões subjetivas de pesquisadores e entrevistadores, e evidências concretas e passíveis de reprodução são produzidas sobre questões inadequadas. Arquivos de acompanhamento são a terceira fonte de informação advinda de pré-teste de uma entrevista monitorada por computador. Quando uma entrevista é monitorada por um computador, é possível recuperar os caminhos seguidos pelo entrevistador durante a entrevista. Tais arquivos podem identificar situações nas quais os entrevistadores precisaram voltar para telas e questões anteriores. Ter de retornar a questões anteriores diminui a produtividade de um entrevistador e geralmente evidencia que a questão não foi elaborada adequadamente. Observar como funções “de auxílio” são utilizadas pode fornecer indícios de onde a ajuda é necessária e quão “úteis” as várias funções de auxílio são. Novamente, uma informação adicional sobre arquivos de acompanhamento é que os resultados são sistemáticos e confiáveis (Couper, Hansen e Sadowsky, 1997; Hansen e Couper, 2004). Pré-teste de questionário autoadministrado Instrumentos autoadministrados requerem mais pré-testes do que instrumentos de levantamento de dados administrado por um entrevistador, simplesmente porque entrevistadores podem solucionar algumas dificuldades que os pesquisadores não solucionaram ao elaborar o instrumento de levantamento de dados. Infelizmente, o pré-teste de um instrumento autoadministrado é, de certa forma, de difícil realização, uma vez que problemas de compreensão e dificuldades para responder questões são menos evidentes. Embora a observação de como os indivíduos preenchem formulários ou lidam com o computador seja uma maneira de

152 Floyd J. Fowler Jr.

identificar questões ou instruções pouco claras, esta não se mostra tão satisfatória como uma gravação de áudio ou a observação de comportamento proporcionada pelas entrevistas. Provavelmente o melhor meio de realizar pré-testes de questionários autoadministrados é pessoalmente, com um grupo de potenciais respondentes. Se é um levantamento de dados baseado em computador, os respondentes podem fornecer suas respostas por meio de computadores portáteis. Primeiramente, eles devem preencher o questionário como se já estivessem respondendo ao levantamento de dados. Então o pesquisador pode conduzir a discussão sobre o instrumento. Um dos tópicos é, obviamente, se as instruções foram claras. Um segundo tópico é se as questões foram claras. Um terceiro é se houve problemas em compreender que tipo de respostas eram exigidas ou em fornecer respostas para as questões como estas foram criadas (Dillman e Redline, 2004). Em adição a grupos de teste, a utilização de um instrumento baseado em computador pode beneficiar-se de testes contínuos, nos quais alguns respondentes são observados lidando com o computador e com as questões (Tamai e Moore, 2004). A observação direta ou a gravação em vídeo podem ser utilizadas para identificar potenciais dificuldades. Novamente, arquivos de acompanhamento podem ser examinados para identificar problemas operacionais ou lugares visitados pelos respondentes para corrigir respostas. Eliminando os erros de um instrumento assistido por computador A aplicação de instrumentos de teste em entrevistadores e respondentes pode fornecer informações sobre facilidades de uso, mas não demonstra se o protocolo de coleta de dados está correto ou não. A principal área de observação, a qual requer maior cuidado, é a área das instruções “puladas”. Uma grande vantagem do auxílio do computador é ajudar os respondentes e entrevistadores a conduzir a entrevista adequadamente: quando ou como cada questão é feita é relacionado com as respostas dadas a questões anteriores. Obviamente, a precisão de instruções “puladas” requer uma revisão apurada das versões finais dos instrumentos impressos. Contudo, os desafios de checar a precisão de instrumentos monitorados por computador são muito maiores do que em instrumentos impressos. O problema é que programas de teste não são capazes de perceber quais questões são puladas e, consequentemente, podem ignorar o fato de que algumas deveriam ter sido respondidas. Uma análise apura-

Pesquisa de levantamento 153

da de um programa e um detalhado processo de testes são passos importantes. Todavia, se um instrumento é extenso e apresenta eventualidades complexas, estes passos podem ser inadequados. Por esta razão, a partir do momento em que um levantamento de dados é iniciado, deveria ser uma prática padrão tabular a distribuição das respostas. Apenas através da análise de tais métodos um pesquisador pode ter certeza de que as instruções estão desempenhando seu papel corretamente.

DURAÇÃO DOS INSTRUMENTOS DE LEVANTAMENTO Um resultado de um bom pré-teste é descobrir quanto tempo irá levar para finalizar um instrumento de levantamento de dados. O critério para a duração de uma entrevista deve incluir os custos, o feito ou taxa de resposta, as limitações nas habilidades dos respondentes e a motivação para responder questões. O nível de abrangência da duração de um questionário autoadministrado, e o quanto ele pode afetar os custos e as taxas de resposta varia de acordo com a população estudada o com tópico; generalizações são difíceis de ser realizadas. É também difícil generalizar o tempo de duração das entrevistas. Quando pesquisadores pensam em perguntar mais do que eles sentem que deveriam, há duas escolhas a serem feitas. Logicamente, o pesquisador pode simplesmente excluir questões. Um método alternativo é disponibilizar subseções de questões para representar subamostras de respondentes. Este tipo de método aumenta a complexidade do levantamento de dados e reduz a precisão de estimativas dessas variáveis, portanto, é aconselhável disponibilizar todas as questões de uma só vez. Uma vantagem clara da coleta de dados assistida por computador é a facilidade com que estes métodos podem ser implementados.

CONCLUSÃO Houve um tempo em que o processo de avaliação de questões era considerado uma tarefa altamente subjetiva, eventualmente subordinada às preferências de entrevistadores e pesquisadores. Sabemos agora que é preciso ir além disso. As questões em levantamento de dados devem ter o mesmo significado para todos os respondentes, responder às questões deve ser uma tarefa que a maioria dos respondentes possa realizar, e as

154 Floyd J. Fowler Jr.

palavras em um roteiro de entrevistas devem ser adequadas, de maneira que os entrevistadores possam ser guiados na administração da entrevista. Logicamente, não importando o quão clara uma questão possa ser, alguns respondentes apresentarão dificuldades ao respondê-la, e alguns entrevistadores não irão compreendê-la. Há julgamentos a serem feitos sobre o quão mal elaborada uma questão pode ser, de maneira que melhorias sejam possibilitadas. Uma parte crítica do processo de elaboração e avaliação de instrumentos de levantamento de dados, contudo, é coletar informações sobre compreensão, a tarefa de responder às questões, e como entrevistadores e respondentes usam os protocolos de modo que análises possam ser feitas a respeito de possíveis modificações nas questões e nos instrumentos. A avaliação adequada de questões e instrumentos antes mesmo da elaboração de uma pesquisa é um elemento crucial para a prática de um bom levantamento de dados. É um dos meios mais baratos de reduzir erros em estimativas de levantamentos de dados. Embora seja trabalhoso definir meios eficientes de avaliar questões, os procedimentos citados nas páginas anteriores constituem um apanhado de técnicas úteis que, quando usadas, terão um impacto positivo nos dados da pesquisa.

EXERCÍCIOS Utilize as questões elaboradas no exercício do Capítulo 6 e transforme-as em uma lista de questões que poderiam ser administradas por um entrevistador em uma forma padrão. 1. Teste cognitivamente as questões e revise-as, se necessário. 2. Realize um pré-teste com as questões conseguintes. Revise se for preciso. 3. Agora coloque as mesmas questões no formato autoadministrado. Em seguida, realize um pré-teste.

Leituras Complementares Presser, S., et al. (2004). Methods for testing and evaluating survey questionnaires. Hoboken, NJ: John Wiley. Willis, G. (2005). Cognitive interviewing. Thousand Oaks, CA: Sage.

Entrevista de levantamento

8

Os entrevistadores afetam as estimativas do levantamento de três formas: Eles têm um importante papel na taxa de resposta que é atingida, são responsáveis por treinar e motivar os respondentes e precisam tratar sua parte na interação da entrevista e no processo de pergunta e resposta de forma padrão, não tendenciosa. Este capítulo discute a significância da seleção, do treinamento e da supervisão dos entrevistadores, além dos procedimentos que são dados aos entrevistadores para minimizar os erros relacionados ao entrevistador em um levantamento.

VISÃO GERAL SOBRE O TRABALHO DO ENTREVISTADOR Embora muitos levantamentos sejam conduzidos usando-se métodos autoadministrados, usar entrevistadores para fazer perguntas e registrar respostas é certamente uma parte comum dos procedimentos de medição de levantamentos, tanto face a face quanto por telefone. Devido ao papel central que eles ocupam na coleta de dados, os entrevistadores têm muito potencial para influenciar a qualidade dos dados que coletam. O gerenciamento de entrevistadores é uma tarefa difícil, particularmente em estudos com entrevistas pessoais. O objetivo neste capítulo é fornecer um entendimento sobre o que um entrevistador deve fazer, sobre os procedimentos adequados para gerenciar entrevistadores e a significância do gerenciamento e do desempenho do entrevistador para a qualidade das estimativas baseadas em levantamento. Os entrevistadores possuem três papéis primordiais a cumprir na coleta de dados de levantamento:

156 Floyd J. Fowler Jr.

• localizar e mobilizar a cooperação dos respondentes selecionados • treinar e motivar os respondentes para que façam um bom trabalho • fazer perguntas, registrar as respostas e investigar respostas incompletas para garantir que atinjam os objetivos da questão Obtendo cooperação Os entrevistadores precisam entrar em contato com os respondentes para mobilizar a cooperação. A dificuldade dessa parte do trabalho difere grandemente com a amostra. Os entrevistadores precisam estar disponíveis quando os respondentes querem ser entrevistados, eles precisam estar disponíveis (e persistentes) o suficiente para fazer contato com respondentes difíceis de encontrar e para fazer entrevistas na casa das pessoas, precisam estar aptos e dispostos a ir onde os respondentes estão. Embora muitos indivíduos amostrados concordem prontamente em ser entrevistados, conseguir a cooperação de respondentes desinformados ou inicialmente relutantes é, sem dúvida, uma das mais difíceis e mais importantes tarefas que os entrevistadores devem desempenhar. Mais entrevistadores provavelmente falham nessa área do que em qualquer outra. Não há dúvidas de que alguns entrevistadores são muito melhores do que outros em conquistar a cooperação. Também está claro que estilos pessoais diferentes farão diferença. Alguns entrevistadores eficazes são muito profissionais, enquanto outros são mais casuais e encantadores. A experiência sugere que há duas características que os entrevistadores que são bons em conquistar cooperação parecem compartilhar. Primeiro, eles têm um tipo de confiança assertiva. Eles apresentam o estudo como se não houvesse dúvida de que o respondente irá querer cooperar. O tom e o conteúdo de sua conversa não deixam dúvida de que a entrevista acontecerá. Segundo, eles têm o dom de engajar de imediato as pessoas pessoalmente, de forma que a interação é focada e feita muito individualmente para o respondente. Isso pode ser muito orientado pela tarefa, mas é sensível às necessidade, às preocupações e à situação do indivíduo. Ler um roteiro predeterminado não é uma forma eficaz de conquistar a cooperação. Embora essas habilidades do entrevistador sejam importantes para todos os levantamentos, elas são particularmente desafiadoras para levantamentos por telefone para os quais os respondentes não recebem nenhum aviso prévio (como é o caso quando a discagem aleatória de dí-

Pesquisa de levantamento 157

gitos é utilizada) ou quando o assunto não prende de imediato o interesse do respondente. Treinando e motivando respondentes O desempenho dos respondentes, bem como a precisão do relato, tem sido ligada às orientações para a entrevista. Tem sido mostrado que os entrevistadores têm um papel importante na definição dos objetivos dos respondentes (Cannell e Fowler, 1964; Cannell, Oksenberg e Converse, 1977; Fowler e Mangione, 1990). Por exemplo, entrevistadores que apressam a entrevista encorajam os respondentes a responder às questões rapidamente. Os entrevistadores que leem as questões lentamente indicam aos respondentes, de forma não verbal, sua disposição para tomar o tempo e obter respostas precisas, pensadas; consequentemente, eles obtêm respostas mais exatas. Estudos também mostram que a forma com que os entrevistadores fornecem estímulo para os respondentes afeta o seu senso de o que eles devem fazer e quão bem eles relatam (Cannell et al., 1987; Cannell, Oksenberg e Converse, 1977; Fowler e Mangione, 1990; Marquis, Cannell e Laurent, 1972). Não há dúvida de que a maioria dos respondentes tem alguma ideia de o que devem fazer e como devem desempenhar o seu papel. Os entrevistadores, tanto implícita quando explicitamente, ensinam aos respondentes como se comportar; esta é uma parte normalmente negligenciada, mas fundamental, do trabalho do entrevistador. Sendo um entrevistador padrão Pesquisadores de levantamento gostariam de afirmar que as diferenças nas respostas podem ser atribuídas às diferenças em o que os respondentes têm a dizer (por exemplo, suas opiniões e experiências) e não às diferenças nos estímulos aos quais eles foram expostos (por exemplo, a formulação da questão, o contexto no qual ela foi perguntada e a forma como isso foi feito). A maioria do treinamento dos entrevistadores visa ensinar os aprendizes a ser entrevistadores padrão que não afetam as respostas que obtêm. Há cinco aspectos do comportamento do entrevistador que os pesquisadores tentam padronizar: a forma como eles apresentam o estudo e a tarefa; a forma como as questões são perguntadas, a forma como questões inadequadas (por exemplo, respostas que não atingem os objetivos da questão) são exploradas, a forma como as respostas são registradas

158 Floyd J. Fowler Jr.

e a forma como os aspectos interpessoais da entrevista são tratados. Cada um deles é discutido a seguir em maiores detalhes. 1. Apresentando o estudo: Os respondentes devem ter um entendimento comum dos propósitos do estudo, pois esse senso de propósito pode ter um impacto sobre a maneira com que eles respondem às questões. Suposições sobre coisas tais como confidencialidade, sobre a natureza voluntária de um projeto e sobre quem irá usar os resultados também potencialmente podem ter algum efeito sobre as respostas. Um bom corpo de entrevistadores dará a todos os respondentes uma orientação similar para o projeto para que o contexto da entrevista seja tão constante quanto possível. 2. Fazendo as perguntas: As questões de levantamento devem ser feitas exatamente da forma como foram escritas, sem variação ou mudanças de formulação. Até mesmo pequenas mudanças na forma como as questões foram formuladas mostraram, em alguns casos, ter efeitos significativos sobre a forma como as questões são respondidas. 3. Sondagem: Se um respondente não responde completamente à questão, o entrevistador precisa fazer algum tipo de questão de acompanhamento para obter uma resposta melhor; isso é chamado de sondagem (probing). Os entrevistadores devem sondar respostas incompletas de forma indireta – formas que não aumentam a probabilidade de uma resposta sobre a outra. Para questões de resposta fixa, repetir a questão e todas as alternativas de resposta é a sondagem mais comumente necessária. Para questões abertas, repetir a questão, ou perguntar “Mais alguma coisa?”; “Fale-me mais.”; ou “O que você quer dizer com?” vão manejar a maioria das situações se o instrumento de levantamento for bem projetado. 4. Registrando as respostas: O registro das respostas deve ser padronizado para que nenhuma variação induzida pelo entrevistador ocorra nesse estágio. Quando uma questão aberta é perguntada, os entrevistadores devem registrar as respostas textualmente; ou seja, exatamente com as palavras que o respondente utilizou, sem parafrasear, resumir ou deixar algo de fora. Em questões com respostas fixas, quando é dado aos respondentes uma escolha de respostas, os entrevistadores devem apenas registrar a resposta quan­ do o respondente de fato escolhe uma. Há um potencial para inconsistência se os entrevistadores codificam as palavras do respondente em categorias que o respondente não escolheu.

Pesquisa de levantamento 159

5. Relações interpessoais: Os aspectos interpessoais de uma entrevista devem ser gerenciados de forma padronizada. Inevitavelmente um entrevistador traz algumas características demográficas obvias para a entrevista, tais como gênero, idade e educação. Para enfatizar os aspectos profissionais da interação e focar na tarefa, contudo, o lado pessoal da relação pode ser minimizado. Os entrevistadores normalmente são instruídos a não contar histórias sobre eles mesmos ou expressar visões ou opiniões relacionadas ao assunto da entrevista. Os entrevistadores não devem comunicas nenhum julgamento sobre as respostas que o respondente fornece. Em resumo, comportamentos que comunicam as características pessoais idiossincráticas do entrevistador serão evitados, pois vão variar entre os entrevistadores. Comportar-se como um profissional, não como um amigo, ajuda a padronizar a relação entre entrevistadores e respondentes. Não há evidências de que ter um estilo interpessoal amigável per se aumente a exatidão do relato; isso provavelmente tende a ter um efeito negativo sobe ela (Fowler e Mangione, 1990). Uma complexidade especial é introduzida quando entrevistador e respondente vêm de uma diferente origem na sociedade. Neste caso, a comunicação pode não ser tão livre e fácil como quando as origens são similares. Há algumas evidências de que entrevistadores que tomam providências para facilitar a comunicação em tais situações (por exemplo, por introduzir um pouco de humor) podem estar aptos a produzir uma entrevistas mais eficaz (Fowler e Mangione, 1990). Os esforços para deixar o respondente à vontade, contudo, não devem diminuir o valor de uma interação basicamente profissional, focada no bom desempenho da tarefa. Significância do trabalho do entrevistador Deve estar claro, pelo que foi dito anteriormente, que entrevistar é um trabalho difícil. Além disso, falhar no desempenho do trabalho pode produzir três tipos diferentes de erros nos dados do levantamento: • As amostras perdem credibilidade e são potencialmente tendenciosas se os entrevistadores não fazem um bom trabalho para conquistar a cooperação dos respondentes. • A precisão das estimativas do levantamento será reduzida, haverá mais erros em torno das estimativas, visto que os entrevistadores são inconsistentes de maneira que influencia os dados.

160 Floyd J. Fowler Jr.

• As respostas podem ser sistematicamente imprecisas e tendenciosas na medida em que os entrevistadores falham em treinar e motivar apropriadamente os respondentes ou falham em estabelecer uma configuração interpessoal apropriada para relatar o que é requerido. Dados todos esses potenciais para produzir erros, os pesquisadores devem estar motivados a usar bons entrevistadores. Há muitos caminhos para afetar a qualidade do trabalho de um entrevistador: recrutamento e seleção, treinamento, supervisão, formulação de boas questões e uso de procedimentos eficazes. As próximas cinco seções discutirão o potencial de cada um desses pontos para influenciar o desempenho do entrevistador.

RECRUTAMENTO E SELEÇÃO DE ENTREVISTADORES Algumas das características dos entrevistadores são ditadas pelas necessidades do trabalho de levantamento do entrevistador que não tem nada a ver com a qualidade dos dados per se: 1. Os entrevistadores precisam ter habilidades de leitura e escrita razoavelmente boas. Alguns, se não a maioria, dos entrevistadores trabalham atualmente com computadores, portanto habilidade de digitação e familiaridade geral com computadores são normalmente necessárias também. A maioria das organizações de pesquisa exige ensino médio completo, e algumas exigem ou preferem entrevistadores que tenham ao menos alguma experiência na faculdade. 2. Entrevistar é originalmente um trabalho de meio turno. É difícil trabalhar 40 horas por semana toda a semana em levantamentos de populações gerais; as organizações de pesquisa quase sempre têm algum ir e vir de trabalho para entrevistadores. Como resultado, eles normalmente são pessoas que podem tolerar rendimentos intermitentes ou que estão entre empregos mais permanentes. O pagamento de um entrevistador normalmente não é alto para uma pessoa com nível universitário. Normalmente não há benefícios, como plano de saúde, para um emprego de entrevistador. Não é comum para um entrevistador de levantamentos estar apto a contar com as entrevistas como

Pesquisa de levantamento 161

uma única fonte de rendimentos e sustento por um longo período de tempo. 3. Entrevistadores pessoais familiares precisam ter alguma flexibilidade de horários; os levantamentos exigem que eles estejam disponíveis quando os respondentes estão disponíveis. Uma vantagem das entrevistas por telefone é que os entrevistadores podem trabalhar em turnos mais previsíveis, embora a noite e os finais de semana sejam o horário nobre para quase todos os trabalhos de levantamento em populações gerais. 4. Entrevistadores pessoais familiares precisam ser móveis, o que normalmente exclui pessoas com alguma deficiência física e aquelas sem o uso de um carro. Nenhuma dessas restrições é saliente para entrevistadores por telefone. Além desses requisitos profissionais práticos, há pouca base científica para escolher um determinado pesquisador do que outros. Por exemplo, entrevistadores experientes são prováveis de melhor conseguir cooperação simplesmente porque aqueles para os quais isso é um problema não continuarão a trabalhar como entrevistadores; contudo, não há efeitos positivos documentados da experiência sobre a qualidade dos dados. Há apenas evidências de que os entrevistadores se tornam menos cuidadosos e coletam dados mais pobres ao longo do tempo (Bradburn, Sudman e Associates, 1979; Cannell, Marquis e Laurent, 1977; Chromy, Eyerman, Odom, McNeeley e Hughes, 2005; Fowler e Mangione, 1990; Groves et al., 2004). Da mesma forma, ter entrevistadores que tenham conhecimento especializado sobre o assunto em questão é raramente algo a mais. Na verdade, devido ao fato de os entrevistadores bem informados poderem supor que sabem o que o respondente está dizendo quando este não foi claro, eles podem interpretar mais do que o indivíduo está dizendo do que pessoas não treinadas na área. A menos que as observações do entrevistador ou taxas que exijam um extenso conhecimento especializado sejam necessárias, um entrevistador treinado sem conhecimentos especializados é a melhor escolha. A idade, a educação e o gênero do entrevistador raramente têm sido associados com a qualidade dos dados, embora haja alguma evidência de que mulheres possam, em média, ser mais bem avaliadas em amostras cruzadas (Fowler e Mangione, 1990; Groves, 1989). Em geral, um pesquisador seria aconselhado a enviar o melhor entrevistador disponível para entrevistar um respondente, sem levar em conta as caracterís-

162 Floyd J. Fowler Jr.

ticas demográficas. A exceção é se o assunto do levantamento é diretamente relacionado à raça ou à religião (ou qualquer outra característica demográfica) e as opiniões dos respondentes sobre as pessoas do mesmo ou de grupos diferentes. Por exemplo, se as pessoas serão entrevistadas sobre suas próprias opiniões antissemitas, o judaísmo do entrevistador fará diferença nas respostas (Robinson e Rhode, 1946). Da mesma forma, negros e brancos expressam opiniões diferentes sobre raça de acordo com a cor da pele do entrevistador (Schuman e Converse, 1971). É importante notar, contudo, que correspondências étnicas não necessariamente melhoram o relato. Dois estudos dessa questão descobriram que respondentes negros relatam os rendimentos do bem-estar (Weiss, 1968) e a votação (Anderson, Silver e Abramson, 1988) mais precisamente para entrevistadores brancos do que para entrevistadores negros. Não há dúvida de que o pesquisador deve considerar a interação entre o assunto de um levantamento e as características demográficas dos entrevistadores e respondentes. Se a etnicidade (ou alguma outra característica) é extremamente saliente para as respostas a serem dadas, controlar a relação entre as características dos entrevistadores e dos respondentes deve ser considerado, de forma que os efeitos do entrevistador sobre os dados possam ser mensurados (Groves, 1989). Para a maioria dos levantamentos, contudo, as dificuldades práticas e os custos de controlar o trabalho do entrevistador e a ausência de efeitos previsíveis irão argumentar contra a tentativa de controlar as características demográficas de respondentes e entrevistadores. Finalmente, equipes voluntárias de entrevista são quase sempre malsucedidas em conduzir levantamentos de amostra de probabilidade. Há várias razões para o fracasso de voluntários. Visto que é difícil exigir o comparecimento a sessões de treinamento demoradas, os voluntários são, em geral, pobremente treinados. Como é difícil terminar com os entrevistadores voluntários mal treinados, as taxas de resposta são normalmente baixas. Além disso, o desgaste dos voluntários é normalmente alto. A discussão aqui apresentada oferece algumas diretrizes para os pesquisadores na seleção de entrevistadores. Em algumas circunstâncias bastante especializadas, a origem étnica, a idade e o gênero dos entrevistadores pode afetar as respostas; por exemplo, adolescentes podem responder de maneira diferente se o entrevistador for uma mulher mais velha (Erlich e Riesman, 1961). Para a maioria dos levantamentos, contudo, as exigências particulares do trabalho vão ditar amplamente o corpo de entrevistadores. Há pouca base para afastar pessoas por conta de sua

Pesquisa de levantamento 163

origem ou de suas características pessoais. Antes, a chave para construir um bom grupo de entrevistadores é o bom treinamento e uma supervisão cuidadosa. Além disso, devido à dificuldade de identificar bons entrevistadores de antemão, o desgaste dos entrevistadores menos capazes é provavelmente uma parte crítica e necessária da construção de uma boa equipe de entrevistadores.

TREINANDO ENTREVISTADORES Há uma grande diversidade nos tipos de experiências de treinamento às quais os entrevistadores de levantamento estão expostos. A quantidade de tempo exata que será dedicada ao treinamento, o tipo de sessão de treinamento e o conteúdo do programa obviamente dependerão da configuração organizacional particular e do que os entrevistadores irão fazer. Há alguns desacordos, além disso, sobre a extensão na qual os esforços devem ser dedicados para uma sessão inicial de treinamento, antes do início do campo de experiência, contra o aprendizado contínuo e a reciclagem depois de os entrevistadores terem começado. Todavia, todas as organizações profissionais de levantamento preocupadas com a qualidade dos dados têm ao menos algum tipo de (normalmente presencial) treinamento de todos os novos entrevistadores. O que segue é um resumo geral de o que um treinamento razoável dos entrevistadores pode implicar. Conteúdo do treinamento O conteúdo do treinamento inclui tanto informações gerais sobre entrevistas que se aplicam a todos os levantamentos quanto informações específicas ao estudo particular no qual os entrevistadores vão trabalhar. Os tópicos gerais a serem abrangidos incluirão o seguinte: • procedimentos para contatar os respondentes e apresentar o estudo; • as convenções que são usadas na formulação de um instrumento de levantamento com relação à formulação e ao salto de instruções, de forma que os entrevistadores possam perguntar as questões de forma consistente e padronizada; • procedimentos para sondar respostas inadequadas de forma não diretiva; • procedimentos para registro de respostas para questões abertas e fechadas;

164 Floyd J. Fowler Jr.

• regras e diretrizes para lidar com os aspectos interpessoais da entrevista de forma não tendenciosa; • como usar os programas de entrevista assistida por computador. Além disso, muitas organizações de pesquisa acreditam que é uma boa ideia dar aos entrevistadores uma noção da forma como as entrevistas se encaixam no processo total de pesquisa. Por essa razão, elas frequentemente tentam dar aos entrevistadores alguma familiaridade com procedimentos de amostragem, de codificação e com os tipos de análise de relatos que resultam de levantamentos. Tais informações podem ser úteis para os entrevistadores ao responder às perguntas dos respondentes e podem desempenhar um papel positivo ao motivar o entrevistador e ajudá-lo a entender o trabalho. Com relação a algum projeto específico, os entrevistadores também precisam saber o seguinte: • Propósitos exclusivos do projeto, incluindo o patrocínio, os objetivos gerais da pesquisa e os usos previstos da pesquisa. Essas informações são básicas para fornecer aos respondentes respostas apropriadas a questões e ajudar a conquistar a cooperação. • A abordagem específica que foi usada na amostragem, novamente para fornecer uma base para responder às questões dos respondentes. Além disso, pode haver algum treino necessário sobre como implementar um projeto básico de amostra. • Detalhes com relação aos propósitos das questões específicas – não necessariamente suas funções na análise, mas ao menos o tipo de informação que elas são projetadas para obter. • Os passos específicos que serão tomados com relação à confidencialidade e os tipos de garantias que são apropriadas de se fornecer aos respondentes. Procedimentos para treinamento Há seis formas básicas para ensinar os entrevistadores: materiais escritos, palestras e apresentações, tutoriais baseados em computador, exercícios planejados, práticas de encenação (role-play) e observações de entrevistas anteriores. Os materiais escritos são normalmente de dois tipos. Primeiro, é uma ideia muito boa ter um manual geral de entrevistas que forneça uma descrição escrita completa dos procedimentos de entrevista. Além disso, para cada estudo particular, deveria normalmente haver algumas instru-

Pesquisa de levantamento 165

ções específicas de projeto por escrito. É tentador quando entrevistadores estão sendo treinados pessoalmente e um projeto está sendo feito em um site local para economizar na preparação de materiais escritos. Entrevistadores recém-treinados, contudo, dizem que há uma quantidade esmagadora de material e informação para assimilar durante o treinamento. Ter os procedimentos por escrito permite aos entrevistadores revisar o material em um ritmo mais tranquilo; isso também aumenta a probabilidade de que as mensagens sejam apresentadas de forma clara e precisa. Palestras e demonstrações obviamente têm um papel a desempenhar em qualquer treinamento de entrevistadores, tanto se apenas um ou se um grande grupo de deles está sendo treinado. Além da apresentação geral dos procedimentos e habilidades necessários, muitos treinadores acreditam que demonstrar uma entrevista padronizada é uma forma rápida e eficiente de fornecer aos entrevistadores uma noção de como administrar uma entrevista. Gravações em vídeo comumente são usadas para complementar palestras. Fazer gravações em vídeo de práticas de entrevista ou de outras atividades do entrevistador é uma boa ferramenta para o treinamento dos entrevistadores. O uso difundido das entrevistas assistidas por computador significa que o treinamento dos entrevistadores deve incluir ensinar a eles como usar os instrumentos baseados em computador. Os sistemas de levantamento mais comumente usados têm tutoriais baseados em computador que podem ser integrados no treinamento geral dos entrevistadores. Visto que essas são habilidades novas, a prática estruturada supervisionada é uma das partes mais importantes do treinamento do entrevistador. Ter os entrevistadores revezando-se e fazendo o papel de respondente e de entrevistador é uma atividade comum. A prática deve incluir a conquista da cooperação e o desenvolvimento do processo de perguntas e respostas. Também é válido monitorar algumas práticas de entrevista com respondentes que não estão encenando e os quais os entrevistadores não conhecem. Para entrevistas pessoais, os supervisores podem acompanhar e observar os novos entrevistadores realizando a prática de entrevista ou rever entrevistas gravadas. Pelo telefone, as entrevistas podem ser diretamente monitoradas ou gravadas para revisão posterior. Dois estudos (Billiet e Loosveldt, 1988; Fowler e Mangione, 1990) concluíram que treinamentos de entrevistadores de menos de um dia produzem entrevistadores insatisfatórios; eles não são capazes de desempenhar o seu trabalho de forma estruturada e os dados resultantes são afetados negativamente. Programas de treinamento que duram de dois a cinco dias são

166 Floyd J. Fowler Jr.

a norma em organizações profissionais de pesquisa. A duração do treinamento depende de inúmeros fatores, incluindo o número de entrevistadores a ser treinado e a complexidade do projeto para o qual eles estão sendo treinados. A chave essencial para a qualidade do treinamento, contudo, é provavelmente a quantidade de práticas supervisionadas de entrevista.

SUPERVISÃO As chaves para uma boa supervisão são ter a informação necessária para avaliar o desempenho do entrevistador e o investimento de tempo e recursos necessários para avaliar a informação e fornecer um feedback oportuno. Há quatro aspectos principais do desempenho do entrevistador a supervisionar: custos, taxa de respostas, qualidade dos questionários completados e qualidade da entrevista. É consideravelmente mais fácil supervisionar entrevistadores que estão fazendo as entrevistas por telefone de uma instalação centralizada do que aqueles que estão entrevistando em domicílio. Custos Supervisionar os custos para entrevistadores requer informações oportunas sobre o tempo gasto, a produtividade (normalmente as entrevistas completadas) e taxas de milhagem para entrevistadores que usam carros. Os altos custos de entrevistas por telefone são provavelmente daqueles que trabalham nos horários menos produtivos, que têm altas taxas de recusa (uma recusa toma quase tanto tempo quanto uma entrevista) ou que simplesmente encontram maneiras (por exemplo, editando entrevistas, apontando lápis) de fazer menos ligações por hora. Os pesquisadores domiciliares com custos altos provavelmente moram longe dos seus endereços da amostra, fazem viagens muito curtas ou nos horários errados (noites e finais de semana são claramente os mais produtivos) ou têm baixas taxas de resposta. Taxas de resposta É importante monitorar as taxas de resposta (particularmente as taxas de recusa) por entrevistador em uma base oportuna; contudo, isso não é algo fácil de fazer. Há três problemas principais: 1. Para entrevistas pessoais, mas não para levantamentos por telefone a partir de uma instalação central computadorizada, pode ser difícil manter informações oportunas sobre os resultados do entrevistador.

Pesquisa de levantamento 167

2. Os entrevistadores podem subestimar suas recusas por atribuir seus resultados malsucedidos a outras categorias. 3. As designações para entrevistas em pessoa podem não ser comparáveis, de forma que as diferenças nas taxas de recusas por entrevistador podem não ser indicadores consistentes do desempenho do entrevistador. Essa questão se aplica muito menos ao trabalho de entrevista por telefone em uma instalação centralizada. As taxas de resposta não podem ser calculadas até que o estudo esteja acabado, mas esforços especiais para identificar recusas por entrevistador durante a coleta de dados podem alertar os supervisores para problemas e são uma parte muito importante da supervisão da entrevista. É difícil ajudar um entrevistador que tem problemas com as taxas de resposta. Em estudos por telefone, um supervisor pode ouvir as apresentações e fornecer um feedback imediatamente após a entrevista (ou não entrevista) sobre como o entrevistador pode ser mais eficaz. Para entrevistas domiciliares, a tarefa é mais difícil porque o supervisor não pode observar a abordagem do entrevistador a menos que o acompanhe. Desta maneira, o supervisor muitas vezes fica contente em ouvir o entrevistador dando uma amostra de apresentação. Os supervisores podem dar dicas úteis aos entrevistadores. É importante ter certeza de que os entrevistadores estão completamente informados sobre um levantamento. Fazer com que eles pratiquem respostas claras e concisas para questões comuns pode ser útil. Além de trabalhar nos detalhes das apresentações, os supervisores podem necessitar direcionar as opiniões gerais dos entrevistadores sobre a abordagem das pessoas ou sobre o projeto de pesquisa e seu valor. Há limites, porém, para quanto a reciclagem ajudará; há pessoas que nunca conseguem atingir boas taxas de resposta. Embora isso seja estressante, uma das maneiras mais eficazes de manter altas as taxas de resposta é retirar os entrevistadores ineficazes do estudo. Revisão de instrumentos de pesquisa completados Quando os entrevistadores estão utilizando instrumentos em papel e caneta, uma amostra dos instrumentos de levantamento completados deve ser revisada para avaliar a qualidade dos dados que os entrevistadores estão coletando. Quando revisando uma entrevista completa, pode-se obviamente observar se o registro é legível, se as instruções passadas foram seguidas apropriadamente e se as respostas obtidas são completas o

168 Floyd J. Fowler Jr.

suficiente para permitir a codificação. Além disso, observar uma entrevista completada pode dar uma ideia muito boa da extensão na qual um entrevistador está registrando as respostas do respondente textualmente, em relação aos registros resumidos ou parafraseados. Para entrevistas assistidas por computador, tais questões – exceto para o registro e para a sondagem associada a respostas narrativas – não são relevantes. O processo de pergunta e resposta A qualidade da entrevista não pode ser supervisionada pela revisão de instrumentos de levantamento completados; eles não falam absolutamente nada ao supervisor sobre a forma com que o entrevistador conduziu a entrevista e como aquelas respostas foram obtidas. A fim de ficar sabendo disso, o supervisor precisa observar diretamente o processo de entrevista. Um levantamento por telefone a partir de uma instalação central permite supervisão direta de como o entrevistador coleta os dados. Um supervisor pode e deve estar disponível para monitorar os entrevistadores a todo momento. Alguns sistemas centralizados incluem a capacidade de gravar toda ou uma amostra das entrevistas. Os supervisores devem ouvir sistematicamente toda ou partes de uma amostra das entrevistas que cada entrevistador tomou, avaliando (entre outras coisas) a apresentação apropriada do estudo, o uso das questões exatamente como foram escritas, a sondagem apropriada e indireta e o tratamento adequado dos aspectos interpessoais da entrevista. Esse processo funciona melhor se um formulário de avaliação abrangendo esses e outros aspectos do trabalho do entrevistador é preenchido rotineiramente por um monitor (Cannell e Oksenberg, 1988). Quando os entrevistadores estão fazendo os estudos na casa dos respondentes ou em outros lugares distantes, é mais difícil de supervisionar o processo de pergunta e resposta. Há apenas duas formas de fazer isso: Um supervisor pode acompanhar um entrevistador como um observador, ou as entrevistas podem ser gravadas. Sem as gravações ou um programa de observação, o pesquisador não tem como avaliar a qualidade da entrevista. Todos os aspectos mais importantes de um processo de medição não são monitorados. Entrevistadores ruins não podem ser identificados para reciclagem, e o pesquisador não pode apresentar a qualidade das entrevistas além de dizer que foi dito aos entrevistadores o que fazer. Realmente, do ponto de vista do entrevistador, deve ser difícil acreditar que a entrevista padronizada é importante quando é o foco do treinamento mas não é mais tratada posteriormente.

Pesquisa de levantamento 169

Fowler e Mangione (1990) apresentam evidências de que entrevistadores pessoais são menos prováveis de entrevistar da forma como foram treinados se seu trabalho não é monitorado diretamente por gravações. Tanto Fowler e Mangione quanto Billiet e Loosveldt (1988) descobriram que a qualidade dos dados melhorou quando os entrevistadores foram monitorados diretamente dessa maneira. Está claro agora que a supervisão direta do processo de entrevista deve ser parte de um levantamento bem administrado. O fato de que computadores portáteis podem ser configurados para gravar entrevistas em áudio torna viável a revisão do comportamento do entrevistador.

QUESTÕES DE LEVANTAMENTO Embora o treinamento e a supervisão sejam importantes para produzir boas entrevistas, talvez o passo mais importante que um pesquisador pode dar para produzir boas entrevistas seja a formulação de um bom instrumento de levantamento. Pesquisas têm mostrado que certas questões são regularmente mal interpretadas, enquanto outras regularmente são inadequadamente respondidas, exigindo que os entrevistadores façam uma sondagem para obter respostas adequadas (Fowler, 1991; Fowler e Cannell, 1996; Fowler e Mangione, 1990; Oksenberg et al., 1991). Essas questões podem ser identificadas com o tipo de pré-teste descrito no Capítulo 7. Quando mais os entrevistadores precisam sondar, explicar ou esclarecer, mais prováveis eles são de influenciar as respostas. Quando melhor for o instrumento de levantamento, mais provavelmente o entrevistador conduzirá uma entrevista boa e padronizada. O papel da boa formulação de questões na produção de boas entrevistas é discutido em detalhes em Fowler e Mangione (1990) e Fowler (1991).

PROCEDIMENTOS DE ENTREVISTA Treinando e motivando os respondentes Estudos têm demonstrado o valor de se ir além da boa formulação de questões para ajudar a padronizar a entrevista (Cannell et al., 1987; Cannell, Oksenberg e Converse, 1977; Miller e Cannell, 1977). Por exemplo, o pesquisador pode ajudar o entrevistador a treinar o respondente de forma consistente. Antes de começar a entrevista, o entrevistador deve ler algo como o seguinte:

170 Floyd J. Fowler Jr.

Antes de começarmos, deixe-me falar um pouco sobre o processo de entrevista, uma vez que a maioria das pessoas nunca esteve em um levantamento como este antes. Dois tipos de questão serão perguntados a você neste levantamento. Em alguns casos, pedirei a você para que responda às questões com suas próprias palavras. Nesses casos, terei que escrever cada palavra que você disser, sem resumir nada. Para outras questões, será dado a você um conjunto de respostas, e será solicitado que você escolha aquelas que mais se aproxima da sua própria opinião. Mesmo que nenhuma das respostas se encaixe exatamente na sua opinião, escolher a que mais se aproxima dela nos permitirá comparas as suas respostas mais facilmente com as das outras pessoas.

Curiosamente, os entrevistadores gostam muito dessa instrução. Isso explica a tarefa dos respondentes a eles, e faz com que o processo de perguntas e respostas ocorra sem problemas. Na verdade, bons entrevistadores dão instruções como essas por conta própria. O valor de fornecer instruções explícitas é que isso reduz as diferenças entre os entrevistadores por fazer com que todos eles façam a mesma coisa. Além disso, tais instruções têm um efeito salutar sobre o desempenho do entrevistador. Uma vez que ele leu as instruções explicando as expectativas do trabalho, é mais fácil fazer o trabalho da maneira como ele deve ser feito, e é um pouco mais difícil fazê-lo de forma errada, porque o respondente agora também sabe o que o entrevistador deve fazer (Fowler e Mangione, 1990). As instruções padronizadas para os respondentes também poder ser usadas para estabelecer metas e padrões de desempenho: É muito importante que você responda o mais precisamente possível. Não tenha pressa. Consulte registros se quiser. Peça-me esclarecimentos se você tem alguma dúvida sobre o que é esperado. Tais declarações garantem que os respondentes tenham um entendimento comum de suas prioridades. Alguns entrevistadores não intencionalmente prometem aos respondentes que irão facilitar para os respondentes se os últimos apenas derem a entrevista; entrevistadores que apressam comunicam que a velocidade é mais importante do que a precisão. Quando uma instrução tal como a anterior é lida, isso força a precisão e a qualidade dos dados a ser uma parte central do papel das expectativas tanto para o respondente quanto para o entrevistador. Mais uma fonte de variabilidade entre entrevistador é reduzida, e a probabilidade de um bom desempenho para ambos é aumentada. Concluindo, há partes importantes do trabalho do entrevistador além do processo de pergunta e resposta. Em particular, o entrevistador é

Pesquisa de levantamento 171

responsável por comunicar ao respondente como a entrevista procederá: o que o respondente deve fazer, o que o entrevistador irá fazer e quais são os seus objetivos comuns. Esse aspecto do trabalho do entrevistador tem principalmente sido deixado por conta dele e, não surpreendentemente, os entrevistadores diferem em como eles fazem isso de forma que afeta os dados. Por desenvolver programas de instruções padronizadas para respondentes, os pesquisadores podem facilitar o trabalho dos entrevistadores, reduzir uma fonte importante de variância entre entrevistador e melhorar a extensão em que os entrevistadores e respondentes se comportam de forma que farão o processo de medição correr melhor. Formulação padronizada Foi dito anteriormente que perguntar as questões exatamente como foram formuladas é um fundamento das medições padronizadas, mas nem todos concordam (Tanur, 1991). Críticos das entrevistas padronizadas observaram que algumas questões não são regularmente compreendidas por todos os respondentes. Quando este é o caso, eles argumentam que produziria melhores dados se o entrevistador fosse livre para esclarecer ou explicar o significado da questão (por exemplo, Conrad e Schober, 2000; Schober e Conrad, 1997). De forma similar, os críticos notam que algumas tarefas de coleta de dados – por exemplo, quando a mesma informação está sendo colhida sobre várias pessoas ou eventos diferentes – produzem interações muito artificiais ou embaraçosas quando os entrevistadores tentam usar apenas as formulações escritas. Nestes casos, argumenta-se que dar aos entrevistadores mais flexibilidade com as formulações resultaria em uma interação entrevistador-respondente mais confortável (Schaeffer, 1992). Muitas das críticas à entrevista padronizada são principalmente para o resultado das questões pobremente formuladas (ver HoutkoopSteenstra, 200; Suchman e Jordan, 1990). Quando as questões não são claras ou fornecem roteiros embaraçosos para os entrevistadores, a solução normalmente é escrever questões melhores, não deixar que os entrevistadores as reformulem (Beatty, 1995). Há uma base real de preocupação de que quando é dado aos entrevistadores a flexibilidade para reformular ou explicar as questões, eles farão isso de forma que mude o significado das questões e piore, em vez de melhorar, os dados resultantes (Fowler e Mangione, 1990). Contudo, há determinadas questões – tais como séries repetitivas ou quando poucos respondentes precisam de de-

172 Floyd J. Fowler Jr.

finições detalhadas que seriam incômodas de fornecer a todos os respondentes – que seriam mais bem tratadas por se dar aos entrevistadores mais flexibilidade. Além do mais, quando os entrevistadores fazem mudanças na formulação das questões isso não tem consistentemente mostrado aumento nos erros relacionados ao entrevistador e nos erros de resposta (Dykema, Lepkowski e Blixt, 1997; Fowler e Mangione, 1990). Tem havido experimentos que dão aos entrevistadores mais poder sobre como perguntar e sondar questões (Conrad e Schober, 2000; Schober e Conrad, 1997). Até agora os resultados têm sido mistos: a precisão de alguns relatos pode ser melhorada, mas o treinamento de entrevistadores, consideravelmente aumentado, e às vezes entrevistas mais longas estão envolvidos. Como e quando dar aos entrevistadores mais flexibilidade é um tópico que exige mais experimentação. Enquanto isso, para a maioria dos levantamentos, formular questões que os entrevistadores possam e façam exatamente como foram escritas continua sendo a principal forma de conduzir um bom levantamento.

VALIDAÇÃO DE ENTREVISTAS A possibilidade de que um entrevistador inventar uma entrevista é uma grande preocupação. A possibilidade de isso acontecer varia com a amostra, com a equipe de entrevistadores e com o campo de procedimentos. Para a maior parte, a preocupação sobre a validação é restrita aos levantamentos nos quais os entrevistadores estão conduzindo entrevistas na casa dos respondentes ou estão fazendo entrevistas por telefone a partir de suas próprias casas. Nesses casos, a coleta de dados não é observada por supervisores. O número de horas dedicadas para a realização de uma entrevista normalmente é suficiente para motivar um entrevistador a inventar uma entrevista em vez de gastar tempo e o esforço para realizá-la. No final das contas, provavelmente a melhor proteção contra entrevistas falsas seja ter um grupo de entrevistadores que tenham algum comprometimento com a qualidade da pesquisa e da organização. Tais problemas parecem ocorrer mais comumente com entrevistadores recém-contratados. Mesmo organizações com uma equipe profissional experiente, contudo, rotineiramente verificam uma amostra de entrevistas pa­ra ter certeza de que elas foram realmente realizadas. Há duas abordagens para esse tipo de validação. Uma dela é enviar por correio para todos os respondentes um breve questionário de acompa-

Pesquisa de levantamento 173

nhamento perguntando sobre as reações à entrevista. Provavelmente um procedimento mais comum é orientar os entrevistadores a obter um número de telefone de cada respondente; uma amostra desses números recebe a ligação de um supervisor. Simplesmente saber de antemão que uma validação por correio ou por telefone será feita provavelmente já impede a fraude do entrevistador. Além disso, estar apto a dizer que tal verificação foi feita pode ser tranquilizador para os usuários dos dados.

O PAPEL DA ENTREVISTA NOS ERROS DE LEVANTAMENTO Como observado no início deste capítulo, os entrevistadores afetam as taxas de resposta, a precisão dos relatos e a consistência ou exatidão das medições. Cada uma delas tem um papel central na qualidade das estimativas de um levantamento. Um dos efeitos mais observáveis do bom gerenciamento de levantamentos é a taxa de resposta. Embora essa questão seja discutida mais a fundo no Capítulo 4, é válido repetir que a qualidade de uma equipe de entrevistadores é fundamental para a taxa de resposta que será obtida em qualquer levantamento particular. É mais difícil medir o erro introduzido pelos entrevistadores no processo de pergunta e resposta. Muitas vezes o erro de levantamento é indetectável. Quando se pergunta questões sobre estados subjetivos, verificações objetivas para vieses ou imprecisões são em geral nada significativas, como foi discutido no Capítulo 6. Houve estudos, contudo, nos quais os pesquisadores tiveram medições objetivas de fatos que os respondentes foram solicitados a relatar, permitindo uma avaliação da exatidão do relato. Em um dos tais estudos (Cannell, Marquis e Laurent, 1977), amostras de famílias nas quais alguém havia sido hospitalizado no ano anterior foram entrevistadas. A precisão dos relatos pode ser avaliada comparando-se os relatórios de entrevista de saúde que ficam armazenados nos registros do hospital. Uma medida da exatidão dos relatos era simplesmente a porcentagem de hospitalizações conhecidas que foram relatadas. Nesse estudo, foi descoberto que o número de entrevistas atribuídas a um entrevistador era altamente correlacionado (r = 0,72) com a porcentagem de hospitalizações que não foram relatadas na entrevista. Os entrevistadores que tinham grandes atribuições, com as pressões que isso exercia sobre eles, coletaram dados muito menos precisos do que aqueles com poucas atribuições.

174 Floyd J. Fowler Jr.

Um estudo diferente utilizando o mesmo critério (a porcentagem de hospitalizações relatadas; Cannell e Fowler, 1964) chegou a uma conclusão similar. Nesse caso, metade dos respondentes de um entrevistador relatou hospitalizações em uma entrevista, enquanto a outra metade completou o formulário autoadministrado com relação às hospitalizações depois de o entrevistador ter completado o resto das entrevistas de saúde. Foi descoberto que os entrevistadores cujos respondentes relataram com grande precisão quando solicitados a relatar internações na entrevista também tiveram respondentes que relataram muito bem no formulário autoadministrado depois que o entrevistador havia saído (r = 0,65). Esse estudo sugeriu não apenas que os entrevistadores tinham um papel importante a desempenhar em afetar o erro do relato de seus respondentes, mas também que uma forma pela qual os entrevistadores afetaram o desempenho dos respondentes foi o grau em que eles motivaram os respondentes a um bom desempenho. Em ambos os casos, o efeito do entrevistador sobre a precisão do relato estava claro. Na ausência da validação de dados, não se pode avaliar a precisão. É possível, contudo, avaliar a extensão na qual os entrevistadores influenciam as respostas de seus respondentes. Se uma equipe de entrevista operou de forma perfeitamente padronizada, seria impossível de se explicar a variação nas respostas por saber quem foi o entrevistador. Na medida em que as respostas são previsíveis em parte por se saber quem fez a entrevista, pode-se concluir que o entrevistador está influenciando de maneira imprópria as respostas. Groves (1989) discute a fundo as técnicas para calcular a extensão na qual os entrevistadores estavam afetando as respostas a questões e resume os resultados de diversos estudos nos quais os efeitos do entrevistador foram calculados. Revela-se que para muitas questões que os entrevistadores perguntam, não se pode ver nenhum efeito do entrevistador sobre as respostas. Entre um terço e metade das questões na maioria dos levantamentos, contudo, os entrevistadores afetam significativamente as respostas. O resultado de tais efeitos do entrevistador é aumentar o padrão de erros em torno das estimativas do levantamento. O tamanho do multiplicador depende do tamanho da correlação intraclasse (rho) e do tamanho médio das atribuições dos entrevistadores (ver Groves, 1989; Kish, 1962). Se a correlação intraclasse é 0,01 (a qual Groves descobriu estar próxima da média) e o número médio de entrevistas por entrevistador é próximo de 31, o erro padrão das médias será aumentado em 14% sobre aqueles estimados a partir apenas do projeto da amostra. Quando as atribuições do entrevistador têm uma média próxima de 50, para itens com uma correlação de intraclasse de 0,02, a estimativa dos erros padrão será aumentada em 41%.

Pesquisa de levantamento 175

Fora essa discussão, há vários pontos a serem considerados sobre o papel do entrevistador na estrutura de erros totais de dados de levantamento: 1. Além do seu papel nas taxas de resposta, os entrevistadores podem ser associados ao grau em que os respondentes fornecem respostas imprecisas em levantamentos e com a inconsistência das medidas. Evidências existentes claramente indicam que os entrevistadores são uma fonte significante de erros para vários tipos de medições. 2. O treinamento e a supervisão que os entrevistadores recebem pode significantemente aumentar a consistência dos entrevistadores, aumentando a confiabilidade das estimativas e reduzindo os vieses. Em particular, os entrevistadores que receberam um treinamento mínimo (por exemplo, menos de um dia) e entrevistadores que receberam um mínimo ou nenhum feedback sobre a qualidade de suas entrevistas são entrevistadores menos produtivos. 3. Procedimentos que estruturam o treinamento e a instrução de respondentes, que minimizam o feedback inapropriado do entrevistador e, em geral, controlam mais o comportamento deste podem reduzir os efeitos do entrevistador sobre os dados e aumentar a precisão total. 4. Uma melhor formulação de questões é a chave para uma entrevista melhor. 5. Uma opção de projeto que tem sido menos valorizada é o tamanho da média de atribuições do entrevistador. Embora o treinamento e o gerenciamento de custos possa ser menor se poucos entrevistadores são usados, os pesquisadores devem pagar o preço da confiabilidade dos dados por permitir que os entrevistadores individuais assumam um grande número de entrevistas. Reduzir a média de atribuições dos entrevistadores normalmente é uma forma rentável de melhorar a precisão das estimativas do levantamento. 6. Praticamente todos os relatos da confiabilidade das estimativas de levantamento ignoram os efeitos dos entrevistadores sobre os dados. Em parte, isso acontece porque os pesquisadores não podem separar os efeitos do entrevistador dos efeitos da amostragem quando aos entrevistadores são atribuídas amostras em uma base não aleatória, tais como comodidade ou proximidade geográfica. Os efeitos dos entrevistadores são uma fonte significativa de erros, contudo, para muitos itens na maioria dos levantamentos. Qualquer relato da precisão de uma estimativa de

176 Floyd J. Fowler Jr.

levantamento que ignore os efeitos do entrevistador é provável de ser uma subestimação dos erros de levantamento. Para concluir, o papel do entrevistador em contribuir para erros em levantamentos de dados não tem sido valorizado em geral. Embora a maioria dos pesquisadores de levantamento saiba que algum treinamento é necessário para os entrevistadores, os procedimentos para treinamento e supervisão variam muito e frequentemente não são adequados. Não é comum para os pesquisadores fazer qualquer esforço além de treinar e supervisionar para minimizar os efeitos do entrevistador. Todavia, esses aspectos do projeto de levantamento constituem algumas das formas mais rentáveis de aumentar a qualidade dos dados de levantamento. O impacto do entrevistador sobre as estimativas do levantamento merece um lugar de destaque que ainda não conquistou no projeto e no relato de estudos.

EXERCÍCIOS 1. Grave em áudio alguma encenação de entrevistas nas quais você e/ou outros usam um programa de entrevista padronizado (as questões desenvolvidas no Capítulo 6 ou um programa de outra fonte). Então ouça as gravações e avalie sistematicamente o desempenho do entrevistador observando em cada questão pelo menos os seguintes erros: sondou uma resposta inadequada de forma tendenciosa (diretiva); falhou ao sondar uma resposta que não estava clara; ou qualquer outro viés possível ou comportamento interpessoal não padronizado. As avaliações são particularmente instrutivas se feitas por um grupo, de forma que os erros do entrevistador possam ser discutidos. 2. Realize um exercício similar desempenhando o papel de um entrevistador tentando conquistar a cooperação de um respondente em potencial para uma entrevista.

Leituras Complementares Fowler, F. J., & Mangione, T. W. (1990). Standardized survey interviewing: Minimizing interviewer-related error. Newbury Park, CA: Sage.

Preparando os dados do levantamento para análise

9

As respostas de levantamentos geralmente são transformadas em arquivos de dados para a análise no computador. Este capítulo descreve opções e boas formas de uso para formatação de dados, desenvolvimento de código, procedimentos de codificação e gerenciamento, entrada de dados e procedimentos de checagem.

Assim que o dado for coletado pelo levantamento, não importando os métodos usados, eles quase que invariavelmente devem ser traduzidos em uma forma apropriada para uma analise feita no computador. Tratamos nesse capítulo sobre os processos que podem ser usados quando os dados são extraídos de questionários completos e de entrevistas de levantamento e colocados em uma forma que pode ser lida e processada por um computador. O processo de codificação e redução de dados envolve cinco fases separadas: • decidir o formato (a maneira como os dados serão organizados no arquivo); • decidir o código (as regras pelas quais as respostas dos entrevistados serão determinadas como válidas para serem processadas pela máquina); • codificar (o processo de colocar as respostas em categorias padrão) • entrada de dados (colocar os dados em uma forma legível para o computador); • limpeza de dados (fazer uma checagem final do arquivo de dados para exatidão, integralidade e consistência prévia para o início da análise).

178 Floyd J. Fowler Jr.

Existem dois tipos de erros que podem ocorrer durante o processo de resposta até o de entrada em um arquivo de dados. Primeiro, pode haver transcrições ou erros de entrada toda vez que alguém grava uma resposta ou um número. Segundo, pode haver decisões de codificação erradas, aplicações errôneas das regras para a equivalência entre as respostas e a significação do código. As opções para o controle de qualidade são ligadas à coleta particular de dados, à entrada de dados e aos procedimentos de codificação escolhidos. Essas opções e procedimentos alternativos de avaliação são discutidos a seguir.

FORMATANDO UM ARQUIVO DE DADOS O termo gravar usado aqui se refere a todos os dados relacionados a um único caso individual ou a uma entrevista. Uma gravação pode consistir uma ou mais linhas de dados. Embora convenções e regras variem com as instalações e os programas a ser usados, o que segue são algumas questões comuns: 1. Um identificador serial para cada entrevistado usualmente encontra-se na mesma localização em que cada linha de dados é feita para um questionamento particular ou uma entrevista, normalmente no início de uma gravação. Isso também ajuda na checagem pela integralidade do arquivo de dados para que tenham uma linha de número na mesma localização de cada linha de dados se houverem múltiplas linhas. Essas marcações preservam a ordem dos dados se eles forem misturados e são importantes para a checagem da integralidade dos arquivos. 2. A codificação, os dados de entrada e as programações de tarefas são facilitados se os dados forem codificados na ordem em que aparecem no instrumento de levantamento. Isso reduzirá os erros nesses níveis e representará um meio relativamente livre de custos de controle de qualidade. 3. Múltiplos códigos em um único campo ou coluna são aceitáveis em alguns programas de computador, mas não em outros. Seria provavelmente melhor se houvesse uma única entrada positiva em cada campo que contenha dados. Semelhantemente, alguns programas de computador interpretam espaços em branco como zeros, enquanto outros não interpretam dessa forma. Se for intencional o uso do zero, a melhor ideia seria codificar o zero em vez de deixar

Pesquisa de levantamento 179

o campo em branco; se a intenção for a de ter um código para cada item sem resposta, quando nenhuma resposta que possa ser codificada for fornecida, algum valor específico deve ser usado.

CONSTRUINDO UM CÓDIGO Um código é um conjunto de regras que traduzem as respostas obtidas em números e vice-versa (alguns sistemas aceitam valores alfabéticos, mas a maiorias dos códigos em levantamentos usa apenas códigos numéricos). Quais números correspondem a quais respostas são irrelevantes para o computador. É crucial confiar no código usado e nas apropriadas interpretações de dados, porém, o código tem que ser claro. Deve haver uma regra clara para qual número deve ser designado para cada uma das respostas (ou para outros resultados). Complementando, códigos podem ser designados para minimizar erros durante a codificação e a análise. O que segue são alguns princípios gerais: 1. Tenha certeza de não colocar codificações de dados para questões que não foram respondidas. Os códigos devem ser usados para diferenciar entre as seguintes alternativas: a) Em informações incorretas, onde a informação codificada não foi obtida como resultado do entrevistador imperfeito ou como consequência do desempenho do entrevistado. b) Em informações inaplicáveis, onde a informação não pode ser aplicada a um entrevistado particular devido a uma resposta anterior (por exemplo, o campo de dados para duração de hospitalização seria codificado como “não se aplica” para os não hospitalizados). c) Em respostas como “não sei”, que podem ser tratadas como incorretas ou como uma categoria distinta de falta de dados. d) Aos que se recusaram a responder, pode haver um código próprio, como no caso de alguns pesquisadores que preferem separar o código para diferenciar os entrevistados que se recusaram a responder a questão daqueles que não responderem devido há outras razões. Existem outros que simplesmente tratam a recusa a uma resposta como um resultado incorreto. 2. Seja consistente ao designar números; sempre use o mesmo código para as respostas “incorreto”, “inaplicável”, “não sei” e “ou-

180 Floyd J. Fowler Jr.

tras” respostas. Quanto mais consistente for o código, menores serão os erros dos codificadores e dos programadores. 3. Faça com que os códigos se ajustem aos números no mundo real quando possível. Códigos numerais exatos (por exemplo, codificar o atributo 45-anos como 45). Além disso, numere a lista de entrevistados na ordem em que eles aparecem no instrumento se não houver nenhuma forte razão para que seja feito o contrário. Quando as alternativas de respostas são fornecidas aos respondentes ou o formulário de resposta é altamente estruturado, o trabalho do construtor de código consiste simplesmente em designar números aos grupos de respostas e considerar os dados perdidos. Constantemente as alternativas de resposta são pré-numeradas no instrumento de levantamento. Quando é pedido aos entrevistados que respondam questões em suas próprias palavras, contudo, o alcance das respostas não será totalmente previsível antes do tempo. Para questões de respostas abertas, o desenvolvimento do código é um processo interativo pelo qual o pesquisador identifica as categorias que emergem das respostas, bem como impõe ordem nas respostas que são obtidas. A ideia é criar categorias em que grupos de respostas que são analiticamente similares e diferenciar entre respostas que são diferentes. Se a caracterização for muito fina, o resultado será de muitas categorias com apenas algumas entradas, as quais são difíceis de analisar e uma perda do esforço de codificação. Por outro lado, grandes categorias podem mascarar importantes diferenças. Um critério importante para se ter um bom código é o de que seja necessária uma designação não ambígua para cada resposta para um e apenas número de código. Outro critério é o de colocar as respostas em uma categoria analiticamente significativa. O quão bem se conhece o último padrão pode ser acesso apenas no contexto de um plano para a análise. Com o objetivo de construir esse código: • Tenha uma ideia clara sobre quais características de resposta são analiticamente significativas. Um bom primeiro passo é o de escrever brevemente os tipos de diferenças entre as respostas de cada questão que forem importantes do ponto de vista do pesquisador. • Tabule realmente algumas das respostas a partir de respostas anteriores. Então construa um rascunho do código para a classificação destas respostas.

Pesquisa de levantamento 181

• Tente o esquema de classificação em outros 10 ou 20 retornos; revise quando necessário. • Tenha um código separado para as “outras” respostas que não se enquadram claramente nas categorias, e os codificadores fazendo anotações quando gravarem essas respostas. As notas podem ser usadas para expandir e esclarecer o código ou para adicionar categorias necessárias, bem como para fornecer uma gravação de respostas incluída na categoria “outras”. • O mesmo tipo de nota deve ser usada para permitir que os codificadores comuniquem problemas ou ambiguidades nas regras de codificação ao pesquisador, que por sua vez deve refinar as definições e as políticas.

ABORDAGENS PARA CODIFICAÇÃO E ENTRADA DE DADOS Alguns levantamentos são feitos usando papel e lápis. As questões são respondidas pelos respondentes por checagem de campos ou escritas em respostas narrativas; os entrevistadores gravam as respostas que os respondentes fornecem de forma paralela. A codificação e a entrada de dados são os passos pelos quais essas respostas se tornam arquivos de dados numéricos eletrônicos. Gravação do entrevistador. Não há um modo prático de checar se os entrevistadores gravaram cada uma das respostas de um modo apurado ou não (por exemplo, conferido o campo correto ou clicando na resposta correta). É uma boa prática, entretanto, minimizar o grau em que cada en­tre­ vistador tem de tomar uma decisão de codificação. Se as alternativas de resposta não foram informadas, as respostas abertas são melhores gravadas textualmente para serem codificadas por codificadores treinados supervisionados, ao invés de fazer os entrevistadores classificarem as respostas narradas em categorias durante a entrevista (ver Houtkoop-Steenstra, 2000). Codificação. O controle de qualidade da codificação inclui os seguintes quesitos: • Codificadores em cadeia, incluindo ter todos os codificadores de inúmeros códigos do mesmo levantamento em retorno e então comparar os resultados para ter a certeza de que todos estão codificando da mesma maneira. • Ter outro codificador checando independentemente uma amostra do trabalhado que está sendo feito pelos outros codificado-

182 Floyd J. Fowler Jr.

res. Isso serve a dois propósitos: o de identificar os codificadores que estão tomando decisões errôneas de codificação, e a de identificar as regras de codificação que são ambíguas e que requerem esclarecimentos. • Um procedimento deve ser estabelecido para os codificadores escreverem notas sobre as respostas das quais eles não tem certeza de como codificar. Essas notas devem ser rotineiramente revisadas por um supervisor. Tais notas são uma extensão do sistema de checagem, ajudando os supervisores na identificação de códigos ou codificadores que necessitam de atenção e de regras de codificação que requeiram esclarecimentos. Entrada de dados. Respostas coletadas por meio de formulários escritos são mais bem inscritas em um arquivo de dados usando um de vários programas de entrada de dados disponíveis. Além de coletar entradas de forma organizada para que os dados possam ser analisados, esses programas podem fornecer um controle de qualidade tal qual: • permitir a entrada apenas de códigos legais em qualquer campo particular; • checar as entradas para ter certeza de que todas são consistentes com outra entrada de dados prévia; • assegurar automaticamente que as questões que causam incertezas sejam tratadas apropriadamente (isto é, quando uma série de questões é perguntada somente para um subgrupo de respondentes, instruções de contingência podem ser programadas para que os campos para questões a serem puladas possam ser preenchidos automaticamente com os códigos apropriados). Apesar das checagens não identificarem os erros nos dados de entrada que não violam as regras programadas, muitos dos erros na entrada de dados serão descobertos a tempo de serem corrigidos com facilidade. Além disso, na medida em que as checagens para entradas ilegais, dados inconsistentes e conformidade com as regras de contingência são feitas no momento da entrada dos dados, isso reduz a necessidade de um processo de limpeza de dados muito demorado e propenso a erros depois que a entrada de dados é completada. Muitas organizações de pesquisa rotineiramente têm todas as suas entradas de dados verificadas independentemente; isto é, outra pessoa

Pesquisa de levantamento 183

do grupo, sem possuir conhecimento do início da entrada de dados, entra com o mesmo dado, e qualquer discrepância pode ser flagrada e os erros corrigidos. Esse passo pode fazer o processo de entrada de dados praticamente livre de erros. Se a codificação e a entrada de dados são feita como primeiro passo, a verificação se torna um passo para o controle de qualidade em ambas. A maioria dos dados de levantamentos são coletados e armazenados em um único processo, conhecido como entrevista por telefone assistida por computador (computer-assisted telephone interviewing – CATI), entrevista pessoal assistida por computador (computer-assisted personal interviewing – CAPI), ou autoentrevista assistida por computador (computer-assisted self-interview – CASI), de forma que os entrevistadores ou os res­pon­dentes possam responder diretamente no computador em um formato previamente codificado. Papel e caneta não são usados. Coletas de dados por sites da internet são essencialmente iguais na perspectiva de uma entrada de dados como a autoentrevista assistida por computador. Para entrevistas por telefone, cada entrevistador tem um terminal na estação telefônica. As perguntas aparecem na tela, o entrevistador as lê, os entrevistados respondem e o entrevistador insere o valor numérico que corresponde à resposta no terminal. Essa entrada fará iniciar uma nova questão na tela do computador. Laptops ou outros tipos de computadores pessoais portáteis oferecem a mesma opção para entrevistas familiares. Para a autoentrevista assistida por computador ou quando levantamentos são feitos via internet, a experiência é exatamente a mesma exceto que os respondentes digitam suas próprias respostas em vez de terem um entrevistador como intermediário. Em todas essas aplicações, o computador pode ser programado para aceitar apenas entradas válidas e para checar a consistência de qualquer inserção que tenha uma entrada de dados prévia, para que assim aparentes inconsistências nas respostas possam ser tratadas no mesmo momento em que é feita a coleta dos dados. Outra tecnologia que não custa nada é a de que os entrevistados por telefone podem entrar com suas respostas diretamente em um arquivo de dados usando apenas característica de toque de tom de seus telefones. (Por exemplo, “Por favor, pressione 1 se a sua resposta for sim e 2 se sua resposta for não.”) Isso é chamado de autoentrevista áudiotelefônica assistida por computador (telephone-audio computer-assisted self-interviewing – T-A CASI). Questões podem ser feitas por uma voz de compu­tador pré-gravada, então nenhum entrevistador precisa estar envol­vido. O sistema de reconhecimento por voz pode ser usado no lu-

184 Floyd J. Fowler Jr.

gar da entrada de dados por toque de tom. Obviamente que essas abordagens se encaixam melhor quando as questões têm respostas fixas. Outro meio de inserir os dados de levantamento que não usam nem os entrevistadores nem o grupo envolvido com a entrada de dados é o escaneamento óptico. Existem duas maneiras que o escaneamento é usado para fazer a inserção dos dados. As alternativas de resposta podem ser por códigos de barras, de forma que a pessoa pode inserir os números passando o scanner sobre a barra ao lado da resposta escolhida. A vantagem dessa abordagem é que a pessoa sem habilidades de inserir dados pode fazê-lo, mas ainda é necessária uma pessoa para gerenciar a entrada de dados. O escaneamento óptico de folhas e de formulários especiais, tais como os usados para testes padronizados, tem sido viável há anos e não requer um grupo para entrada de dados. Como resultado, os custos da entrada de dados são bem baixos. O custo principal está na aquisição dos equipamentos e, se formulários com propósitos especiais forem necessários, na construção e na impressão deles. Historicamente, costumam ocorrer aspectos negativos no uso de escaneamento óptico em levantamentos: Os formulários não foram usados de um modo conveniente, e os pesquisadores de levantamentos querem questionários que sejam o mais fácil possível. Criar formulários com propósito especial para levantamentos relativamente pequenos é bastante oneroso. Uma significativa falta de dados pode ser o resultado, particularmente quando respondentes desmotivados ou não habilidosos descuidadamente marcam suas respostas.

O último problema pode ser administrado por checagens visuais dos itens faltantes para identificar as marcas que a máquina pode não conseguir ler. Entretanto, a promessa por um maior uso de scanner ópticos em levantamentos provavelmente reside na melhoria de tecnologia. Scanner modernos são muito mais tolerantes a marcações imperfeitas do que aqueles usados no passado. Eles também são utilizados com uma variedade de formatos, tornando-os mais adaptáveis para o uso em instrumentos amigáveis ao usuário. O uso de scanner só funciona bem com escolha fixa, com dados pré-codificados, embora progresso esteja sendo feito para que respostas escritas possam ser digitalizadas para codificação posterior. Enquanto o melhor equipamento é ainda comparativamente caro, os scanners prova-

Pesquisa de levantamento 185

velmente terão um papel cada vez maior na entrada de dados no futuro. Dillman e Miller (1998), Dillman (2007) e Blom e Lyberg (1998) fornecem bons resumos das atuais opções e limitações dos scanner. Para resumir, existem inúmeros atrativos para todos os sistemas de coleta de dados baseados em computador: 1. O computador pode seguir modelos de questões complexas que são difíceis tanto para os entrevistadores quanto para os respondentes em uma versão de levantamento feita em papel e caneta. 2. Informações retiradas de questões anteriores ou até mesmo entrevistas feitas anteriormente podem ser levadas em conta na formulação ou na sequência em que as questões foram aplicadas. 3. Se dados inconsistentes são fornecidos, eles são sinalizados e podem ser corrigidos imediatamente. 4. Os dados podem ser adicionados a um arquivo de leitura de dados para análise imediata. O lado mais negativo desses sistemas, quando comparados aos formulários de papel, pode vir a ser o tempo necessário para se programar um protocolo assistido por computador. O programa precisa ser livre de erros para que possa ser útil. Os entrevistadores não podem lidar com erros de programação durante as entrevistas, como eles podem com erros tipográficos em uma lista escrita, e, é claro, erros são ainda mais problemáticos quando os entrevistados inserem diretamente as suas respostas. Por esta razão deve ser disponibilizado um tempo considerável para testar e depurar antes que se comece a coleta de dados, ainda que simples instrumentos com poucas omissões irão apresentar menos problemas na detecção de erros de programação. Além disso, as entradas de dados não possuem um controle de qualidade. Pode haver nenhuma checagem em qualquer inserção de dados ou em qualquer decisão de codificação que os entrevistadores façam com um sistema assistido por computador, exceto em ter certeza de que as entradas feitas são códigos válidos e que são internamente consistentes. Apesar da proporção de erros no código ser relativamente baixa, a maior preocupação é a qualidade das decisões tomadas durante a codificação (Dielman e Couper, 1995). Devido às preocupações referentes à falta de controle nas decisões de código, quando questões que tenham respostas abertas são feitas, entrevistadores de entrevistas por telefone assistidas por computador e de entrevistas pessoais assistidas por computador costumam gravar as

186 Floyd J. Fowler Jr.

respostas textualmente no computador para codificação posterior. Nichols, Baker e Martin (1997) e especificamente o livro editado por Couper e colaboradores (1998) fornecem bons resumos das características, usos e experiências com sistemas assistidos por computador.

LIMPEZA DOS DADOS Uma vez que os entrevistadores codificaram e inseriram os dados em uma fita ou disco de arquivos, os dados precisam ser checados. A revisão mais importante é a de garantir que o arquivo de dados esteja completo e em ordem. Além disso, todo campo deve ser revisado para se ter certeza de que apenas códigos válidos estejam presentes. Mesmo que revisões houvessem ocorrido no período de inserção dos dados, é uma boa prática ter certeza de que tudo correu como o planejado colocando em operação um grupo que use todas as distribuições. Claro que, se os testes não foram feitos no momento da inserção dos dados, as revisões para procurar uma consistência interna devem ser feitas também. Quando forem encontrados erros, a fonte original deve ser consultada e correções devem ser feitas. (Note que isso normalmente não é possível em um sistema de entrevista por telefone assistida por computador, de entrevista pessoal assistida por computador ou de autoentrevista assistida por computador, pois nenhuma cópia das respostas é preservada.) Devido aos erros que acontecerão durante a correção dos processos, as revisões devem ser novamente executadas. Em grandes arquivos, esse processo de limpeza consome um bom tempo e tem uma grande propensão a erros. Na medida em que os erros podem ser descobertos na entrada de dados, a dependência de limpeza posterior é reduzida, o que é altamente desejável.

CODIFICAÇÃO E REDUÇÃO DE DADOS COMO FONTES DE ERROS Devido ao fato de que a codificação e a redução de dados podem ocorrer em lugares altamente supervisionados e podem ser checadas minuciosamente, elas têm a possibilidade de ser uma parte quase livre de erros dentro do processo de levantamento. Além disso, os custos para a codificação e redução de dados normalmente devem ser uma fração pequena do custo total do levantamento.

Pesquisa de levantamento 187

Quando lidamos com respostas fechadas, a estimativa de erros na entrada de dados deve ser menor do que 1%. O nível de erros nos dados finais será menor, é claro, quando aqueles números são inseridos diretamente e são 100% revisados, então o processo de transcrição em si é chegado. A confiança da codificação das respostas de opinião aberta irá variar com a qualidade das questões, com a qualidade do código e com o treinamento e supervisão de seus codificadores. Se um pesquisador tiver uma questão razoavelmente focada, e se as categorias do código forem conceitualmente claras, pode-se esperar que a codificação exceda 90% em confiabilidade; isto é, o codificador e o revisor de códigos irão discordar nas classificações feitas em menos de 1 a cada 10 respostas. Codificadores que não são treinados e revisores de código apropriadamente criam erros em taxas consideravelmente altas. Códigos que dependem que se tenha conhecimento de definições completas, tais como categorias ocupacionais, condições de saúde ou definições legais específicas de crimes podem justificar atenção especial no treinamento dos codificadores e na revisão de códigos. O processo de inserção de dados pode ser quase livre de erros se isso for verificado. Apesar de alguns operadores individuais serem capazes de inserir dados a um considerável nível de exatidão, com taxas de erro inferiores a 1 em 1000 entradas, não se pode rotineiramente afirmar que a entrada de dados irá ocorrer no mesmo nível de precisão. A escolha da codificação e do processo de inserções dos dados será frequentemente feita por outras razões além da minimização dos erros de codificação e da entrada de dados. A velocidade da construção do arquivo e a oportunidade de apanhar erros durante a entrevista estão entre os recursos dos sistemas de entrevista por telefone assistida por computador e de entrevista pessoal assistida por computador, assim como são alguns dos pontos positivos do envolvimento de computadores em especificar a formulação e a ordem das questões. Puramente da perspectiva de redução dos erros, entretanto, o processo de dois passos, pelo qual os codificadores inserem os dados e seus trabalhos diretamente (codificação e entrada de dados) é 100% revisado, podendo ser ideal quando um levantamento envolve um número significante de decisões de codificação. Nenhum outro sistema fornece uma revisão independente sobre todas as decisões de codificação, bem como sobre todas as entradas de dados.

10

Analisando os dados do levantamento

Assim que os dados forem coletados e o arquivo de dados houver sido criado, o próximo passo será o de analisar esses dados para que sejam feitas estimativas estatísticas e para que se possa chegar a algumas conclusões. Esse capítulo foi feito para familiarizar os leitores com quatro questões analíticas que a maioria dos usuários de dados de levantamento tem de resolver para que a análise dos dados possa ser feita: ajustar a ausência de respostas ao levantamento, ajustar os itens que não foram respondidos, fazer ponderações para ajustar as diferentes probabilidades de seleção e calcular os efeitos do planejamento da amostra em cálculos estatísticos.

AJUSTE PARA AMOSTRAS SEM RESPOSTAS E PARA AMOSTRAS COM DEFICIÊNCIAS NA ESTRUTURA Praticamente todo levantamento falha ao coletar dados de todas ou sobre todas as amostras individuais. Também não é incomum para a estrutura de amostra utilizada incluir imperfeitamente o total da população que o pesquisador queria descrever. O que importa aqui, claramente, é o grau em que aqueles que não responderam ou que nunca tiveram a chance de ser selecionados são diferentes daqueles que respondem com relação às variáveis que os levantamentos feitos tendem a estimar. Se há informação disponível sobre os valores dos não respondentes, então correções nas estimativas do levantamento podem ser feitas diretamente. Contudo, esse é raramente o caso, pois haverá uma pequena necessidade de conduzir um levantamento que tenha um propósito especial se a informação já estava disponível através de outras fontes.

Pesquisa de levantamento 189

Uma situação mais comum é a de que algumas informações estão disponíveis sobre os não respondentes, mas não sobre as variáveis-chave que são estimadas. Quando uma amostra é extraída de uma lista, às vezes a informação é disponível para todos os indivíduos que foram selecionados antes do levantamento – frequentemente características demográficas como idade, gênero e talvez raça. Para amostras retiradas de populações generalizadas, pode haver informações disponíveis sobre toda a população. A partir desses dados, pode-se determinar se certos grupos são bem ou mal representados na amostragem de pessoas das quais foram coletados os dados. Se for concluído que certos subgrupos desta população não foram propriamente representados no conjunto dos dados, uma questão óbvia é se as estimativas podem ser ou não melhoradas pelo o ajustamento da amostra de dados, fazendo-as parecer mais com a população total. Exemplo: Suponha que a população é conhecida por incluir números aproximadamente iguais de homens e mulheres, mas a amostra dos que responderam às perguntas inclui um total de 60% de mulheres. As mulheres responderam ao levantamento em um nível mais alto do que os homens; consequentemente, os homens são subrepresentados nessas respostas. Pode-se multiplicar todas as respostas por 1,5, igualando as respostas de homens e mulheres, como seria se eles houvessem respondido pela mesma taxa e a amostra refletisse perfeitamente a população. Considere agora um levantamento que abranja 400 entrevistados, sendo 240 do sexo feminino e 160 do sexo masculino. Suponhamos que cada resposta dos entrevistados masculinos pesa 1,5, enquanto as respostas das mulheres pesam 1,0. Essa abordagem daria aos 160 homens (1,5 x 160 = 240) o mesmo peso das 240 mulheres. Sendo assim, na análise, a representação das respostas dos homens e das mulheres seria a mesma. Por que alguém usaria esse método? Suponhamos que um dos propósitos desse levantamento seja o de estimar quantos drinques os entrevistados tomam quando ingerem bebidas alcoólicas. Suponhamos que as mulheres entrevistadas reportem que ingerem uma media de 2 drinques nos dias em que usufruem de álcool, enquanto os homens digam que em média bebem 4 drinques. Se os dados não forem pesados, a estimativa da média de drinques tomados no total seria calculada dessa forma: 240 x 2 = 480, o número total de drinques ingeridos pelas mulheres 160 x 4 = 640, o número total de drinques ingeridos pelos homens

190 Floyd J. Fowler Jr.

480 + 640 = 1.120, o número total de drinques ingeridos por ambos os sexos 1.120 drinques divididos por 400, o número de entrevistados = 2,8, o número médio de drinques ingeridos por aqueles da amostra.

ENTRETANTO Se pesássemos as respostas masculinas para que elas possam ser representadas na amostra de dados de um mesmo modo como quando estão na população, teríamos 1,5 x 160 x 4 = 960, o número de drinques ingeridos pelos homens (que são contabilizados como 240 dos respondentes para ajustar os 80 homens que não responderam, mas que poderiam se tivessem a mesma média de resposta que a das mulheres) 480 + 960 drinques = 1.440, o número de drinques ingeridos pelos homens e pelas mulheres (com as respostas masculinas pesando 1,5) 1.440 drinques divididos pelos 480 entrevistados (as mulheres mais o peso de 1,5 de homens) = 3,0, a média estimada de drinques tomados por toda a população

Ao pesar a análise para que seja feito um ajuste devido ao fato de que as mulheres responderam o levantamento em uma taxa maior que a dos homens, mudamos a estimativa de 2,8 para 3,0, e a maioria das pessoas provavelmente concluiria que uma estimativa maior é mais precisa. Essa abordagem geral pode ser ampliada para ajustar diferentes numerações entre as características da amostra de resposta e das características da população que se queira generalizar nossas estatísticas. Conforme cresce o número de variáveis, os ajustes podem tornar-se complicados, mas computadores podem lidar com essas complexidades. Curiosamente, nenhum analista recomenda o uso de pesagens pa­ ra o ajuste das diferenças encontradas entre características conhecidas da amostra populacional e a amostra de resposta. A razão disso é uma suposição importante que é quase sempre incontestável: a de que os que respondem de um subgrupo específico são quase os mesmos que não respondem sobre as variáveis que o levantamento está tentando estimar. No exemplo anterior, a hipótese é a de que os homens que não responderam teriam reportado um número semelhante de drinques tomados aos que responderam a questão. E se os homens que não responderam a questão fossem desproporcionalmente contrários a beber álcool? E se, na verdade, os homens que não responderam não só bebessem menos que os ho-

Pesquisa de levantamento 191

mens que responderam, mas, naturalmente, bebessem menos que as mulheres que haviam respondido. Nesse caso, o ajuste feito àqueles que não responderam teria piorado a estimativa, e não melhorado. Muitas organizações de pesquisa rotineiramente ajustam suas amostras de dados por ponderação, para fazer que as composições demográficas (e algumas vezes outras) correspondam às características conhecidas da população à qual se tenta descrever. Na medida em que não há associação entre as características que estão sendo ajustadas e as variáveis que estão sendo estimadas, essa ponderação não terá efeito sobre o resultado das estimativas. Visto que há relações entre as variáveis que estão sendo estimadas e as características que estão sendo ajustadas, haverá potencialmente uma melhora nas estimativas, assumindo que os que não responderam ao grupo que foi ajustado tenham respostas respectivamente similares aos entrevistados dos quais foram estimadas as variáveis. Entretanto, se os indivíduos que não responderam são muito diferentes, então esses ajustes podem fazer com que as estimativas se tornem piores do que se os dados de amostra não houvessem sido ponderados. A não ser que se tenha o conhecimento sobre essas relações, não há uma resposta clara sobre se ponderar ou não para ajustar aos que não responderam de fato reduz o erro nos levantamentos. Ponderar uma amostra para fazê-la espelhar uma característica demográfica conhecida da população como um todo, por si só não proporciona uma certeza real de que a precisão de outras estimativas, baseadas na amostra, tenha sido melhorada.

LIDANDO COM A AUSÊNCIA DE RESPOSTA AO ITEM Além do fato de que alguns indivíduos selecionados para participar da amostra não fornecem sequer um dado, todos os levantamentos têm de lidar essencialmente com o fato de que os que respondem ao levantamento não fornecem respostas codificáveis a todas as questões. Existem duas opções: pode-se deixar aqueles respondentes que não forneceram informações fora da análise, ou pode-se tentar estimar as respostas que eles poderiam ter dado caso as houvessem fornecido. Para a maioria dos levantamentos bem planejados, as taxas de itens sem respostas (itens para os quais não há valor) são tipicamente baixas. Quando o item não respondido for menor que, digamos, 5%, o potencial para que essa falta de resposta distorça as estimativas é mínimo. Se um sentindo ou outra estatística é relatado baseado apenas na-

192 Floyd J. Fowler Jr.

queles que responderam um item, assumisse essencialmente que o resultado dos itens sem resposta são os mesmos daqueles respondidos. As respostas verdadeiras dos que não responderam terão de ser muito divergentes daqueles que responderam para afetar as distribuições quando elas são menores que 5%. Conforme aumenta o índice de itens não respondidos, também aumenta o potencial para que isso afete as estimativas. Um jeito de deixar os itens que não forem respondidos fora da análise, para não produzirem nenhum efeito nos resultados, é reduzindo o número de observação sobre as quais são baseadas as análises de correlação ou regressão. Por essa razão, muitos pacotes analíticos irão substituir a média de respostas em toda a amostra por uma não resposta, com a pretensão de incluir todos os respondentes na análise. Uma abordagem muito mais complicada e sofisticada, algumas vezes intitulada por “imputação”, é a construção de um modelo que prediga as respostas mais prováveis para cada um dos respondentes que não responderam a uma questão. Para que isso seja feito, o pesquisador usa os dados daqueles que responderam uma questão para identificar outras questões do levantamento que são boas para fazer a predição da questão como problema. A equação de predição que resulta é então usada para assinalar um valor àqueles que não responderam as questões. Essa abordagem apenas melhora os dados na medida em que o modelo é um bom prognosticador de respostas; é obviamente mais complicado do que deixar de fora os itens que não foram respondidos, e não faz muito efeito nos resultados analíticos quando os itens sem resposta são poucos. Por outro lado, quando os itens de respostas são altos, há um potencial considerável para aumentar as estimativas por meio da imputação. Não é incomum descobrir que diferentes modelos de imputação produzam diferentes resultados. Normalmente é melhor comparar os resultados de vários modelos diferentes. Se eles produzirem resultados semelhantes, então se pode reassegurar que as estimativas imputadas provavelmente são melhorias sobre afirmar que a não resposta ao item teria fornecido respostas “médias”. Se os modelos produzirem resultados bem diferentes, é importante entender as razões pelas quais as diferenças ocorreram antes de decidir pelo o uso de uma abordagem particular para a imputação. Como qualquer procedimento de ajuste, a imputação tem o potencial de ser mal usada e de criar mais erros do que reduzi-los. Porém, quando os modelos são bons e os itens não respondidos são altos, imputações apropriadamente feitas para dados faltantes podem ser de grande contribuição para a análise de dados.

Pesquisa de levantamento 193

AJUSTES PARA DIFERENTES PROBABILIDADES DE SELEÇÃO Como descrito no Capítulo 3, muitos projetos de amostra pedem por uma seleção de certos indivíduos com índices mais altos do que outros. Uma das razões mais comuns é a política geral de selecionar apenas um respondente por família. Se as casas de família forem selecionadas e uma pessoa é solicitada a responder, isso significa que adultos que vivem em uma família que contém três adultos serão o respondente apenas uma vez em três, enquanto adultos que vivem em casas de família que tenham somente um adulto sempre serão selecionado para ser o respondente. Desta maneira o último exemplo terá três vezes mais chance de ser escolhido do que o primeiro. Nesses casos, os amostradores propositalmente tentam amostrar alguns subgrupos de uma população em um nível mais alto que o índice para aumentar a habilidade de fazer estimativas confiáveis das características daquele subgrupo. Quando há diferenças nas probabilidades de seleção, é sempre apropriado pesar as respostas para que o peso vezes a probabilidade de seleção seja o mesmo para todos os respondentes. Exemplo: Em uma amostra de famílias, é escolhido um adulto por casa de família para ser o respondente. Para que seja feito um ajustamento das diferenças na probabilidade de seleção, todas as respostas são pesadas pelo número de adultos elegíveis em cada família. Deste modo: Se houver um adulto, a probabilidade de seleção dentro da família será de 1/1 e o peso = 1 Se houver dois adultos, a probabilidade seleção dentro da família será de 1/2 e o peso = 2 Se houver três adultos, a probabilidade seleção dentro da família será de 1/3 e o peso = 3 Se houver quatro adultos, a probabilidade seleção dentro da família será de 1/4 e o peso = 4

É fácil de ver que a probabilidade de seleção vezes o peso é uma constante = 1, não importa quantos adultos haja na casa. Essa mesma abordagem pode ser aplicada em qualquer situação em que específicos subgrupos identificáveis de uma população possuam diferentes probabilidades de seleção. Ao fazer a pesagem para que a probabilidade de seleção vezes o peso seja o mesmo a todos os respondentes, esses subgrupos serão representados na amostra de dados de modo

194 Floyd J. Fowler Jr.

que possam espelhar sua representação na população da qual a amostragem foi extraída.

CALCULANDO ERROS DE AMOSTRAGEM Uma das razões mais fortes para o uso do método de amostragem por probabilidade é que ele fornece os fundamentos para estimar os erros de amostragem e para calcular outras estatísticas referentes à provável relação entre amostras de estimativas e as características da população. Se uma amostra foi extraída como uma amostra aleatória simples, sem nenhum agrupamento, sem estratificação e sem uma igualdade na probabilidade de seleção para todos os membros da amostra, o cálculo de erros padrão é completamente honesto e pode ser feito usando quase qualquer pacote estatístico ou até mesmo usando as fórmulas e tabelas do Capítulo 3. Em uma situação mais recorrente, quando algum desvio da amostragem aleatória simples é aplicado e algum tipo de pesagem é requerido como parte da análise, a análise estatística precisa levar em conta essas características do planejamento. Se um programa é usado sem um apropriado ajustamento para o projeto, as estimativas de erros de amostragem e de cálculos dos testes estatísticos estarão erradas. Especificamente, se os pesos forem usados para ajustar as diferentes probabilidades de seleção para que seja feita a correção da subrepresentações de algum grupo ou grupos nos dados, o número de observações sobre as quais os cálculos são baseados é provavelmente distorcido. Testes estatísticos dependem criticamente da estimativa do número efetivo de observações que estão sendo analisadas. O agrupamento em uma amostra normalmente aumenta as estimativas de erros de amostragem, pois os agrupamentos provavelmente reduzem o número “efetivo” de observações. A estratificação de uma amostra usualmente reduz as estimativas de erros padrão, pois a estratificação provavelmente diminui variações não controláveis na composição da amostra. O grande desafio é que os efeitos da ponderação, do agrupamento e da estratificação não são os mesmos para todas as variáveis. Dependendo de como os valores de uma variável são de fato distribuídos com relação aos agrupamentos, às camada e aos pesos que estão sendo usados, os efeitos dos ajustes apropriados irão diferir. Felizmente, existem vários pacotes extraordinários de estatística disponíveis com a possibilidade de fazer os ajustes apropriados que per-

Pesquisa de levantamento 195

mitam refletir as realidades do planejamento da amostra. Está além do alcance deste livro explicar os detalhes de como esses cálculos são feitos. Entretanto, a tarefa do livro é deixar claro aos leitores que os detalhes de um planejamento de amostra e a ponderação necessária realmente afetam os testes estatísticos, e que estratégias apropriadas devem ser incorporadas na análise a fim de calcular corretamente os erros padrão e as significâncias estatísticas.

CONCLUSÃO A maior parte deste livro visa a detalhar como devem ser coletados os dados de levantamentos de uma forma que maximize o seu valor para abordar as questões de análise. Está além do alcance deste livro cobrir as técnicas analíticas e os problemas estatísticos relacionados. Os problemas abordados neste capítulo são diretamente relacionados ao planejamento e à execução de um levantamento. Como se faz inevitável a escolha difícil sobre como os dados serão coletados, é importante que seja pensando em como os dados irão ser analisados e planejar ajustes apropriados na análise para as decisões do projeto que são feitas e a praticamente inevitável imperfeição nos dados que são coletados.

Leituras Complementares Groves, R. M., Fowler, F. J., Couper, M. F., Lepkowski, J. M., Singer, E., & Tourangeau, R. (2004). Survey methodology (Chap. 10). New York: John Wiley.

11

Problemas éticos em pesquisas de levantamento

Como toda pesquisa social, os levantamentos devem ser conduzidos de um modo planejado para evitar riscos aos participantes, aos respondentes e aos entrevistadores. Esse capítulo resume os procedimentos para o gerenciamento ético de levantamentos.

Como toda pesquisa que envolve sujeitos humanos, os pesquisadores de levantamentos precisam estar atentos ao modo ético com que a pesquisa está sendo conduzida. Uma boa diretriz de procedimento é que os pesquisadores devem ter certeza de que nenhum indivíduo sofra nenhum tipo de consequência adversa como resultado do levantamento. Além disso, na medida em que isso é factível, um bom pesquisador também deverá estar atento em maximizar resultados positivos obtidos no processo de pesquisa. A base para a maioria das diretrizes que protegem os seres humanos participantes de pesquisas nos Estados Unidos é o Belmont Report (National Commission for the Protection of Human Subjects, 1979). Quase todas as universidades e a maioria das organizações nos Estados Unidos que conduzem pesquisas financiadas pelo governo federal têm um Institutional Review Board (IRB) que é responsável por inspecionar pesquisas que envolvam seres humanos. Quando se propõe a pesquisa, O principal investigator deve submeter o protocolo proposto para uma revisão do IRB antes que comessem as coletas de dados. As revisões de IRB são feitas para proteger os indivíduos selecionados, os pesquisadores e as instituições. Em geral, a maior preocupação do conselho é a respeito das pesquisas que envolvam algum tipo de risco aos participantes. “Atividades de pesquisa em que o único envolvimento

Pesquisa de levantamento 197

de seres humanos será... testes educacionais, procedimentos de levantamento ou observação de comportamento público... [são] liberados” a não ser que: 1. a informação seja registrada de tal forma que os sujeitos possam ser identificados... e 2. qualquer revelação das respostas dos sujeitos... que possam razoavelmente pôr os sujeitos em risco quanto a suas responsabilidades criminais ou civis ou que cause algum dano a sua condição financeira, empregatícia ou à sua reputação. (Department of Health and Human Services, 2005, p. 5) Sob essas diretrizes, muitos, se não a maioria, dos levantamentos são tecnicamente eximidos. Isso significa que não existe nenhum fundamento para que o IRB tenha de inspecionar os detalhes da pesquisa ou que tenha que recomendar mudanças. Entretanto, pelo fato de envolverem sujeitos, o material usado deve ser fornecido ao IRB para que alguém (normalmente o presidente) possa determinar que o protocolo está de acordo com os padrões. Se o levantamento envolve algum nível de risco potencial, ou se populações vulneráveis estão envolvidas, cabe ao IRB a explícita responsabilidade de revisar todos os procedimentos para se ter a certeza de que os seres humanos estão bem protegidos. Nesse texto, não é possível tratar de todos os problemas que possam estar envolvidos em estudos de populações especiais. Pesquisa sobre crianças, sobre pessoas mentalmente incapacitadas, mentalmente doentes, prisioneiros e outras populações especiais podem necessitar de atenção, para as quais os pesquisadores talvez consigam obter ajuda em outro lugar. Sieber (1992) nos oferece muito mais detalhes de como tratar a coleta de dados de um modo ético, assim como faz um relatório de 2003 da The National Academy of Sciences (Citro, Ilgen e Marret, 2003). Entretanto, a seguir encontram-se alguns princípios éticos sobre como fazer levantamento de populações gerais com o qual todo pesquisador deve estar familiarizado.

INFORMANDO OS RESPONDENTES O processo de pesquisa de levantamento geralmente envolve a conquista da cooperação voluntária. É uma premissa básica da pesquisa ética de levantamentos que os respondentes devem ser informados sobre

198 Floyd J. Fowler Jr.

o que eles estão se voluntariando para fazer. Os respondentes devem ter conhecimento das seguintes informações antes de ser solicitados a responder às questões: 1. O nome da organização que está conduzindo a pesquisa. Se um entrevistador é envolvido, o respondente também deve saber o nome do entrevistador. 2. O patrocinador, ou seja, quem está dando suporte ou financiando a pesquisa. 3. Uma razoavelmente precisa, porém breve, descrição dos propósitos da pesquisa. A pesquisa está tentando aumentar o conhecimento geral ou básico, ou se há algum planejamento ou processo de ação que a pesquisa é projetada para assistir? Quais questões ou tópicos a pesquisa foi planejada para abranger? De quais questões a pesquisa deve tratar? 4. A indicação exata da extensão em que as respostas são protegidas no que diz respeito à confidencialidade. Se há riscos ou limites na confidencialidade que é oferecida, eles devem ser claras. 5. A garantia de que a cooperação é voluntária e que não haverá nenhuma consequência negativa àqueles que decidirem não participar. 6. A garantia de que os respondentes podem escolher pular qualquer questão que não queiram responder. Essas informações podem ser enviadas com antecedência ou podem ser diretamente entregues aos respondentes, se o planejamento permitir. Independente de o que mais seja feito, os entrevistadores (se são usados) devem ser solicitados a revisar os pontos mencionados anteriormente com os respondentes antes de começar uma entrevista. Finalmente, talvez uma palavra seja apropriada sobre formulários de consentimento assinados. Em geral, os respondentes de amostras de levantamento não precisam assinar formulários antes de completar a entrevista. Obviamente, não é possível obter assinaturas para levantamentos via o telefone. Mesmo em entrevistas pessoais para levantamentos, con­tudo, muitos comitês sérios de revisão acham que formulários de con­sentimento assinados não são necessários. Na maioria dos casos, os riscos envolvidos na participação em levantamentos são relativamente mínimos e também sob controle do respondente. Além disso, os respondentes têm a oportunidade de re-exercitar a sua decisão de participar de um levantamento cada vez que uma nova questão é feita.

Pesquisa de levantamento 199

Existem algumas exceções. Um formulário assinado fornece evidências de que os pesquisadores e suas instituições de fato expuseram os respondentes a certos fatos-chave e que os respondentes concordaram com os termos da pesquisa. Os pesquisadores e o Institutional Review Boards (IRBs) são os mais prováveis a solicitar uma documentação escrita comprovando que os respondentes foram completamente informados quando 1. Informação particularmente sensível é coletada que poderia, na verdade, embaraçar ou prejudicar alguém caso se torne pública. 2. Que existem limites importantes para a confidencialidade dos dados. 3. Pode haver falta de julgamento ou poder da população para declinar da participação (por exemplo, crianças, prisioneiros, empregados, estudantes). 4. Acesso a informações previamente coletadas para algum propósito que não seja o de pesquisa, tais como registros médicos, está sendo solicitado em complementação às respostas do levantamento. Esses casos são uma exceção, e não a regra. A maioria das entrevistas de levantamento não requerem formulários de concessão assinados – somente protocolos que assegurem que os respondentes foram informados antes de concordar com suas participações. Novamente, Sieber (1992) discute bem sobre os formulários de concessão.

PROTEGENDO OS RESPONDENTES Se uma amostra é extraída de uma lista, tais como dos membros de um plano de saúde ou de empregados de uma organização, um princípio extremamente básico de pesquisa ética é que as vidas dos membros de amostras não devem ser desfavoravelmente afetadas de nenhuma maneira, mesmo se eles aceitem ou não participar. Para essa finalidade, o fato dos indivíduos responderem ou não, não deve ser comunicado com ninguém fora do time de pesquisa, e, quando isso potencialmente se tornar um problema, as pessoas que participam da amostra devem ter a garantia de que não haverá resultados adversos (por exemplo, em seus benefícios de saúde, serviços, situações trabalhistas ou de classificação) se eles optarem por não participar. Além disso, a principal dificuldade com relação à proteção dos respondentes é o modo como a informação que eles fornecem será tratada. Manter a confidencialidade em geral é mais fácil quando as respostas são

200 Floyd J. Fowler Jr.

inseridas diretamente no computador do que quando o questionário é feito através de uma folha ou por uma entrevista. Alguns procedimentos-padrão que cuidadosamente os pesquisadores de levantamento usam para minimizar as chances de uma quebra na confidencialidade são os seguintes: • Todas as pessoas que têm acesso aos dados ou a um papel na coleta de dados são comprometidas a escrever confidencialmente. • As ligações entre as respostas e os identificadores são minimizadas. Nomes, e-mails ou endereços postais e números telefônicos são os identificadores mais comuns. Frequentemente nomes não são necessários com o propósito de executar um levantamento adequado; quando eles podem ser evitados, muitas das organizações de levantamento não usam nomes em nenhuma parte do processo de pesquisa. • Quando houver identificadores específicos tais como nomes, endereços ou números de telefones, eles são colocados em um formato em que possam ser lidos separadamente das respostas do levantamento. Os identificadores (que não sejam números codificados de id) devem ser fisicamente removidos de todos os instrumentos existentes no levantamento o mais cedo possível. • Se nomes ou endereços foram usados na identificação da amostra ou na coleta de dados, são deletados ou destruídos assim que não forem mais necessários. • Retornos de levantamentos completados não podem ser acessíveis aos que não forem membros do projeto. Se eles estiverem em formato de papel, é preferível mantê-los em arquivos fechados. • Indivíduos que puderem identificar os respondentes por meio dos perfis das respostas (por exemplo, supervisores no caso de levantamentos de empregados ou professores no caso de levantamentos de alunos) não são permitidos a ver as respostas do levantamento. • Os arquivos de dados terão algum tipo de número de ID para cada respondente. A ligação entre o número de ID e os endereços das amostras ou os identificadores não são disponíveis aos usuários gerais dos arquivos de dados. • Durante a análise, os pesquisadores são muito cuidadosos na apresentação dos dados para pequenos grupos de pessoas que talvez possam ser identificáveis. • Quando um projeto é completado, ou quando o uso de instrumentos de levantamento houver terminado, é de responsabilidade do pesquisador monitorar a destruição dos dados completos

Pesquisa de levantamento 201

dos instrumentos de levantamento da pesquisa, ou garantir que eles permaneçam armazenados em um lugar seguro. Obviamente, fazer um desvio desses procedimentos particulares pode ser necessário para um dado projeto. A abordagem geral e as preocupações refletidas nesse grupo de procedimentos, contudo, devem exemplificar quaisquer responsabilidades nos projetos de pesquisa de levantamento. Um limite provavelmente baixo, porém importante, quanto à promessa de confidencialidade nos levantamentos de dados é que questionários e gravações podem ser intimados por uma corte. Os pesquisadores podem se proteger deste acordo de proteção à confidencialidade de vários modos. Se a pesquisa envolve especialmente um material sensível, tal como drogas ou estudos na justiça criminal que talvez possam ser vinculados, os pesquisadores podem fazer uma petição às agências federais ou estaduais em busca de um certificado de confidencialidade que os proteja de futuras intimações. Alternativamente, pesquisadores preocupados podem destruir esse vínculo antes que qualquer intimação seja emitida, entre os identificadores e os responsáveis, para que assim seja impossível a associação dos respondentes às suas respostas. Se manter o vínculo for essencial, como no caso de estudos longitudinais que requerem o contato repetitivo com os respondentes, os pesquisadores são conhecidos por enviar os arquivos individuais conectivos e as respostas para outro país, fora da jurisdição das cortes dos Estados Unidos. Novamente Sieber (1992) é uma boa fonte para a obtenção de mais detalhes sobre esse assunto.

BENEFÍCIOS AOS RESPONDENTES Na maioria dos levantamentos, os principais benefícios das entrevistas são intrínsecos: apreciar o processo de entrevista ou sentir que contribuiu de alguma forma, que foi um esforço que tenha valido a pena. Benefícios mais diretos, como pagamentos, prêmios ou serviços às vezes são fornecidos. Quando serviços são oferecidos, deve atribuir-se certa atenção para que eles sejam equipados de uma forma que não comprometa a promessa de confidencialidade das respostas do levantamento. Também, conforme o uso de incentivos em dinheiro para participar torne-se mais comum, as preocupações vêm crescendo de que a quantidade de dinheiro oferecido não deva ser tão grande que isso se torne irracionalmente difícil para alguns respondentes, particularmente aqueles com problemas financeiros, dizerem “não”. Os benefícios não devem ser tão

202 Floyd J. Fowler Jr.

grandes a ponto de enfraquecer o princípio de que a participação em pesquisas é um ato voluntário. Além disso, o ponto-chave da responsabilidade ética é ter certeza de não exagerar em benefícios e de entregar os benefícios prometidos. Em particular, o pesquisador que atrai as cooperações pela descrição das utilidades da pesquisa assume um comprometimento de assegurar apropriadas análises e a disseminação dos dados.

RESPONSABILIDADES ÉTICAS DOS ENTREVISTADORES Além das obrigações de qualquer empregador, o pesquisador tem a responsabilidade para com os entrevistadores em duas áreas. Primeiro, é dada ao entrevistador a responsabilidade de apresentar a pesquisa aos respondentes. É obrigação do pesquisador ter certeza de que todas as informações foram precisamente dadas aos entrevistadores. O pesquisador não pode pôr o entrevistador em uma posição em que ele pareça ser enganoso e que dê a impressão errada ou imprecisa. Segundo, o pesquisador deve lidar com a segurança do entrevistador. Devido ao fato de que a maioria das amostras de famílias incluirá todas as áreas, os entrevistadores talvez tenham de visitar vizinhanças em que não se sintam seguros. As seguintes diretrizes de procedimento talvez possam ser úteis: • Os entrevistadores podem ser convidados a visitar os endereços da amostragem em um carro antes de decidir que não se sentem seguros. Os bairros são heterogêneos e variam de quadra em quadra. • Os entrevistadores devem ser explicitamente informados de que não é uma exigência do trabalho ir a lugares no qual se sintam inseguros. Algumas opções incluem evitar chamadas noturnas, usar fins de semana para entrevistar pessoas empregadas e entrevistar juntamente com outro entrevistador ou um acompanhante pago. Uma boa abordagem seria solicitar aos entrevistadores a trabalharem com o supervisor de campo para descobrirem como conduzir entrevistas de forma que se sintam seguros. • Os entrevistadores devem ser informados sobre os procedimentos sensatos para reduzir os riscos de serem vítimas. Felizmente, a vitimização é algo raro; o maior problema é o medo. Na nossa sociedade, entretanto, crimes acontecem. Tanto pesquisadores quando entrevistadores precisam sentir que os entrevistadores foram in-

Pesquisa de levantamento 203

formados e que não foram pressionados a ir a nenhum lugar ou a fazer nada que pudesse aumentar a real probabilidade de que eles possam ser vítimas de um crime.

CONCLUSÃO Os problemas éticos em pesquisas de levantamento não são diferentes daqueles das ciências sociais em geral. Os reais riscos e os potenciais custos de ser um respondente (ou um entrevistador) na maioria dos levantamentos são mínimos. Alguns passos básicos são necessários na redução de quaisquer riscos que ocorram tanto para os participantes quanto para a imagem dos pesquisadores das ciências sociais. Os passos específicos delineados anteriormente não são de nenhum modo conclusivos. A abordagem fundamental de lidar com pessoas de um modo honesto, com uma atenção continuada aos detalhes que irão maximizar os benefícios e evitar os custos, deve ser uma parte integral de qualquer esforço nas pesquisas de levantamento.

Leituras Complementares Citro, C., Ilgen, D., & Marrett, C. (2003). Protecting participants and facilitating social and behavioral sciences research. Washington, DC: National Academy Press. Groves, R. M., Fowler, F. J., Couper, M. P., Lepkowski, J. M., Singer, E., & Tourangeau, R. (2004). Survey methodology (Chap. 11). New York: John Wiley. Sieber, J. (1992). Planning ethically responsible research: Developing an effective protocol. Newbury Park, CA: Sage.

12

Fornecendo informações sobre os métodos de levantamento

Ao reportar estimativas de levantamento, os pesquisadores têm a obrigação científica de fornecer uma descrição completa de detalhes dos procedimentos usados que poderiam afetar tais estimativas. Em acréscimo, eles devem realizar e reportar os cálculos que foram relevantes à precisão e à veracidade de seus números. Esse capítulo discute o material que deve ser incluído em uma completa descrição metodológica de um levantamento.

Existem algumas decisões metodológicas que um pesquisador pode tomar e que podem ser categoricamente rotuladas como erradas. Existem algumas situações durante a pesquisa nas quais qualquer um dos compromissos discutidos nesse livro podem ser apropriados e rentáveis para coletar informações. Embora as decisões feitas no planejamento da pesquisa não possam ser criticadas fora de contexto, a falha em descrever completamente os procedimentos pelos quais os dados foram coletados pode ser criticada. É essencial para os leitores e para os usuários de um levantamento de dados ter acesso a uma descrição completa do processo de coleta dos dados. Existem duas funções gerais de uma boa descrição metodológica. A primeira é fornecer um bom entendimento de o quão bem as estimativas de amostra são prováveis de descrever a população da qual a amostra foi extraída. Não é suficiente simplesmente declarar as conclusões do autor nesse assunto; cálculos detalhados relevantes à precisão e ao viés devem ser apresentados para que permitam aos leitores fazer suas próprias avaliações. A segunda função é a de fornecer os detalhes procedurais necessários para a replicação dos esforços feitos na coleta de dados e/ou detectar diferenças procedurais entre levantamentos que poderiam afetar a comparabilidade.

Pesquisa de levantamento 205

Não é incomum encontrar apenas o tamanho da amostra reportado sobre um levantamento; pesquisadores mais conscienciosos irão incluir uma descrição de suas estratégias de amostragens e taxas das respostas. Embora o nível apropriado de detalhes varie de acordo com a maneira que os dados estão sendo usados, a seguir encontra-se um breve esboço da informação que deve ser fornecida sobre qualquer levantamento. • A estrutura da amostra (isto é, aquelas pessoas de onde a amostra foi extraída), junto com uma estimativa da porcentagem da população estudada que teve uma chance de seleção daquela estrutura e qualquer coisa que seja conhecida sobre o modo no qual as pessoas excluídas diferem da população como um todo. • O procedimento de amostragem, incluindo quaisquer desvios da amostragem aleatória simples, tais como agrupamentos, estratificação ou taxas desiguais de seleção entre subgrupos da população. • Os resultados de campo, a disposição de um planejamento inicial de amostra: o número de respondentes, o número de não respondentes e as maiores razões para a ausência de resposta. Se a taxa de resposta não pode ser exatamente calculada porque a estrutura de amostra inclui unidades ilegíveis (por exemplo: números telefônicos não associados a unidades habitacionais ocupadas), o pesquisador deve reportar o número de unidades para as quais a elegibilidade não foi determinada e uma estimativa das taxas de resposta mais prováveis. A American Association of Public Opinion Research publicou uma boa monografia sobre o relato das taxas de resposta para aumentar a consistência do relato e a terminologia que os pesquisadores usam quando reportam seus resultados (AAPOR, 2006). • A formulação exata das questões analisadas. Para um relato importante, o instrumento de levantamento completo deve ser reproduzido em um apêndice. Além da descrição factual do processo de coleta dos dados, existem cinco outras coisas desejadas em um apêndice metodológico. Primeiro, a maioria dos relatos são pretendidos para um público que vai além dos metodologistas de pesquisas de levantamento. Portanto, uma breve descrição dos tipos possíveis de erro em levantamentos normalmente é uma introdução apropriada para uma seção metodológica de um levantamento. Segundo, estimativas numéricas do conjunto de erros de amostragem associados a o planejamento particular da amostra devem ser incluídas. Se a amostra planejada foi estratificada ou agrupada, ou se taxas diferentes de

206 Floyd J. Fowler Jr.

seleção forem usadas, os efeitos daquelas características do planejamento serão diferentes por diferentes medidas no levantamento. Tipicamente, os pesquisadores calculam esses efeitos no planejamento pelo número de medidas no levantamento, incluindo aquelas que eles esperam que sejam os mais e os menos afetados pelo planejamento do levantamento. Eles então apresentam os efeitos de planejamento para esses itens ou reportam o alcance dos efeitos de planejamento, com algumas generalizações sobre os tipos de itens que mais foram afetados pelo planejamento da amostra. Terceiro, se entrevistadores forem usados, as informação sobre eles que forem relevantes aos efeitos dos dados são desejáveis. Uma descrição mínima seria número de entrevistadores que coletaram os dados, o quanto eles receberam de treinamento e se a amostra do seu trabalho foi ou não monitorada. Idade, gênero e etnia dos entrevistadores são úteis para saber se essas características são relevantes para o conteúdo do levantamento. Como discutido no Capítulo 8, os efeitos que os entrevistadores podem causar não podem ser calculados de forma confiável se os respondentes forem designados aos seus entrevistadores com base na conveniência. Existe um corpo crescente de dados do tamanho dos efeitos causados pelos entrevistadores, entretanto, resumido por Groves (1989), que pode ser usado para relatar aos leitores sobre o provável alcance de efeitos dos entrevistadores nas estimativas. Além disso, levantamentos por telefone feitos a partir de instalações centrais tornam possível gerenciar designações de entrevistadores para que estimativas razoáveis dos efeitos causados pelos entrevistadores possam ser feitas. Seria desejável se mais estudos fossem feitos para que assim, os efeitos causados pelos entrevistadores pudessem ser estimados, e se o resultado das estimativas se tornasse uma característica comum de relatórios metodológicos de levantamento. Quarto, um pesquisador deve dizer aos seus leitores tudo o quanto se sabe sobre os efeitos da ausência de respostas nas estimativas da amostra. Essa exigência é particularmente importante quando as taxas de respostas para um levantamento são comparativamente baixas. Se o pesquisador tirou a amostra de uma fonte que forneça informações sobre aqueles dos quais nenhuma resposta foi obtida, essa informação deve ser apresentada. Entrevistadores devem ser encorajados a pegar, ao menos, alguma informação sobre pessoas que se recusam, para que o pesquisador possa dizer alguma coisa sobre os modos em que os não respondentes podem diferir dos respondentes. Se há estatísticas de outras fontes sobre a população da qual a amostra foi extraída, tais como um censo relativamente recente, o pesquisador pode comparar a amostra com alguns números agregados independentes para estimar alguns efeitos da

Pesquisa de levantamento 207

ausência de resposta na amostra. Usualmente, não existem dados sobre como a ausência de resposta é relacionada às medições-chave em um levantamento. Contudo, qualquer tipo de dado que for apresentado sobre os não respondentes ajudará os leitores a avaliar como os erros da ausência de respostas podem afetar os resultados. Finalmente, um bom apêndice metodológico deve incluir algumas informações sobre a confiabilidade e a validade das medidas mais importantes usadas em um levantamento. Existem três tipos de informações relevantes que podem ser relatadas. Primeiro, se as questões forem submetidas a testes laboratoriais cognitivos ou a testes sistemáticos preliminares, esse fato e os resultados podem ser relatados. Relatar o tipo de avaliação da questão que foi feita pode ser útil para os usuários dos resultados. É importante que seja dito que as questões foram construídas para serem abrangentes e que a codificação do comportamento durante os pré-testes revelaram que as questões foram perguntadas da maneira como foram formuladas e que poderiam normalmente ser respondidas prontamente. Também, os testes pré-liminares às vezes indicam um problema com a questão que, todavia, é mantido. Obviamente tal informação é de muita ajuda aos usuários dos dados resultantes. Segundo, os pesquisadores podem apresentar análises que avaliem a validade das respostas às questões. Na medida em que as respostas se correlacionam de modo previsível com as respostas a outras questões, há evidências de que elas medem o que o pesquisador esperava medir. Ware (1987) apresenta um bom esboço dos tipos de análise que uma avaliação meticulosa da confiabilidade e da validade devem ocasionar. Terceiro, embora a precisão do relatório de dados factuais raramente possa ser avaliada diretamente em um levantamento, citar os resultados de um estudo de checagem de registros do relatório de itens similares pode fornecer aos leitores uma base para estimar a quantidade e a direção dos erros em uma estimativa baseada em levantamento. Até então tem havido uma relativa escassez de dados sistemáticos sobre quão bem as questões medem o que se pretende que meçam. É provavelmente honesto dizer que a maioria dos relatórios de levantamentos assume uma face de validade, que as respostas significam aquilo que aquele que projetou da questão pensou que elas significariam. Seria desejável se a coleta de dados e a análise dirigida na avaliação de questões e respostas, e fazer relatórios das avaliações das questões, poderia se tornar uma parte rotineira dos relatórios de metodologia de levantamento. Haverá relatórios de dados de levantamentos para os quais toda a informação delineada anteriormente será muito detalhada. Ocorre sem-

208 Floyd J. Fowler Jr.

pre uma pressão de encurtar os artigos. Entretanto, toda a informação é decididamente relevante para a avaliação da provável qualidade de um levantamento baseado em estimativas. Em um relatório completo de análise de um levantamento, um apêndice metodológico completo deve ser incluído. Quando pequenos trabalhos são publicados, ao menos um relatório metodológico que cubra os detalhes do processo de coleta de dados deve ser disponibilizado. Deve ser notado, em conclusão, que a lista almejada é tanto sobre a importância de coletar e analisar as informações sobre as medidas quanto é sobre relatar isso. É obviamente desejável que sejam tomadas medidas para minimizar os erros, mas levantamentos livres de erros não são possíveis. Documentar o quão bem as medições foram feitas e estimar a quantidade e o tipo de erros nos resultados é uma parte crítica de garantir o uso apropriado dos dados do levantamento. É também uma parte importante a construção da base de conhecimento na qual será viável construir no futuro melhores medidas para levantamentos. Portanto, quando resultados de levantamentos são relatados, há uma obrigação de reportar as informações necessárias para avaliar a qualidade dos dados, bem como para replicar os resultados. O último objetivo pode ser atingido através da descrição cuidadosa dos procedimentos usados; o objetivo anterior requer um esforço especial para a medição dos erros bem como comunicar os resultados. Quando um relatório é silencioso sobre algum tipo de erro, tais como se as questões são compreensíveis ou se os entrevistadores afetaram os resultados, a suposição implícita feita pela maioria dos leitores é a de que não há nenhum problema. Pelo menos, pesquisadores podem estar certos de que os leitores sabem sobre as várias fontes de erros que podem afetar as estimativas de levantamento (aspiração número 1). Entretanto, pensando mais ao futuro, é esperado que os passos requeridos para o fornecimento de estimativas específicas de erros se tornarão gradualmente rotineiros nos resultados dos relatórios de levantamentos.

EXERCÍCIO Usando os padrões apresentados nesse capítulo, avalie sistematicamente a adequação e a plenitude da seção metodológica de um livro publicado ou de um relatório que foi sido baseado em um levantamento.

Erros de levantamento em perspectiva

13

O planejamento total do levantamento envolve considerar todos os aspectos de um levantamento e escolher um nível de rigor apropriado aos propósitos particulares do projeto. Os desvios mais comuns da boa prática e do bom planejamento de levantamentos são discutidos nesse capítulo, juntamente com uma avaliação dos respectivos potenciais de economia de custos e sua significância para a precisão, a exatidão e a credibilidade das estimativas de levantamento.

O CONCEITO DE PLANEJAMENTO TOTAL DE UM LEVANTAMENTO O planejamento total de um levantamento significa que quando se planeja um levantamento ou se avalia a qualidade dos dados, olha-se para o processo completo de coleta de dados, e não simplesmente para um ou dois aspectos do levantamento. A qualidade da amostra (a estrutura, o tamanho, o formato e a taxa de resposta), a qualidade das questões como medidas, a qualidade da coleta de dados (especialmente o uso de procedimentos eficazes de treinamento e supervisão de entrevistadores) e o método de coleta dos dados constituem um conjunto fortemente inter-relação de questões e de decisões de planejamento, todos com o potencial de afetar a qualidade dos dados resultantes. A completa apreciação da abordagem do projeto total de levantamento aos erros de um levantamento tem três implicações concretas: 1. Ao se planejar uma coleta de dados de levantamento, o pesquisador, de forma autoconsciente, leva em conta as desvantagens entre os custos e o rigor metodológico em todos os aspectos do

210 Floyd J. Fowler Jr.

processo de planejamento do levantamento. Investimentos em redução de erros em um aspecto do levantamento não são feitos quando outros aspectos do levantamento não justificam tamanho nível de investimento. 2. Na avaliação da qualidade dos dados, os pesquisadores perguntam sobre como todas as decisões que afetaram a qualidade dos dados foram feitas e conduzidas. 3. Ao relatar os detalhes de um levantamento, um pesquisador deverá reportar detalhes relevantes de todos os aspectos dos esforços de coleta de dados que afetam o nível de erros dos dados.

ERRO EM PERSPECTIVA É difícil generalizar, por entre todos os projetos considerados, a significância das várias escolhas metodológicas discutidas neste livro. O custo de tomar decisões rigorosas varia muito através das escolhas como também variam para cada situação de pesquisa. Do mesmo modo, o potencial para erro por tomar a decisão de menor custo também varia muito. A ideia de um planejamento personalizado para um levantamento significa que o pesquisador deveria diminuir a lista de opções de planejamento com cautela, avaliando as alternativas, estimando o custo e o potencial para erro, e tomando decisões sobre quais compromissos fazem sentido e quais não. A seguir, encontram-se algumas possíveis generalizações que de algum modo podem ser úteis. É muito raro ter uma estrutura de amostra perfeita que forneça a todos os membros de uma população que o pesquisador quer estudar uma chance de seleção. De quem fazer a amostra é uma decisão que não pode ser avaliada fora do contexto. É incumbido aos pesquisadores ser muito claro sobre o quão abrangente a sua estrutura de amostra era e quem foi omitido, e não sugerir que a sua estimativa de amostra aplica-se a pessoas que não tiveram chance de ser amostradas. Provavelmente o compromisso mais comum de economia de custo em pesquisa de levantamento acontece na área de amostragem. No pior dos casos, algumas pessoas tentam generalizar desde os dados a serem coletados até pessoas que não participaram da amostra, tais como leitores de revistas ou usuários de internet que voluntariamente preenchem questionários. Usando amostras de não probabilidade, porém, ao fazer a substituição das pessoas mais disponíveis ou dispostas por outras mais

Pesquisa de levantamento 211

difíceis de inscrever em amostras, é uma prática comum; é típica de muitas consultas de opinião pública, política e em pesquisa de mercado. Na verdade, para levantamentos feitos por telefone, permitir a substituição da amostra não economiza uma grande quantidade de dinheiro, embora permita que se façam amostras mais rapidamente. Para entrevistas feitas pessoalmente em casas de família, entretanto, há uma considerável diferença de custo entre a probabilidade e a não probabilidade das amostras. O preço mais alto que alguém paga para tais custos é o de desistir da credibilidade estatística com relação ao erro nos dados; não há nenhuma base científica para descrever a relação da amostras com a população amostrada. Se o objetivo do levanto é o de solicitar a opinião de amplo espectro da população do que estaria facilmente acessível de outra forma, tais procedimentos de amostragem não estatística podem servir bem ao propósito. Apesar disso, se o interesse for de algo há mais do que ordens de estimativas de magnitude e quando a credibilidade científica se torna um problema, as economias de custos derivadas da substituição das amostras provavelmente não valerão à pena. Um compromisso quase igualmente comum em levantamentos seria o de aceitar baixas taxas de resposta. Quase todos os estudos de retorno antecipado de questionários por correio mostram que eles são amostras tendenciosas, de forma que são diretamente relevantes ao assunto do levantamento. As inclinações associadas com as baixas taxas de resposta para levantamentos por telefone são um pouco menos drásticas. O problema real é que nos falta boa informação sobre quando a ausência de resposta é provável de afetar seriamente as estimativas. Erros devidos à ausência de resposta são comuns e normalmente grandes, mas a quantidade de erros não é altamente correlacionada com as taxas de resposta (Groves, 2006). Isso faz com que se torne difícil dizer quando uma estimativa das respostas é muito baixa e quando esforços adicionais significantes são essenciais. A base é a credibilidade. Dados baseados em baixas taxas de resposta são fáceis de criticar e os pesquisadores devem decidir o quanto isso importa. Devido ao fato de que a maioria das pessoas pensa no planejamento de levantamentos pensa em amostragem, pouquíssimo tempo será gasto aqui sobre esse tópico. Se alguém vai extrair uma amostra sofisticada, a ajuda de um estatístico de amostragem qualificado é necessária. Presumivelmente, tal estatístico irá considerar as vantagens entre vários esquemas de amostragem para o cálculo de erros de amostragem. Um ponto que deve ser notado aqui é que a maioria das amostras de popula-

212 Floyd J. Fowler Jr.

ção abrange algum tipo de agrupamento. Na verdade, amostras agrupadas multiestágios são a melhor solução para uma grande quantidade de problemas de amostragem. Entretanto, não é incomum ver relatos em que os efeitos de agrupamento são ignorados nas estimativas de erros de amostragem. Se os pesquisadores não tiverem uma amostra aleatória simples eficaz, o que normalmente é o caso, não podem usar suposições de amostragem aleatória simples na estimativa de erros-padrão. A escolha do modo de coleta de dados é uma das mais fundamentais escolhas que afetam os custos de um levantamento. Embora durante anos os métodos de levantamentos pessoais tenham sido considerados o único caminho efetivo para se conduzir levantamentos de populações gerais, estratégias por telefone são agora de longe prevalentes do que entrevista de levantamentos pessoais na maioria das organizações de pesquisa. Para muitos propósitos, o telefone forneceu uma forma eficaz de produção de dados de levantamento. Dependendo da situação, entrevistas feitas pelo telefone podem estar em desvantagem em deixar de fora o segmento da população sem telefones residenciais (o problema da estrutura da amostra), na produção de maiores taxas de não resposta (apesar de não ser sempre esse o caso) e em permitir aos pesquisadores que coletem menos dados (porque entrevistas por telefone geralmente são planejadas para durar menos do que entrevistas feitas pessoalmente). Os procedimentos de levantamentos feitos pelo telefone são as melhores respostas para muitos projetos. Como na maioria dos procedimentos de economia de gastos, existem ocasiões em que um preço não monetário na escolha do telefone é muito alto. Protocolos de coletas de dados feitas por correio e pela internet claramente são modos atrativos de coletar informações de algumas populações. Seus custos comparativamente baixos também fazem deles fortes candidatos para seu uso em combinações com métodos mais caros. Os métodos menos caros podem ser usados para a coleta de dados daqueles que usarão esses modos, enquanto outras abordagens podem ser usadas na coleta de dados daqueles que são menos motivados a responder ou que não podem responder facilmente para alguns modos (por exemplo, porque lhes falta acesso à internet). Descobrir como combinar os métodos de coletas de dados com a amostra, com o tópico e com as necessidades do instrumento de uma forma rentável e que produza boas taxas de respostas é um dos elementos mais essenciais de um bom projeto de levantamento. Alternativamente, confiar exclusivamente em um modo que é inapropriado ou ineficiente para alguma parte da população de estudo é um claro exemplo de um pobre planejamento de amostra.

Pesquisa de levantamento 213

A qualidade da equipe de entrevista é um dos aspectos menos apreciados de uma pesquisa de levantamento. Vem sendo mostrado que um bom treinamento e uma boa supervisão causam efeitos significativos sobre como os entrevistadores conduzem entrevistas. Também, para um bom número de questões comuns de levantamentos, entrevistadores pobremente treinados ou supervisionados podem aumentar a margem de erro em volta das estimativas, bem como ter uma amostra pode fazer. Isso significa que quando há importantes efeitos causados por entrevistadores nas respostas, uma amostra de 1.000 pode ter a efetiva precisão de uma amostra com apenas 700. Apesar da significância da qualidade da entrevista variar com o teor do levantamento e dos tipos de questões, a maioria propósitos gerais do levantamento terá ao menos algumas questões que serão significantemente afetadas pelos entrevistadores. Nesse contexto, fugir do treinamento aos entrevistadores e da supervisão pode ser uma escolha improdutiva. A qualidade da equipe de entrevista também afeta a taxa de resposta. O uso de uma boa equipe de entrevistadores provou que atingir a cooperação dos respondentes é um dos modos mais fáceis de assegurar uma boa taxa de resposta. Uma supervisão cuidadosa, um novo treinamento e a eliminação de entrevistadores que não são bons na conquista da cooperação também são passos que irão valer a pena na redução da ausência de respostas a provavelmente não acrescerão muitos custos extras. Os procedimentos padronizados que estruturam o modo como os entrevistadores explicam a tarefa da entrevista aos respondentes podem ser construídos nos levantamentos. Tais técnicas tem se mostrado ser um modo praticamente livre de custos para aumentar o nível médio de desempenho do respondente. Finalmente, a avaliação profunda das questões de levantamento pode ser uma das mais importantes e rentáveis formas de redução de erros de levantamento. Por um apropriado uso dos grupos de foco e de entrevistas cognitivas, os pesquisadores podem aprimorar o grau no qual as questões são consistentemente entendidas e respondidas validamente. Estudos sistemáticos de comportamento para pré-testes de campo podem identificar questões que os entrevistadores não perguntam de uma forma consistente ou que apresentem problemas para os respondentes. O aprimoramento das questões pode tanto melhorar a validade do relato do respondente quanto reduzir o efeito dos entrevistadores sobre as respostas.

214 Floyd J. Fowler Jr.

CONCLUSÃO Os objetivos de um bom planejamento e de uma boa prática são produzir a maior exatidão, credibilidade e replicabilidade possível para cada dólar. Quão preciso, crível e replicável deve ser um estudo particular depende do problema a ser abordado e de como a informação será usada. Ocasionalmente se poderá interpretar que a ciência social é inexata, e comparações desagradáveis são feitas entre os processos de medição das ciências sociais e das ciências físicas. Apesar de tais conclusões serem comuns, elas são comumente desinformadas. Medições básicas em ciências físicas e biomédicas, como o nível de chumbo em uma amostra de sangue, as leituras de pressão sanguínea, a leitura de raios-x e as medições de elasticidade dos metais, todas provam ter níveis não triviais de insegurança. Medições em qualquer um desses campos podem ser feitas tanto bem quanto mal pela metodologia usada e o cuidado que vai com o planejamento do processo de medição; Turner e Martin (1984) fornecem numerosos exemplos. O mesmo é verdadeiro para a pesquisa de levantamento. A minimização de erros em levantamentos geralmente vem com um custo. Em alguns casos, o valor da melhor medição possivelmente não vale o custo. Amostrar uma população pela amostragem de casas de família omite pessoas que não podem ser associadas a famílias. Essa é uma fração bem pequena do total da população na maioria das áreas, contudo, e o custo de achar uma maneira de amostrar pessoas que não podem ser associadas com famílias é extraordinário. As taxas de ausência de resposta podem ser diminuídas a praticamente zero. A Bureau of the Census rotineiramente alcança índices de respostas de 90% para o National Health Interview Survey e para o Current Population Survey, ainda que as taxas de respostas sejam menores nas grandes cidades. Se se quer gastar tempo e dinheiro suficientes, pode-se provavelmente atingir taxas de respostas próximas de 100%, mesmo nos segmentos mais inospitaleiros de nossas cidades mais difíceis. Novamente o custo seria extraordinário e o potencial de redução de erro seria modesto. Felizmente os respondentes são capazes e dispostos a responder várias das questões de grande interesse para os cientistas sociais e para aqueles envolvidos na formulação de políticas. Para algumas outras questões, seria conveniente se os respondentes fossem capazes e dispostos a responderem um processo padronizado de levantamento, mas eles não são. Por exemplo, condenações por beber alcoolizado e falências são

Pesquisa de levantamento 215

marcadamente sub-relatadas usando técnicas-padrão de levantamento. (Locander et al., 1976). Provavelmente há algum modo que um projeto de pesquisa possa ser apresentado que induzirá a maioria das pessoas a reportar tais fatos com exatidão, mas despenderia um maior esforço do que os pesquisadores normalmente fazem para conquistar a cooperação dos respondentes. Mais uma vez, existem decisões a serem tomadas sobre o quanto de exatidão e de detalhe são válidos no contexto de como os dados serão usados. Os leitores são referidos para Groves (1989) por um modo de análise muito mais extensivo quanto ao relacionamento entre os custos e os erros do levantamento. Vem sendo dito que o limite de uma pesquisa de levantamento é o que as pessoas são capazes e estão dispostas a nos dizer dentro do contexto do levantamento. Esses limites, contudo, podem ser aumentados. Certamente há alguns limites reais para o que pode ser medido com exatidão usando procedimentos padronizados de levantamento. Ainda assim, os limites provavelmente são muito mais seguidamente relacionados a considerações orçamentais e em quanto esforço o pesquisador quer colocar no processo de medição do que no que é verdadeiramente factível. O contexto no qual se avalia um planejamento é se os compromissos feitos foram ou não os corretos, aqueles que são inteligentes e aqueles que produzirão dados apropriados para o propósito em mãos. É também válido ressaltar que erros de levantamento não resultam apenas de decisões atenciosas de economia de custos. Também não tem havido uma adequada apreciação da significância da ausência de respostas, do planejamento das questões e do desempenho dos entrevistadores para a qualidade das estimativas de levantamento. Uma completa falta de atenção a esses importantes aspectos da coleta de dados rotineiramente produzem levantamentos de dados que carecem de credibilidade ou que não atendem os padrões de última geração para a confiabilidade. Compreender o conceito de planejamento completo articulado nes­ se livro deve significar o seguinte: • Nenhuma característica da coleta de dados será tão pobre ou tão fraca que possa enfraquecer a habilidade do pesquisador de usar os dados para alcançar os objetivos do levantamento. • O planejamento de todas as fases da coleta de dados será relativamente consistente, para que assim os investimentos não tenham sido feitos para produzir precisão em um aspecto do processo de coleta de dados que não sejam justificados pelo nível de precisão que outros aspectos do planejamento irão gerar.

216 Floyd J. Fowler Jr.

• Usuários do levantamento de dados terão um respeito apropriado aos usos das estimativas baseadas em uma amostra de levantamento, às prováveis fontes de erro nos levantamentos e aos limites de precisão e confidência que eles podem ter nas estimativas baseadas em levantamentos. Finalmente, é esperado que os usuários da pesquisa tenham uma completa compreensão das questões que eles devem perguntar sobre a coleta de dados em qualquer levantamento, que os pesquisadores tenham um melhor entendimento da significância dos detalhes das decisões do planejamento e que todos os leitores partam com um comprometimento renovado para um melhor planejamento e execução de levantamentos.

Referências

American Association for Public Opinion Research. (2006). Standard definitions: Final dispositions of case codes and outcome rates for surveys (4th ed.). Lenexa, KS: AAPOR. Anderson, B., Silver, B., & Abramson, P. (1988). The effects of race of the interviewer on measures of electoral participation by blacks. Public Opinion Quarterly, 52(1), 53-83. Aquilino, W. S. (1994). Interview mode effects in surveys of drug and alcohol use: A field experiment. Public Opinion Quarterly, 58(2), 210-240. Aquilino, W. S. (1998). Effects of interview mode on measuring depression in younger adults. Journal of Official Statistics, 14(1), 15-30. Aquilino, W. S., & Losciuto, L. A. (1990). Effects of mode of interview on self-reported drug use. Public Opinion Quarterly, 54(3), 362-391. Baker, R. P., Crawford, S., & Swinehart, J. (2004). Development and testing of Web questionnaires. In S. Presser et al. (Eds.), Methods or testing and evaluating survey questionnaires (pp. 361-384). New York: John Wiley. Beatty, P. (1995). Understanding the standardized/non-standardized interviewing con­troversy. Journal of Official Statistics, 11(2), 147-160. Belli, R. P., Lee, E. H., Stafford, F. P., & Chou, C. (2004). Calendar and question-list sur­vey methods: Association between interviewer behaviors and data quality. Journal of Official Statistics, 20(2), 185-218. Belson, W. A. (1981). The design and understanding of survey questions. Aldershot, UK: Gower. Berry, S., & Kanouse, D. (1987). Physician response to a mailed survey: An experiment in timing of payment. Public Opinion Quarterly, 57(1), 102-114. Billiet, J., & Loosveldt, G. (1988). Interviewer training and quality of responses. Public Opinion Quarterly, 52(2), 190-211. Bishop, G. R, Hippler, H. J., Schwartz, N., & Strack, F. (1988). A comparison of response effects in self-administered and telephone surveys. In R. M. Groves, P. N. Biemer, L. E. Lyberg, J. T. Massey, W. L. Nichols II, & J. Waksberg (Eds.), Telephone survey methodology (pp. 321-340). New York: John Wiley. Blom, E., & Lyberg, L. (1998). Scanning and optical character recognition in survey organizations. In M. P. Couper et al. (Eds.), Computer assisted survey information collection (pp. 449-520). New York: John Wiley.

218 Referências Blumberg, S., Lake, J., & Cynamon, M. (2006). Telephone coverage and health survey estimates: Evaluating concerns about wireless substitutes. American Journal of Public Health, 96, 926-931. Bradbum, N. M., & Sudman, S. (1992). The current status of questionnaire design. In P. N. Beimer, R. M. Groves, L. E. Lyberg, N. Mathiowetz, & S. Sudman (Eds.), Measurement errors in surveys (pp. 29^0). New York: John Wiley. Bradbum, N. M., Sudman, S., & Associates (1979). Improving interview method and questionnaire design. San Francisco: Jossey-Bass. Brick, J. M., Dipko, S., Presser, S., Tucker, C., &Yuan,Y. (2006). Nonresponse bias in a dual frame sample of cell and landline numbers. Public Opinion Quarterly, 70(5), 780-793. Brick, J. M., Waksberg, J., Kulp, D., & Starer, A. (1995). Bias in list-assisted telephone samples. Public Opinion Quarterly, 59, 218-235. Bryson, M. (1976, November). The Literary Digest poll: Making of a statistical myth. American Statistician, pp. 184-185. Burton, S., & Blair, E. (1991). Task conditions, response formulation processes, and response accuracy for behavioral frequency questions in surveys. Public Opinion Quarterly, 55, 50-79. Cannell, C., & Fowler, F. (1964). A note on interviewer effect in self-enumerative pro­ cedures. American Sociological Review, 29, 276. Cannell, C., Groves, R., Magilavy, L., Mathiowetz, N., & Miller, P. (1987). An experi­ mental comparison of telephone and personal health interview surveys. Vital & Health Statistics, Series 2, 106. Washington, DC: Government Printing Office. Cannell, C., Marquis, K., & Laurent, A. (1977). A summary of studies. Vital & Health Statistics, Series 2, 69. Washington, DC: Government Printing Office. Cannell, C., & Oksenberg, L. (1988). Observation of behaviour in telephone interviewers. In R. M. Groves, P. N. Biemer, L. E. Lyberg, J. T. Massey, W. L. Nichols H, & J. Waksberg (Eds.), Telephone survey methodology (pp. 475^195). New York: JohnWiley. Cannell, C., Oksenberg, L., & Converse, J. (1977). Experiments in interviewing tech­ niques: Field experiments in health reporting, 1971-1977. Hyattsville, MD: National Center for Health Services Research. Catania, J. A., Gibson, D., Chitwood, D., & Coates, T. (1990). Methodological prob­ lems in AIDS behavioral research: Influences on measurement error and participa­tion bias in studies of sexual behavior. Psychological Bulletin, 108(3), 339-362. Catlin, 0., & Ingram, S. (1988). The effects of CATI on costs and data quality: A com­ parison of CATI and paper methods in centralized interviewing. In R. M. Groves, P. N., Biemer, L. E., Lyberg, J. T., Massey, W. L. Nichols II. & J. Waksberg (Eds.), Telephone survey methodology (pp. 437—445). New York: John Wiley. Chromy, J. R., Eyerman, J., Odom, D., McNeeley, M. E., & Hughes, A. (2005). Association between interviewer experience and substance use prevalence rates in NSDUH. In J. Kennett & J. Gfoerrer (Eds.), Evaluating and improving methods used in the NSDUH (DHHS Publication number SMA 05-4044, methodology series M-5) (pp. 59-87). Rockville, MD: SAMSA. Citro, C., Ilgen, D., & Marrett, C. (2003). Protecting participants and facilitating social and behavioral sciences research. Washington, DC: National Academy Press. Conrad, F. G., & Schober, M. F. (2000). Clarifying question meaning in a household telephone survey. Public Opinion Quarterly, 64(1), 1-28. Converse, J. (1987). Survey research in the United States. Berkeley: University of California Press.

Referências 219 Converse, J., & Presser, S. (1986). Survey questions. Beverly Hills, CA: Sage. Couper, M. P. (2007). Issues of representation in eHealth research (with a focus on Web surveys). American Journal of Preventive Medicine, 32(5S), S83-S89. Couper, M. P., et al. (Eds.). (1998). Computer assisted survey information collection. New York: John Wiley. Couper, M. P., Hansen, S. E., & Sadowsky, S. A. (1997). Evaluating interviewer use of CAPI technology. In L. E. Lyberg, P. Beimer, M. Collins, & E. D. de Leeuw (Eds.), Survey measurement and process quality (pp. 267-286). New York: John Wiley. Cronbach, L. (1951). Coefficient alpha and the internal structure of tests. Psychiatrika, 16, 297-334. Cronbach, L., & Meehl, P. (1955). Construct validity in psychological tests. Psychological Bulletin, 52, 281-302. de Leeuw, E. D. (2008). Choosing the method of data collection. In E. D. de Leeuw, J. J. Hox, & D. A. Dillman (Eds.), International handbook of survey methodology (pp. 113-135). Mahwah, NJ: Lawrence Erlbaum. de Leeuw, E. D., & de Heer, W. (2002). Trends in household survey nonresponse: A lon­ gitudinal and international comparison. In R. M. Groves, D. A. Dillman, J. E. Eitinge, & R. J. A. Little (Eds.), Survey nonresponse (pp. 41-54). New York: John Wiley. de Leeuw, E. D., Dillman, D. A., & Hox, J. J. (2008). Mixed mode surveys: When and why. In E. D. de Leeuw, J. J. Hox, & D. A. Dillman (Eds.), International handbook of survey methodology (pp. 299-316). Mahwah, NJ: Lawrence Erlbaum. de Leeuw, E. D., & van der Zouwen, J. (1988). Data quality in telephone and face to face surveys: A comparative meta-analysis. In R. M. Groves, P. N. Biemer, L. E. Lyberg, J. T. Massey, W. L. Nichols II, & J. Waksberg (Eds.), Telephone sur­vey methodology (pp. 283-299). New York: John Wiley. DeMaio, T. J., & Rothgeb, J. M. (1996). Cognitive interviewing techniques—in the lab and in the field. In N. A. Schwarz & S. Sudman (Eds.), Answering questions (pp. 177196). San Francisco: Jossey-Bass. Department of Health and Human Services. (2005). Protection of human subjects. Title 45, Code of Regulations, Part 46. Washington, DC: Government Printing Office. DeVellis, R. F. (2003). Scale development: Theory and applications. Newbury Park, CA: Sage. Dielman, L., & Couper, M. P. (1995). Data quality in CAPI survey: Keying errors. Journal of Official Statistics, 11(2), 141-146. Dillman, D. A. (2007). Mail and Internet surveys: The tailored design method (2nd ed.). New York: John Wiley. Dillman, D. (2008). The logic and psychology of constructing questionnaires. In E. D. de Leeuw, J. J. Hox, & D. A. Dillman (Eds.), International handbook of sur­vey methodology (pp. 161-175). Mahwah, NJ: Lawrence Erlbaum. Dillman, D. A., & Miller, K. J. (1998). Response rates, data and feasibility for optical scannable mail surveys for small research centers. In M. P. Couper et al. (Eds.), Com­ puter assisted survey information collection (pp. 475-498). New York: John Wiley. Dillman, D. A., & Redline, C. D. (2004). Testing self-administered questionnaires: Cognitive interview and field test comparision. In S. Presser et al. (Eds.), Methods for testing and evaluating survey questionnaires (pp. 299-318). New York: John Wiley. Dillman, D. A., & Tamai, J. (1991). Mode effects of cognitively designed recall ques­ tions: A comparison of answers to telephone and mail surveys. In P. N. Biemer, R. M. Corres, L. E. Lyberg, N. A. Mathiowetz, & S. Sudman (Eds.), Measurement errors in surveys (pp. 367-393). New York: John Wiley. Dykema, J., Lepkowski, J., & Blixt, S. (1997). The effect of interviewer and respon­ dent behavior on data quality: Analysis of interaction coding in a validation study. In

220 Referências L. Lyberg et al. (Eds.), Survey measurement and process quality (pp. 287-310). New York: John Wiley. Edwards, W. S., et al. (1994). Evaluation of National Health Interview Survey diag­ nostic reporting. In Vital & Health Statistics, Series 2, No. 120. Hyattville, MD: National Center for Health Statistics. Edwards, W. S., Winn, D. M., & Collins, J. G. (1996). Evaluation of 2-week doctor visit reporting in the National Health Interview Survey. In Vital & Health Statistics, Series 2, No. 122. Hyattsville, MD: National Center for Health Statistics. Erlich, J., & Riesman, D. (1961). Age and authority in the interview. Public Opinion Quarterly, 24, 99-114. Filion, F. (1975). Estimating bias due to nonresponse in mail surveys. Public Opinion Quarterly, 39(4), 482-492. Forsyth, B. H., & Lessler, J. T. (1992). Cognitive laboratory methods: A taxonomy. In P. N. Biemer, R. M. Groves, L. E. Lyberg, N. A. Mathiowetz, & S. Sudman (Eds.), Measurement errors in surveys (pp. 393-418). New York: John Wiley. Fowler, F. J. (1991). Reducing interviewer related error through interviewer training, supervision, and other means. In P. N. Biemer, R. M. Groves, L. E. Lyberg, N. A. Mathiowetz, & S. Sudman (Eds.), Measurement errors in surveys (pp. 259-278). New York: John Wiley. Fowler, F. J. (1992). How unclear terms affect survey data. Public Opinion Quarterly, 56(2), 218-231. Fowler, F. J. (1995). Improving survey questions. Thousand Oaks, CA: Sage. Fowler, F. J. (2004). Getting beyond pretesting and cognitive interviews: The case for more experimental pilot studies. In S. Presser et al. (Eds.), Questionnaire develop­ment, evaluation, and testing methods (pp. 173-188). New York: John Wiley. Fowler, F. J., & Cannell, C. F. (1996). Using behavioral coding to identify cognitive problems with survey questions. In N. A. Schwarz & S. Sudman (Eds.), Answering questions (pp. 15-36). San Francisco: Jossey-Bass. Fowler, F. J., & Cosenza, C. (2008). Writing effective survey questions. In J. Hox, E. D. de Leeuw, & D. Dillman (Eds.), The international handbook of survey methodology (pp. 136-160). Mahwah, NJ: Lawrence Erlbaum. Fowler, F. J., Gallagher, P. M., Stringfellow, V. L., Zaslavsky, A. M., Thompson, J. W., & Cleary, P. D. (2002). Using telephone interviewers to reduce nonresponse bias to mail surveys of health plan members. Medical Care, 40(3), 190-200. Fowler, F. J., & Mangione, T. W. (1990). Standardized survey interviewing: Minimizing interviewer related error. Newbury Park, CA: Sage. Fowler, F. J., Roman, A. M., & Di, Z. X (1998). Mode effects in a survey of Medicare prostate surgery patients. Public Opinion Quarterly, 62(1), 29^46. Fox, J. A., & Tracy, P. E. (1986). Randomized response: A method for sensitive surveys. Beverly Hills, CA: Sage. Fox, R., Crask, M., & Kirn, J. (1988). Mail survey response rate: A meta-analysis of selected techniques for increasing response. Public Opinion Quarterly, 52(4), 467-91. Friedman, P. A. (1942). A second experiment in interviewer bias. Sociometry, 15, 378-381. Gallagher, P. M., Fowler, F. J., & Stringfellow, V. (2005). The nature of nonresponse in a Medicaid survey: Causes and consequences. Journal of Official Statistics, 21(1), 73-87. Graesser, A. C., Cai, Z., Louwerse, M., & Daniel, P. (2006). Question understanding aid (QUAID): A Web facility that helps survey methodologists improve the com­prehension of questions. Public Opinion Quarterly, 70(1), 1-20. Groves, R. M. (1989). Survey errors and survey costs. New York: John Wiley.

Referências 221 Groves, R. M. (2006). Nonresponse rates and nonresponse bias in household surveys. Public Opinion Quarterly, 70(5), 641-675. Groves, R. M., & Couper, M. P. (1998). Nonresponse in household interview surveys. New York: John Wiley. Groves, R. M., et al. (2006). Experiments in producing nonresponse bias. Public Opinion Quarterly, 70(5), 720-736. Groves, R. M., Dillman, D. A., Eitinge, J. L., & Little, R. J. A. (Eds.). (2002) Survey nonresponse. New York: John Wiley. Groves, R. M., Fowler, F. J., Couper, M. P., Lepkowski, J. M., Singer, E., & Tourangeau, R. (2004). Survey methodology. New York: John Wiley. Groves, R. M., & Kahn, R. L. (1979). Surveys by telephone. New York: Academic Press. Groves, R. M., & Lyberg, L. (1988). An overview of nonresponse issues in telephone surveys. In R. M. Groves, P. N. Biemer, L. E. Lyberg, J. T. Massey, W. L. Nichols II, & J. Waksberg (Eds.), Telephone survey methodology (pp. 191-212). New York: John Wiley. Groves, R.M., Presser, S., & Dipko, S. (2004) The role of topic interest in survey par­ ticipation decisions. Public Opinion Quarterly, 68(1), 2-31. Hansen, S. E., & Couper, M. P. (2004). Usability testing to evaluate computer-assisted instruments. In S. Presser et al. (Eds.), Methods for testing and evaluating survey questionnaires (pp. 337-360). New York: John Wiley. Harkness, J. A., Van de Vijver, F. J. R., & Mohler, P. P. (2003). Cross-cultural survey methods. New York: John Wiley. Heberlein, T., & Baumgartner, R. (1978). Factors affecting response rates to mailed ques­tionnaires: A quantitative analysis of the published literature. American Sociological Review, 43, 447-462. Henry, G. T. (1990). Practical sampling. Newbury Park, CA: Sage. Henson, R., Roth, A., & Cannell, C. (1977). Personal versus telephone interviews: The effect of telephone reinterviews on reporting of psychiatric symptomatology. In C. Cannell, L. Oksenberg, & J. Converse (Eds.), Experiments in interviewing techniques: Field experiments in health reporting, 1971-1977 (pp. 205-219). Hyattsville, MD: National Center for Health Services Research. Hochstim, J. (1967). A critical comparison of three strategies of collecting data from households. Journal of the American Statistical Association, 62, 976-989. HoutkoopSteenstra, H. (2000). Interaction and the standardised survey interview: The living questionnaire. Cambridge, UK: Cambridge University Press. Hyman, H., Feldman, J., & Stember, C. (1954). Interviewing in social research. Chicago: University of Chicago Press. Jabine, T. B., Straf, M. L., Tanur, J. M., & Tourangeau, R. (Eds.). (1984). Cognitive aspects of survey methodology: Building a bridge between disciplines. Washington, DC: National Academy Press. James, J., & Bolstein, R. (1990). The effect of monetary incentives and follow-up mail­ings on the response rate and the response quality in mail surveys. Public Opinion Quarterly, 54(3), 346-361. Jobber, D. (1984). Response bias in mail surveys: Further evidence. Psychological Reports, 54, 981-984. Kalton, G. (1983). Introduction to survey sampling. Beverly Hills, CA: Sage. Kaplowitz, M. D., Hadlock, T. D., & Levine, R. (2004). A comparison of Web and mail survey response rates. Public Opinion Quarterly, 68(1), 94—101. Keeter, S., Kennedy, C., Dimock, M., Best, J., & Craighill, P. (2006). Gauging the impact of growing nonresponse on estimates from a national RDD telephone sur­vey. Public Opinion Quarterly, 70(5), 759-770.

222 Referências Keeter, S., Miller, C., Kohut, A., Groves, R. M., & Presser, S. (2000). Consequences ofreducing nonresponse in a national telephone survey. Public Opinion Quarterly, 64(2), 125-148. Kish, L. (1949). A procedure for objective respondent selection within the household. Journal of the American Statistical Association, 44, 380-387. Kish, L. (1962). Studies of interviewer variance for attitudinal variables. Journal of the American Statistical Association, 57, 92-115. Kish, L. (1965). Survey sampling. New York: John Wiley. Krosnick, J. A., Judd, C. M., & Wittenbrink, B. (2007). The measurement of attitudes. In D. Albarracin, B. T. Johnson, & M. P. Zanna (Eds.), The handbook of attitudes (pp. 21-78). Mahwah, NJ: Lawrence Erlbaum. Lavrakas, P. J., Stuttles, C. D., Steeh, C., & Fienberg, H. (2007). The state of survey­ing cell phone numbers in the United States in 2007 and beyond. Public Opinion Quarterly, 71(5), 814-854. Lepkowski, J. M. (1988). Telephone sampling methods in the United States. In R. M. Groves, P. N. Biemer, L. E. Lyberg, J. T. Massey, W. L. Nichols II, & J. Waksberg (Eds.), Telephone survey methodology (pp. 73-98). New York: John Wiley. Lessler, J. T, & Forsyth, B. H. (1996). A coding system for appraising questionnaires. N. A. Schwartz & S. Sudman (Eds.), Answering questions (pp. 259-292). San Francisco: Jossey-Bass. Lessler, J. T., & Kalsbeek, W. D. (1992). Nonsampling error in surveys. New York: John Wiley. Lessler, J., & Tourangeau, R. (1989). Questionnaire design in the cognitive research laboratory. Vital & Health Statistics, Series 6, 1. Washington, DC: Government Printing Office. Likert, R. (1932). A technique for measurement of attitudes. Archives of Psychology, 140. Locander, W., Sudman, S., & Bradbum, N. (1976). An investigation of interview me­ thod, threat and response distortion. Journal of the American Statistical Association, 71, 269-275. Lohr, S. L. (1998). Sampling design and analysis. New York: Brooks/Cole. Mangione, T., Hingson, R., & Barret, J. (1982). Collecting sensitive data: A compari­ son of three survey strategies. Sociological Methods and Research, 10(3), 337-346. Marin, G., & Marin, B. V. (1991). Research with Hispanic populations. Newbury Park, CA: Sage. Marquis, K., Cannell, C., & Laurent, A. (1972). Reporting health events in household interviews: Effects of reinforcement, question length, and reinterviews. Vital & Health Statistics, Series 2, 45. Washington, DC: Government Printing Office. McDowell, I. (2003). Measuring health: A guide to rating scales and questionnaires (3rd ed.). Oxford, UK: Oxford University Press. McHomey, C. A., Kosinsky, M., & Ware, J. E. (1994). Comparisons of the cost and quality of norms for the SF-36 Health Survey by mail versus phone interviews: Results from a national survey. Medical Care, 32(6), 551-567. Miller, P. V., & Cannell, C. F. (1977). Communicating measurement objectives in the interview. In P. Hirsch, P. V. Miller, & F. G. Kline (Eds.), Strategies/or communi­cation research (pp. 127-152). Beverly Hills: Sage. National Commission for the Protection of Human Subjects of Biomedical and Behavioral Research. (1979). Belmont report: Ethical principles and guidelines for the protection of human subjects of research. Washington, DC: Government Printing Office. Nichols, W. L., Baker, R. P., & Martin, J. (1997). The effect of new data collection tech­ nologies on survey data quality. In L. Lyberg et al. (Eds.), Survey measurement and process quality (pp. 221-248). New York: John Wiley.

Referências 223 Office of Management and Budget. (2006). Standards and guidelines for statistical surveys. Washington, DC: Author. Oksenberg, L., Cannell, C., & Kalton, G. (1991). New strategies of pretesting survey questions. Journal of Official Statistics, 7(3), 349-366. Payne, S. (1951). The art of asking questions. Princeton, NJ: Princeton University Press. Penne, M. A., Lessler, J. T., Beiler, G., & Caspar, R. (1998). Effects of experimental and audio computer-assisted self-interviewing (ACASI) on reported drug use in the HSDA. In Proceedings, 1998 (section on survey research methods; pp. 744-749). Alexandria, VA: American Statistical Association. Presser, S., Rothgeb, J. M., Couper, M. P., Lessler, J. T., Martin, E., Martin, J., & Singer, E. (Eds.). (2004). Methods of testing and evaluating survey questionnaires. Hoboken, NJ: John Wiley. Rizzo, L., Brick, J. M., & Park, I. (2004). A minimally intrusive method for sampling persons in random-digit dial surveys. Public Opinion Quarterly, 68(2), 267-274. Robinson, D., & Rhode, S. (1946). Two experiments with an anti-Semitism poll. Journal of Abnormal Psychology, 41, 136-144. Robinson, J. P. (1989). Poll review: Survey organization differences in estimating public participation in the arts. Public Opinion Quarterly, 53(3), 397-414. Robinson, J. P., Shaver, P. R., & Wrightsman, L. S. (Eds.). (1997). Measures of per­ sonality and social psychological attitudes (Vol. 1). New York: Harcourt Brace. Saris, W., & Andrews, F. (1991). Evaluation of measurement instrument using a struc­ tural modeling approach. In P. Biemer, R. Groves, L. Lyberg, N. A. Mathiowetz, & S. Sudman (Eds.), Measurment errors in surveys (pp. 575-597). New York: John Wiley. Schaeffer, N. C. (1992). Interview: Conversation with a purpose or conversation? In P. Biemer, R. Groves, L. Lyberg, N. A. Mathiowetz, & S. Sudman (Eds.), Measurment errors in surveys (pp. 367-393). New York: John Wiley. Schober, M. R, & Conrad, F. G. (1997). Conversational interviewing. Public Opinion Quarterly. 61(4), 576-602. Schuman, H., & Converse, J. (1971). The effects of black and white interviewers on black responses in 1968, Public Opinion Quarterly, 35, 44-68. Schuman, H., & Presser, S. (1981). Question and answers in attitude surveys. New York: Academic Press. Sieber, J. (1992). Planning ethically responsible research: Developing an effective pro­ tocol. Newbury Park, CA: Sage. Singer, E. (2002). The use of incentives to reduce nonresponse in household surveys. In R. M. Groves, D. A. Dillman, J. E. Eitinge, & R. J. A. Little (Eds.), Survey nonresponse (pp. 163-177). New York: John Wiley. Singer, E., Van Hoewyk, J., Gebler, N., Raghunnathan, T, & McGanagle, K. (1999). The effect of incentives on response rates in interviewer-mediated surveys. Journal of Official Statistics, 15(2), 217-230. Singer, E., Van Hoewyk, J., & Maher, M. P. (2000). Experiments with incentives in tele­ phone surveys. Public Opinion Quarterly, 64(2), 171-188. Sirken, M. G., Herrmann, D. J., Schechter, S., Schwarz, N., Tanur, J. M., & Tourangeau, R. (1999). (Eds.). Cognition and survey research. New York: John Wiley. Suchman, L., & Jordan, B. (1990). Interactional troubles in face-to-face survey inter­ views. Journal of the American Statistical Association, 85, 232-241. Sudman, S. (1967). Reducing the cost of surveys. Chicago: Aldine. Sudman, S. (1976). Applied sampling. New York: Academic Press. Sudman, S., & Bradbum, N. (1982). Asking questions. San Francisco: Jossey-Bass.

224 Referências Tanur, J. M. (1991). Questions about questions. New York: Russell Sage. Tamai, J., & Moore, D. L. (2004). Methods for testing and evaluating computerassisted questionnaires. In S. Presser et al. (Eds.), Methods/or testing and evaluat­ing survey questionnaires (pp. 319-338). New York: John Wiley. Thurstone, L., & Chave, E. (1929). The measurement of attitude. Chicago: University of Chicago Press. Tourangeau, R., Rips, L., & Rasinski, K. (2000). The psychology of survey response. Cambridge, UK: Cambridge University Press. Tourangeau, R., & Smith, T. W. (1998). Collecting sensitive data with different modes of data collection. In M. P. Couper et al. (Eds.), Computer assisted survey informa­tion collection (pp. 431^53). New York: John Wiley. Turner, C. F., et al. (1998). Automated self-interviewing and the survey measurement of sensitive behaviors. In M. P. Couper et al. (Eds.), Computer assisted survey infor­ mation collection (pp. 455—473). New York: John Wiley. Turner, C. R, & Martin, E. (1984). Surveying subjective phenomena. New York: Russell Sage. Villarroel, M. A., et al. (2006). Same-gender sex in the United States: Impact of T-ACASI on prevalence estimates. Public Opinion Quarterly, 70(2), 166-196. Waksberg, J. (1978). Sampling methods for random-digit dialing. Journal of the American Statistical Association, 73, 40-46. Ware, J. (1987). Standards for validating health measures: Definition and content. Journal of Chronic Diseases, 40, 473^1-80. Warriner, K., Goyder, J., Jersten, H., Hohner, P., & McSpurren, K. (1996). Cash versus lotteries versus charities in mail surveys. Public Opinion Quarterly, 60(4), 542-562. Weiss, C. (1968). Validity of welfare mothers' interview responses. Public Opinion Quarterly, 32, 622-633. Willis, G. B. (2005). Cognitive interviewing. Thousand Oaks, CA: Sage. Willis, G. B., DeMaio, T., & Hams-Kojetin, B. (1999). Is the bandwagon headed to the methodicalogical promised land? Evaluating the validity of cognitive interviewing techniques. In M. G. Sirken, D. J. Herrmann, S. Schechter, N. Schwarz, J. M. Tanur, & R. Tourangeau (Eds.), Cognition and survey research (pp. 133-154). New York: John Wiley. Wilson, B. F., Alman, B. M., Whitaker, K., & Callegro, M. (2004). How good is good? Comparing numerical ratings of response options for two versions of the self-assessed health status questions. Journal of Official Statistics, 20(2), 379-391.

Índice onomástico

Abramson, P., 162 Alman, B. M., 127 Anderson, B., 162 Andrews, F., 29 Aquilino, W. S., 94, 133 Baker, R. P., 149, 186 Barret, J., 93 Baumgartner, R., 68, 91, 96 Beatty, P., 171 Beiler, G., 134 Belli, R. F., 132 Belson, W. A., 114 Berry, S., 76 Best, J., 70 Billiet, J., 17, 165, 169 Beshop, G. F., 92 Blair, E., 132 Blixt, S., 172 Blom, E., 185 Blumberg, S., 33 Bolstein, R., 76 Bradburn, N. M., 133, 137, 140, 161 Brick, J. M., 50, 48 Bryson, M., 68 Burton, S., 132 Cai, Z., 144 Callegro, M., 127

Cannell, C., 17, 69, 93, 94, 114, 129, 132, 133, 137, 150, 157, 161, 169, 169, 173 Caspar, R., 134 Catania, J. A., 133 Catlin, O., 100 Chave, E., 17, 124 Chitwood, D., 133 Chou, C., 132 Chromy, J. R., 161 Citro, C., 197 Coates, T., 133 Collins, J. G., 129 Conrad, F. G., 18, 116, 171, 172 Converse, J., 16, 17, 18, 68, 81, 137, 140, 157, 162, 169 Cosenza, C., 144 Couper, M. P., 34, 69, 73, 74, 100, 149, 151, 186 Craighill, P., 70 Crask, M., 70 Crawford, S., 149 Cronbach, L., 29, 110, 136 Cynamon, M., 33 Daniel, F., 144 de Heer, W., 69 de Leeuw, E. D., 69, 93, 106, 133 DeMaio, T. J., 145 DeVellis, R. F., 136

226 Índice onomástico Di, Z. X., 77, 94 Dielman, L., 185 Dillman, D. A., 75, 78, 94, 96, 106, 128, 134, 149, 152, 185 Dimock, M., 70 Dipko, S., 48, 70 Dykema, J., 172 Edwards, W. S., 129 Erlich, J., 162 Eyerman, J., 161 Feldman, J., 17, Fienberg, H., 48 Filion, F., 67 Forsyth, B. H., 144, 145 Fowler, F. J., 17, 68, 77, 91, 94, 94, 96, 114, 118, 130, 134, 140, 144, 145, 150, 157, 159, 161, 165, 169, 170, 172, 174 Fox, J. A., 134 Fox, R., 76 Friedman, P. A., 17 Gallagher, P. M., 68 Gebler, N., 74 Gibson, D., 133 Goyder, J., 76 Graesser, A. C., 144 Groves, R. M., 18, 31, 40, 50, 67, 69, 70, 73, 74, 79, 85, 93, 96, 118, 140, 161, 174, 207, 211, 215 Hadlock, T. D., 78 Hansen, S. E., 149, 151 Harkness, J. A., 119 Harris-Kojetin, B., 145 Heberlein, T., 67, 91, 96 Henry, G. T., 31, 84 Henson, R., 94, 133 Herrmann, D. J., 132 Hingson, R., 93 Hippler, H. J., 92 Hochstim, J., 93, 94, 96, 133 Hohner, P., 76 Houtkoop-Steenstra, H., 171, 181 Hox, J. J., 106 Hughes, A., 161

Hyman, H., 17 Ilgen, D., 197 Ingram, S., 100 Jabine, T. B., 132 James, J., 76 Jersten, H., 76 Jobber, D., 68, 91 Jordan, B., 171 Judd, C. M., 128 Kahn, R. L., 69, 93 Kalton, G., 31, 114 Kanouse, D., 76 Kaplowitz, M. D., 78 Keeter, S., 70, 70, 85 Kennedy, C., 70 Kim, J., 76 Kish, L., 31, 50, 174 Kohut, A., 70 Kosinky, M., 94 Krosnick, J. A., 128 Kulp, D., 47 Lake, J., 33 Laurent, A., 129, 133, 137, 157, 161, 173 Lavrakas, P. J., 48 Lee, E. H., 132 Lepkowski, J. M., 47, 172 Lessler, J. T., 134, 144, 145 Levine, R., 78 Likert, R., 17 Locander, W., 133, 215 Lohr, S. L., 31 Loosveldt, G., 17, 165, 169 Losciuto, L. A., 133 Louwerse, M., 144 Lyberg, L., 50, 69, 185 Magilavy, L., 69 Maher, M. P., 74 Mangione, T. W., 17, 93, 94, 96, 118, 134, 151, 157, 159, 161, 165, 169, 170, 172 Marin, B. V., 119 Marin, G., 119 Marquis, K., 129, 132, 137, 157, 173, 161 Marrett, C., 197

Índice onomástico 227 Martin, E., 18, 135, 137, 214 Martin, J., 186 Mathiowetz, N., 69 McDowell, I., 138, 144 McGanagle, K., 74 McHorney, C. A., 94 McNeeley, M. E., 161 McSpurren, K., 76 Meehl, P., 29, 110 Miller, C., 70 Miller, K. J., 185 Miller, P. V., 70, 169 Mohler, P. P., 119 Moore, D. L., 149, 152 Nichols, W. L., 186 Odom, D., 161 Oksenberg, L., 17, 114, 137, 150, 157, 169 Park, I., 50 Payne, S., 16 Penne, M. A., 134 Presser, S., 17, 48, 70, 70, 92, 118, 125, 128, 137, 140, 145 Raghunnathan, T., 74 Rasinski, K., 114, 129 Redline, C. D., 149, 152 Rhode, S., 162 Riesman, D., 162 Rips, L., 114, 129 Rizzo, L., 50 Robinson, D., 162 Robinson, J. P., 84, 138 Roman, A. M., 77, 94 Roth, A., 94 Rothgeb, J. M., 145 Sadowsky, S. A., 151 Saris, w., 29 Schaeffer, N. C., 119, 171 Schechter, S., 132 Schober, N. F., 18, 116, 171, 172 Schuman, H., 92, 118, 125, 137, 162 Schwarz, N., 92, 132

Shaver, P. R., 138 Shuttles, C. D., 48 Sieber, J., 77, 197, 199, 201 Silver, B., 162 Singer, E., 74 Sirken, M. G., 132 Smith, T. W., 94, 134 Stafford, F. P., 132 Starer, A., 47 Steeh, C., 48 Stember, C., 17 Strack, F., 92 Straf, M. L., 132 Stringfellow, V., 68 Suchman, L., 171 Sudman, S., 31, 83, 133, 137, 140, 161 Swinehart, J., 149 Tamai, J., 152 Tanur, J. M., 114, 132 Tarnai, J., 94, 128, 134, 149 Thurstone, L., 17, 124 Tourangeau, R., 94, 114, 129, 132, 145, 134 Tracy, P. E., 134 Tucker, C., 48 Turner, C. F., 18, 94, 134, 135, 137, 214 Vande de Vijver, F. J. R., 119 van der Zouwen, J., 93, 133 Van Hoewyk, J., 74 Villarroel, M. A., 134 Waksberg, J., 16, 44, 47 Ware, J. E., 94, 207 Warriner, K., 76 Weiss, C., 162 Whitaker, K., 127 Willis, G. B., 132, 140, 145 Wilson, B. F., 127 Winn, D. M., 129 Wittenbrink, B., 128 Wrightsman, L. S., 138 Yuan, Y., 48

Índice remissivo

Administração em grupo, 87, 104 Amostra da população atual, 214 Amostras estratificadas, 37-39 fazendo estimativas a partir das, 22-24, 29-30, 30-32, 51-58 tamanho das, 58-61 Amostras não probabilísticas, 31-32 características de viés das, 83-84 substituindo respondentes, 81-84 Amostras sistemáticas, 36-37 Amostragem, 30-32 agrupando, 41-49 amostragem aleatória simples, 36, 53 componentes do projeto de amostra, 30 estratificação, 37-39 implicações para o método de coleta de dados, 88-90 multiestágio, 41-51 por área de probabilidade, 15-16, 42-46 por cota, 81-84 probabilidades desiguais de seleção, 39 questões importantes na, 18-19 sistemática, 36-37 tamanho da amostra, 58-61 um estágio, 36-40 Amostragem probabilística, 14 área, 42-46 seleção e, 39-40, 50

American Association os Public Opinion Research (AAPOR), 66, 205 Análise de dados, preparando para abordagens para codificar e entrada de dados, 181-186 codificação e redução de dados, erros e, 186-187 construindo um código, 179-181 formatando um arquivo de dados, 177 limpeza de dados, 186-186 Anonimato, 77, 134 Arquivos de acompanhamento, 151 Ausência de respostas ajustando à amostra, 188, 191 amostras não probabilísticas e, 81-84 calculando taxas de resposta e, 65-66 como fonte de erros, 84-85, 210-212 lidando com o item, 191-192 reduzindo, 72-80 viés associado à, 66-72 Avaliação da questão arquivos de acompanhamento, 151 codificação do comportamento, 150-151 entrevistas cogniticas em laboratório, 144-146 grupos focais, 142-143 pré-testes, 149-153 reduzindo erros de levantamento e, 213 revisão crítica sistemática, 144

230 Índice remissivo Belmont Report, 196 Bureau of Labor Statistics, 13 Bureau of the Census, 14, 66 Celulares, levantamentos por telefone e, 32-34, 48-49, 88-89, 102-103 Censo decenal (EUA), 12-15 definido, 15 Veja também U.S. Bureau of the Census Codificação como uma fonte de erros, 186-187 do comportamento, 150-151, 213 Códigos, construídos para análise de da­ dos, 179-181 Computadores, uso em coleta de dados, (CATI, CASI e CAPI), 87-88, 92-93, 99100, 182-184 Confidencialidade garantindo a, 134 minimizando a quebra da, 200-202 Consentimento informado, 197-199 Dados do levantamento, analisando ajuste à ausência de respostas, 188-191 ajuste às deficiências da estrutura da amostra, 188-191 ajuste às probabilidade de seleção, 193 calculando os erros de amostragem, 195 estruturas deficientes, 188-191 lidando com a ausência de resposta ao item, 191-192 Dados de levantamentos, preparando pa­ ra análise codificação e entrada de dados, 185-186 construindo um código, 179-181 fontes de erros, 186-187 formatando o arquivo de dados, 177 179 limpeza de dados, 186 Dados nominais, 123 Dados ordinais, 123, 127 Department of Agriculture, 14-16 Discagem aleatória de dígitos (RDD), 16, 35, 46-49, 96-97

Efeitos do projeto entrevistadores e, 169-176 amostragem e, 53-58, 61-62, 194, 212 Entrevistadores resposdabilidades éticas dos, 201-203 erros relacionados aos, 169, 173-176, 213 recrutamento e seleção, 160-163 supervisão de, 166-169 treinamento, 163-165 validação do trabalho, 172 Erro aleatório, 25, 29-30 amostragem. Veja Erro de amostragem associado às respostas, 27-28 associado a quem responde as questões, 25-27 ausência de resposta como uma fonte de, 66-72, 84-85, 210-212 codificação e redução de dados como fonte de, 186-187 em perspectiva, 210-213 falta de conhecimento como uma fonte de, 130-132 formulação da questão e, 137-138 papel do entrevistador no, 173-176 projeto total de levantamento e, 18-20, 209 viés comparado ao aleatório, 29-30 Erro de amostragem, 25-27 agrupamento e, 57 calculando, 63-58, 194-195 erro total de levantamento e, 61-62 estratificação e, 57 probabilidades desiguais de seleção e, 57 Escalas, 126-130, 136-137, 193 Escalas subjetivas contínuas, 126 Escaneamento óptico, 184-186 Entrevista padronizada, 157-159 Estrutura da amostra, 25, 30-36 ajuste às deficiências na, 188-191 três características da, 32-35 Formatando um arquivo de dados, 178 Formulação da questão confiabilidade das respostas, 110-111 erro e, 137-138

Índice remissivo 231 passos preliminares na, 142-144 tipos de medidas e questões, 122-130 validade das respostas que descrevem estados subjetivos, 135-137 validade de relatos factuais, 130-135 Gastos do consumidos, padrões de, 12-13 Grupos de foco, 142-143

Levantamentos multímodo, reduzindo a ausência de respostas no, 78, 87 Levantamentos pela internet, 34 custos dos, 97 reduzindo a ausência de resposta nos, 77-78 vantagens e desvantagens dos, 105, 212 Literary Digest presidential, 68

Hiperamostragem, 39-40, 58 ICPSR. Veja Inter-university Consostium of Political and Social Research Institutional Review Board, (IRB), 196-199 Instrumento de levantamento avaliação pré-levantamento, 144-146 definindo objetivos, 142-144 duração do, 152-153 passos para a formulação de questões, 142-144 pré-testes de campo, 149-153 processo de desenvolvimento, 140 projeto, formato e leiaute do, 147-149 Instrumentos assistidos por computador, eliminando os erros dos, 152-153 Interferência na pesquisa de levanta­men­ to, 22-24, 29-30 Inter-university Consortium of Political and Social Research (ICPSR), 143-144 Interval de dados, 123 Levantamentos por correio, 75-77 custos dos, 97 retorno antecipado, 210-212 reduzindo a ausência de respostas nos, 75-77 vantagens e desvantagens dos, 104 Levantamento por telefone, 32-34 custos do, 97 eficiência do, 96-97 erros e, 212 reduzindo a ausência de resposta no, 72-75 vantagens e desvantagens do, 102-103 Levantamento social geral, 68, 142-143

Medições níveis de, 123-124 Não respondentes, fazendo um levanta­ mento dos, 79-80 National Academy od Sciencies, 197 National Commission for the Protection of Human Subjects, 196 National Crime Victimization Survey, 1214, 131 National Health Interview Survey, 12-13, 49, 66, 214 National Opinion Research Center, 68, 142-143 Office of Management and Budget, 67-68 Pagando respondentes, 75-76 Ponderação, 39-40, 188-191, 193 Probabilidades de seleção, 35, 39-41 ajustando às, 193 Pré-teste de campo, 149-151 Pré-teste do questionário autoadministra­ do, 151 leiaute do, 148-149 Projeto total de levantamento, 17-18, 209, 215 Questões abertas e fechadas, 125-127 aumentando a validade factuais, 129-135 como medidas, 16, 27-28 concordo/não concordo, 127-130 conteúdo das, métodos de coleta e, 95 efeitos de conveniência social, 132-135

232 Índice remissivo

entendimento da, 130 erros relacionados ao entrevistador e, 169 esboçando, 142-143 escalas problemáticas em, 136-137 evitando múltiplas, 117-118 expectativas-padrão de resposta, 119-122 falta de conhecimento e, 130-132 formulário de, métodos de coleta de da­ dos e, 91-93 opção “não sei”, 118 propriedade de uma boa, 110-111 significado consistente das, 113-114 termos pobremente definidos e, 114-117 testagem de grupos focais, 142-143 tipos de, 124-130 validade das subjetivas, 136-137, 195 Questões concordo/não concordo, 127-130 Questões éticas em levantamentos de pes­ quisa, 196-197 benefícios aos respondentes, 201 informando os respondentes, 197-199 protegendo os respondentes, 199-202 responsabilidades éticas dos entrevis­ta­ dores, 202-203 Razão de dados, 124 Respondente representante, 79, 130 Respondentes benefícios do levantamento para, 201 informando os, 197-199 protegendo os, 199-202 representante, 79 substituindo, 81-84 treinando e motivando, 169-171, 173 Respostas, aumentando a confiabilidade das, 110-122 Revisão cognitiva das questões em labo­ ratório, 144-146, 213 Sondando, 157-158, 169-169 Serviços disponíveis e, 98 assistido por computador, 87-88, 92, 99 101, 182-184



amostragem e, 88-90 comparação resumida de, 101-107 conteúdo da questão e, 93-95 custos e, 19, 97, 213-214 forma da questão e, 91-93 problemas na escolha da estratégia, 88 101 questionários autoadministrados e, 134 taxas de resposta e, 95-97 tempo envolvido em, 99 tipo de população e, 90-91

Tarefas do entrevistador conquistar cooperação, 155-157 entrevista padronizada, 157-159, 171 IRB. Veja Institutional Review Board perguntar questões, 157-158, 169-172 registrar respostas, 159 relacionadas aos respondentes, 159, 169 171 sondando respostas incompletas, 157 158, 169-169 treinar e motivar respondentes, 157-158, 169-171, 173 Taxas de resposta calculando, 65-66 efeitos sobre os erros, 69-72, 84-85 monitorando entrevistadores, 166-168 qualidade da equipe de pesquisa e, 213 Validação do trabalho dos entrevistadores, 172 Validade, 27-28 de medições subjetivas, 136-138 de respostas factuais, 27-30, 130-135 Viés associado à ausência de resposta, 66-72, 84, 210-212 como erro em respostas a questões, 29 30, 132-135 como erro em amostragem, 25-27, 29 30, 32-35 em amostras não probabilísticas, 84