É possível medir bem na Ciência Social
Como avaliar a validade das medidas na Ciência Política sem cair em disputas ideológicas, nem em fórmulas filosofantes.
Abraham Palatnik, Objeto cinético (Foto: O Globo)
Será que estamos medindo o que achamos que estamos medindo?
Imagine que você quer saber se determinado país é democrático. Parece simples: é só ver se há eleições livres. Certo? Mas e se há eleições regulares e os militares controlam, sem contestação, setores-chave do governo? E se o direito ao voto for universal, mas não houver liberdade de imprensa?
Essas ambivalências revelam um problema de fundo da pesquisa científica na ciência social: como garantir que os dados que usamos de fato representam o que queremos estudar?
Em 2001, Robert Adcock e David Collier ofereceram uma resposta convincente e acessível a essa pergunta.
Adcock, Robert and David Collier. 2001. “Measurement Validity: A Shared Standard for Qualitative and Quantitative Research”. American Political Science Review 95(3): 529-546.
Para contextualizar melhor, na época da publicação:
Robert Adcock era doutorando no Departamento de Ciência Política da UC Berkeley.
David Collier era Professor de Ciência Política na mesma universidade.
Este artigo se tornou uma referência clássica na literatura metodológica de Ciência Política justamente por conseguir construir uma ponte entre as tradições quantitativa e qualitativa, algo que não era comum nos debates metodológicos do início dos anos 2000.
Abraham Palatnik (Coleção Roberto Veirano).
Uma bússola para medir ideias abstratas
Para começar, os autores propõem uma distinção fundamental: não basta perguntar se estamos medindo algo. É preciso perguntar o que exatamente estamos medindo.
Para isso, sugerem que todo processo de medição passa por quatro etapas:
1. O conceito de fundo: o que “democracia”, “populismo” ou “corrupção” evocam na linguagem comum.
2. O conceito sistematizado: a definição precisa adotada por um estudo.
3. O indicador: a ferramenta que transforma o conceito em dado observável.
4. A pontuação: o número, categoria ou rótulo atribuído a cada caso.
A validade da medição está em garantir que esse percurso não se perca pelo caminho.
Abraham Palatnik.
Contexto importa: a mesma régua nem sempre serve para tudo
Um alerta importante do artigo é que uma medida válida num lugar pode falhar totalmente em outro. Participação política pode significar votar num país, protestar em outro, ou engajar-se online em um terceiro.
Para lidar com isso, os autores sugerem três estratégias:
Olhar para onde faz sentido olhar (“Context-specific domains of observation”): nem sempre o fenômeno político que queremos estudar se manifesta da mesma forma em todos os lugares. Por isso, precisamos ser sensíveis ao contexto ao escolher onde procurar evidências empíricas. Essa estratégia implica reconhecer que, para capturar o conceito de forma válida, talvez seja preciso mudar o foco empírico dependendo do caso, mesmo que o conceito teórico permaneça o mesmo.
Adaptar o indicador ao contexto (“Context-specific indicators”): às vezes, a pergunta certa muda dependendo da realidade. Ou melhor: às vezes, o mesmo conceito exige formas distintas de ser medido dependendo do país, da época ou da estrutura institucional. Essa estratégia consiste em criar indicadores diferentes para cada contexto, mas todos coerentes com o mesmo conceito sistematizado. A ideia é preservar a comparabilidade conceitual mesmo que os instrumentos de medição variem.
Ajustar sem abrir mão da comparação (“Adjusted common indicators”): às vezes é necessário usar o mesmo indicador para todos os casos (por motivos de padronização, replicação ou praticidade), mas isso não significa ignorar as diferenças entre contextos. A solução é ajustar os escores ou aplicar pesos que compensem essas diferenças. Essa estratégia busca não abrir mão da uniformidade do indicador, mas reconhecer e corrigir o viés potencial causado por diferenças estruturais entre os casos.
Abraham Palatnik, Objeto cinético Aranha Azul (1966). Galeria Simões de Assis.
Três jeitos inteligentes de conferir se a medida faz sentido
Adcock e Collier sugerem três abordagens complementares para validar uma medida. São como “checagens cruzadas” para saber se estamos no caminho certo.
1. Está tudo aí dentro? (em jargão: validação de conteúdo)
Essa validação pergunta: o indicador contempla tudo o que o conceito quer dizer?
Pode faltar coisa importante (como o voto feminino em índices antigos de democracia liberal), ou pode haver elementos estranhos ao conceito (como incluir estrutura partidária num índice de liberdades civis).
Um exemplo revelador vem do trabalho de Pamela Paxton sobre democracia. Ela percebeu algo estranho: vários pesquisadores incluíam “sufrágio universal” em suas definições teóricas de democracia, mas na hora de medir, consideravam apenas o voto masculino. Países eram classificados como “democráticos” mesmo quando metade da população não podia votar. Paxton criou índices alternativos que incluíam o sufrágio feminino e mostrou que isso mudava drasticamente as classificações históricas.
Estudos qualitativos ajudam aqui: quando um caso classificado como “democracia plena” parece tudo, menos democrático, é hora de revisar o indicador ou o conceito. Às vezes, um caso fora da curva nos obriga a pensar melhor.
2. Medidas diferentes, resultados parecidos? (em jargão: validação convergente e discriminante)
Aqui a pergunta é dupla:
Convergência: diferentes indicadores do mesmo conceito produzem resultados similares?
Discriminação: esses indicadores se distinguem bem de medidas de coisas diferentes?
Se duas pesquisadoras usam abordagens distintas para medir “polarização”, é esperado que os resultados sejam próximos. E que esses resultados não se confundam com, por exemplo, fragmentação partidária.
Quando isso não acontece, é um sinal de alerta. Mas cuidado: às vezes, a diferença é boa... Pode indicar que estamos captando aspectos negligenciados por outros.
Abraham Palatnik (2019). Galeria Simões de Assis.
3. A medida bate com o que já sabemos? (em jargão: validação nomológica)
Neste caso, a gente parte de uma teoria confiável, como a ideia de que democracias não guerreiam entre si, e testa se a medida que estamos usando confirma esse padrão.
Se ela confirma, é um bom sinal. Mas há risco de circularidade: não podemos usar a mesma teoria que inspirou o conceito para validá-lo. A verificação precisa vir de outro lugar.
Arend Lijphart fez isso de forma elegante ao estudar a Índia.
Ele queria classificar o país como uma “democracia consocional”, um tipo especial de democracia onde diferentes grupos étnicos e religiosos compartilham o poder.
Primeiro, ele mostrou que a Índia tinha as características descritivas desse modelo: coalizões multiétnicas, autonomia para grupos minoritários, poder de veto mútuo. Mas não parou por aí. Lijphart também demonstrou que os fatores que a literatura identifica como causas da consociação, sociedade fragmentada, elites pragmáticas, ameaças externas, estavam presentes na Índia. Era como se ele dissesse: “não só a Índia parece consocional, como também chegou lá pelos caminhos que a teoria prevê”.
Abraham Palatnik, Objeto cinético (1986), Museu de Arte Moderna de São Paulo.
Medição não é mágica
O principal mérito do artigo está em mostrar que medir é uma atividade conceitual, não apenas técnica. Não existem indicadores perfeitos, mas existem indicadores melhores. São aqueles que tornam explícitas suas escolhas e enfrentam as tensões do mundo empírico.
Os autores também fazem um apelo à colaboração entre métodos. Pesquisadores(as) quantitativos e qualitativos compartilham os mesmos dilemas fundamentais, mesmo que usem linguagens e ferramentas distintas.
Móbile de Alexander Calder.
Medir é interpretar com método
Adcock e Collier mostraram que a medição, longe de ser um procedimento técnico neutro, envolve decisões conceituais que afetam diretamente a qualidade das inferências empíricas. Avaliar a validade de medidas exige explicitar essas decisões, justificar escolhas e reconhecer os limites dos indicadores utilizados. Mas não podemos abrir mão de medir.
Qual a opinião do senhor sobre sociologia política? Mais especificamente, um ppg de sociologia político, em contraposição a um só de sociologia, ou só de ciência política, ou de ciências sociais?