El dato se conoció la semana pasada, cuando Nate Cohn, experto electoral del New York Times, respondió preguntas de sus lectores sobre la encuesta electoral que realiza regularmente ese medio. Para que una persona conteste la encuesta es necesario hacer 250 llamadas, es decir, la tasa de respuesta es del 0,4%. Por eso las encuestas son cada vez más caras: un operador del centro de llamados demora dos horas y media en ubicar a una persona dispuesta a responderla.

¿Cuándo funcionan?

A todos nos parece increíble que encuestando a mil personas se pueda proyectar el resultado de una elección donde votan millones de electores. Lo increíble es que, bajo ciertas condiciones, se puede. ¿Cuáles son esas condiciones?

Una primera condición es que la muestra de encuestados sea probabilística. En su versión más sencilla, esto significa que todos quienes voten tengan la misma chance de ser encuestados. Si además la tasa de respuesta es de 100% y se puede identificar quiénes en la muestra irán a votar, el milagro será realidad. Proyecciones basadas en una encuesta de mil votantes tendrán un margen de error de 3% para elecciones en Uruguay, Chile y Brasil. Donde un margen de error de 3% significa que la proyección de solo una encuesta entre 20 tendrá un error superior a este porcentaje. Da lo mismo que en Brasil vote mucha más gente que en Uruguay, la precisión de las proyecciones no depende de la fracción de electorado que se encuesta, sino del número de encuestados. Y vale mucho más una muestra probabilística de mil votantes que una no probabilística de un millón: el fiasco más grande de la historia de las proyecciones electorales (Literary Digest y la elección de Roosevelt en 1936) contó con las respuestas de más de 2 millones de encuestados.

¿Por qué no funcionaron para el plebiscito?

Todas las encuestas realizadas para el plebiscito de salida subestimaron la votación del Rechazo. Por ejemplo, la encuesta con mayor cobertura mediática proyectó pocos días antes que el Rechazo obtendría un 53% , con un margen de error de 3%, lo cual sugería un “empate estadístico”. En realidad ganó el Rechazo con un 62%.

¿Qué pasó? Existen dos explicaciones que se complementan. La primera es que es necesario determinar cuáles encuestados irán a votar y cuáles no (los votantes probables). Esto es difícil en general y se podía anticipar que sería mucho más difícil aún para el plebiscito, porque era la primera votación en la historia de Chile con inscripción automática y voto obligatorio. El número de votantes superó los 13 millones, comparado con poco más de 8 millones en la segunda vuelta presidencial, un incremento mucho mayor que el esperado.

La segunda explicación es la baja tasa de respuesta, 12% para la encuesta antes mencionada. Suponer que el 88% que no respondió se comporta igual que el 12% que respondió no deja de ser un supuesto heroico y se necesita algo así para validar las proyecciones. El ejemplo paradigmático en que no se cumple este supuesto es cuando se pregunta a los encuestados si les gusta responder encuestas. Por motivos obvios, el porcentaje al que les gusta será mucho mayor entre quienes responden que entre quienes no responden.

Las encuestas hacen correcciones que reducen los sesgos derivados de la baja tasa de respuesta. Estas correcciones equivalen a suponer que en subgrupos de la población (por ejemplo, mujeres, de nivel socioeconómico alto, de entre 30 y 50 años) quienes responden y quienes no responden votan igual. Luego de dar la explicación anterior en un tono más benevolente, el experto electoral del New York Times antes mencionado se ve obligado a reconocer que después de los errores en las proyecciones de su encuesta en 2020, “es difícil evitar preguntarse si la gente que responde el teléfono puede ser más proclive a votar demócrata que quienes no responden”. Agregando a continuación que están realizando “costosas investigaciones multimetodológicas para responder esta pregunta, en la medida que sea posible responderla”.

También tendemos a ser poco exigentes cuando evaluamos la performance de las proyecciones electorales. Varios analistas argumentaron que las encuestas no lo hicieron mal para el plebiscito porque casi todas acertaron que ganaría el Rechazo. Con esa valla, alguien que no tiene la menor idea de lo que está haciendo acertará la mitad de las veces. Un criterio más razonable y justo es que la proyección se sitúe a una distancia menor del resultado efectivo que el margen de error reportado, al menos la mayoría de las veces. Si se proyecta que el Rechazo obtendrá un 53% y el margen de error es 3%, entonces que el Rechazo obtenga entre 50 y 56%. Para el plebiscito de salida, casi todas las encuestas no pasan el test anterior.

Nuestra locura

Es muy difícil hacer proyecciones precisas con tasas de respuesta tan bajas y la experiencia reciente ha demostrado que efectivamente es así, en Chile y en el mundo. Sin embargo, los medios y a quienes nos interesa la política, seguimos las encuestas con un interés casi obsesivo, muchas veces asignándoles una confiabilidad que no tienen. ¿Por qué?

Una explicación posible es que las encuestas tienen una demanda incombustible. Nos interesan, creemos que nos ayudan a tomar decisiones y nos entretienen. Por eso seguiremos teniendo analistas que hacen sus proyecciones en cada ciclo electoral, a veces basados en encuestas y otras veces ni siquiera en eso. Algunas veces andarán cerca, otras veces lejos, en general se equivocarán mucho más de lo que sugiere el margen de error que reportan. A mitad de camino entre el método científico y los horóscopos.