José no tiene la menor idea sobre cuál será el resultado electoral del día de hoy, solo sabe que el A favor (o el En contra, da lo mismo), obtendrá entre el 40% y el 60% de los votos. A pesar de lo anterior, José decide jugarse por un resultado en la polla que se arma durante el almuerzo familiar y elige un número al azar entre 40 y 60. ¿Cuál es la probabilidad de que haga una buena proyección, digamos, que se equivoque en tres puntos porcentuales o menos? Esa probabilidad es un tercio. Sin tener la menor idea, José puede hacer una proyección más que razonable (e incluso a veces muy precisa), simplemente adivinando.

Al igual que José, una encuesta puede acertar aun si su metodología tiene deficiencias serias, sus datos son poco confiables y sus cálculos están errados, solo por casualidad. En consecuencia, haber acertado alguna vez no constituye un sello de calidad. Se necesita más que eso.

Nuestro interés en las encuestas electorales tiene varios orígenes. Primero, reducen la incertidumbre sobre un resultado que nos importa y los seres humanos hacemos muchas cosas para reducir las incertidumbres. Segundo, las encuestas pueden afectar las expectativas de los votantes, lo que a su vez influye en sus decisiones de voto. Si mi opción favorita no tiene posibilidades de ganar, es menos probable que vaya a votar o que contribuya para que gane. A partir de este segundo objetivo, surge la tentación de hacer proyecciones electorales que favorezcan a una opción. Hemos visto en el pasado cómo las encuestas encumbran a ciertos candidatos y cómo relegan a otros al olvido solo para enterarnos, el día de la elección, que la realidad era bien distinta.

Es deseable facilitar a la ciudadanía alguna manera para distinguir una encuesta seria de aquellas que no son más que estrategias de campaña, mejorando así la calidad del proceso democrático. Existen varios requisitos de transparencia que contribuirían a este objetivo. Primero, la encuesta debe explicitar la institución que la realiza, así como las personas responsables. Segundo, junto a los resultados debe incluir una detallada descripción de la metodología empleada. ¿Cómo se selecciona a las personas que serán encuestadas? ¿Cuántos de estos respondieron la encuesta? ¿Cómo se procesan los resultados para hacer las proyecciones? Tercero, debe hacer pública la base de datos completa con las respuestas de la encuesta. Cuarto, la institución que realiza las encuestas debe transparentar eventuales conflictos de interés, por ejemplo, si sus directivos participan en alguna de las campañas o si la empresa ha realizado trabajos para algún candidato.

Existen encuestas que no cumplen con varias de estas condiciones. Un ejemplo reciente es la encuesta B&W: no publica la metodología en su página web, ni tampoco sus bases de datos. En una investigación, Ernesto Laval encontró un documento detallando la metodología. El punto de partida es un panel de 180 mil personas de donde se selecciona a las que serán encuestadas. No se indica cuántas se contactan, solo se sabe que responden alrededor de mil.

Un problema importante es que cualquiera puede inscribirse en el panel, por lo cual, la encuesta está expuesta al “sesgo de autoselección”. El grupo de personas a quienes les gusta participar en el panel B&W puede tener preferencias muy distintas al universo total de electores. Además, existe la posibilidad de que los adherentes a una de las opciones se coordinen para inscribirse masivamente, en cuyo caso las proyecciones que se obtengan favorecerán a esa opción.

Cumplir con las cuatro condiciones anteriores no garantiza la precisión de las proyecciones. Son muchas las elecciones en que la mayoría de las encuestas tuvieron errores superiores a tres puntos porcentuales. Tanto en Chile, como sucedió para el plebiscito constitucional del año pasado, como en el exterior, en la reciente segunda vuelta presidencial argentina. ¿Por qué, a pesar de los avances tecnológicos, las encuestas son cada vez menos confiables?

Parte de la explicación es que la mayoría de las encuestas se realizan de manera telefónica y la tasa de respuesta a estas encuestas viene cayendo en todo el mundo. Para la Cadem, por ejemplo, el porcentaje que responde está en torno al 10 por ciento. Entonces, es necesario suponer que quienes responden y no responden tienen las mismas preferencias, un supuesto improbable.

Para distinguir entre las encuestas que cumplen con las condiciones de transparencia, será importante tener una medida simple y efectiva de su precisión. ¿Cómo evaluamos la precisión de una encuesta? Una posibilidad es calcular su margen de error promedio en las últimas cinco elecciones. Una encuesta con error promedio de tres por ciento es más confiable que una con seis por ciento. Y, aunque se puede acertar una o dos veces con una mala metodología, andar cerca cinco veces consecutivas sugiere que no se trata de suerte y que algo se está haciendo bien.

Lamentablemente, la veda de encuestas (la prohibición de publicarlas 15 días antes de la votación) nos obliga a comparar los resultados de la elección con encuestas muy anteriores; sería mejor hacerlo con encuestas poco antes de la elección.

Está claro que esta veda ha sido contraproducente. Las encuestas siguen circulando y a veces es difícil saber si son reales o inventadas. Eliminar la veda y exigir, en cambio, que se cumpla con requisitos mínimos de transparencia como los expuestos aquí, puede contribuir a identificar aquellas encuestas poco serias y a facilitar que la ciudadanía identifique las encuestas más precisas entre las restantes.