Andrés Scherman y errores de encuestas: “Equivocarse en 18 puntos no es quedarse cortos”

“Según la información que yo tengo, la que yo vi, no decía eso”, comenta Andrés Scherman Teitelboim al referirse a un artículo del diario La Segunda del día 5 de septiembre, donde daban por “encuesta ganadora” del Plebiscito a Activa Research.

Su director ejecutivo, Ramón Cavieres, aseguró que durante el período de veda, el 28 de agosto, su medición supuestamente marcó 59,9% para el Rechazo y un 40,01% para el Apruebo. “La que más se acercó”, tituló la noticia del vespertino. 

Sin embargo, el investigador del Laboratorio de Encuestas y Análisis Social (LEAS) de la Universidad Adolfo Ibáñez, plantea que, si bien Pulso Ciudadano fue la encuesta que más se acercó, contrario a lo que afirma Cavieres, erró por bastante.

“Activa entrega varios resultados en la semana de veda, pero hace un pronóstico electoral con el votante probable en la que arroja 55% para el Rechazo y 44% para el Apruebo. Y, efectivamente, fue la que más cerca estuvo, pero no marcó 59% para el Rechazo, ese no es el pronóstico electoral que ellos presentan”, sostiene.

El Desconcierto conversó con el especialista para saber que hay detrás de las fallidas mediciones del Plebiscito, pues, según él, ninguna estuvo a la altura del desafío que implicaba la primera elección con voto obligatorio en más de una década.

Las bajas tasas de respuesta

– En términos generales ¿Qué le pareció el desempeño de las diferentes encuestas y sondeos de opinión en este plebiscito?

En general los resultados de las encuestas estuvieron lejos del resultado final que tuvimos. De alguna manera, estuvieron acertadas en decirnos qué opción se iba a imponer, pero en un escenario donde entre las dos opciones hay 24 puntos de diferencia, tampoco es una gran hazaña. Se suele valorar más cuando las encuestas son precisas en escenarios estrechos.

Fueron muy imprecisas y parte del trabajo de las encuestas tiene que ver con las magnitudes de apoyo, y no sólo cuál es la opción que va a ganar. Si las encuestas que miden los niveles de pobreza, los niveles de consumo de drogas, los niveles de victimización, tuvieran errores de esa magnitud respecto al parámetro real, estaríamos en un problema enorme.

En ese sentido, creo que no fue para nada una buena elección para las encuestas, y hay varias razones que pueden explicar eso, pero hay una fundamental.

– ¿Cuál sería esa?

Salvo la encuesta CEP, que cada vez está siendo menos una encuesta electoral, la mayoría de las encuestas son telefónicas o paneles online, y si uno ve esas encuestas, las tasas de respuesta son bajas. En las encuestas telefónicas es entre el 10% y 12%, y en las encuestas online es bastante más baja. Tendría que revisar las fichas técnicas de cada una, pero pueden ser de 3%, de ese orden de magnitud. Eso significa que suelen contestar las personas que tienen alto interés en política o en la elección propiamente tal.

Entonces, el modelo de las encuestas telefónicas u online puede ser útil cuando hay voto voluntario, pero demostraron ser completamente insuficientes para una elección con voto obligatorio, donde segmentos muy grandes de la población (30%-40%), que no había votado en elecciones anteriores, fue a votar.

“Modelos extremadamente baratos y blandos”

– Entonces, si con los mecanismos que se utilizan actualmente es difícil capturar la postura de los segmentos que no están tan interesados en la política, ¿Cómo se podría abordar esto en futuras elecciones donde el voto sea obligatorio?

Hay distintas formas. Hay países donde, en general, aunque el voto es voluntario la participación es muy alta, rondando el 80%, por lo que no se encuentran con ese problema. Pero hay países de América Latina donde también se ha intentado resolver esto, y lo han hecho de forma más exitosa que nosotros, como Colombia o México, donde hacen encuestas cara a cara en el período inmediatamente anterior a la elección, la semana previa. 

¿Cuál es el problema de las encuestas cara a cara en Chile? Que el trabajo de campo se demora como un mes o a veces más, y después hay que procesar los resultados, entregarlos, y cuando se entregan, en el fondo estamos viendo una foto de lo que pasaba hace un mes y medio, y no de lo que está pasando en el momento.

– ¿Cómo se soluciona esto?

Lo que han hecho en México y Colombia es hacer encuestas cara a cara en las semanas previas a la elección, pero con ejércitos de encuestadores en las calles, que permiten minimizar el trabajo de campo y hacerlo en una semana. Pero eso demanda financiamiento, es algo caro de hacer, y en general todos los modelos de encuestas que tenemos en Chile, salvo la CEP, son modelos extremadamente baratos y blandos, la inversión que se necesita es muy baja.

Entonces, sería un cambio gigantesco que implicaría un nivel de inversión enorme, cosa que las empresas en Chile no han hecho. 

“Un error enorme”

– Pese a todo lo que me comentas, Roberto Izikson, de Cadem, explicó que solo “se quedaron cortos” ¿Coincide?

Durante el período de veda, en el caso de Cadem, esta medición arrojó 53% para el Rechazo y 47% para el Apruebo. De hecho, ellos incluso dibujaron un intervalo de confianza en que muestran que las opciones estaban en un empate técnico en el fondo. 

Equivocarse en 18 puntos de diferencia respecto al parámetro no es quedarse corto, es un error enorme. Imagínate si calculáramos los niveles de pobreza y nos equivocáramos en un 18%. Podríamos decir que medimos que hay pobres, pero nos equivocamos en 18 puntos en la estimación. O sea, hacer encuestas no es acertarle al ganador, es medir los órdenes de magnitud de los apoyos.

Criteria también tuvo un error enorme, incluso más grande que el de Cadem, porque hicieron circular una encuesta en el período de veda que decía que si votaba el 70% de la población el Rechazo sacaba 52% y el Apruebo 48%. La encuesta de la UDD también dio 53% contra 47% a favor del Rechazo, pero dio como ganador al Apruebo en la Región Metropolitana, y aseguraba que en todos los distritos de Santiago también se imponía esa opción, salvo en el 11 (Vitacura, Las Condes, Lo Barnechea, Peñalolén y La Reina).

– ¿Qué me dices de los modelos matemáticos que también surgieron durante esta campaña?

Yo no los conozco bien, nunca he trabajado en esa área, pero claramente los modelos matemáticos estuvieron muchísimo más lejos que las encuestas respecto al resultado de la elección. 

El futuro de las encuestas

– ¿Hacia dónde deberían caminar las encuestas en Chile hoy?

Si se aprobara el voto obligatorio, los métodos que tenemos hoy no sirven. Va a haber que buscar alternativas. En Chile, nuestras mejores encuestas de políticas públicas son cara a cara, y hay buenos organismos que pueden hacer esas encuestas, pero el tema son los plazos. Necesitamos que las encuestas electorales nos entreguen una foto de lo que está pasando ahora y no hace un mes y medio, y eso significa una inversión de dinero mucho más fuerte.

Veo improbable que las empresas encuestadoras estén dispuestas a invertir esa cantidad de dinero. Y sería una mala idea que hubieran encuestas estatales, pero no sería mala idea que hubiesen fondos estatales que sean concursables y que los principales centros de encuestas pudieran participar en las licitaciones y adjudicarse esos dineros, adecuándose a los tiempos de entrega y a los resultados que se buscan.

– O sea, igual se requiere una inversión del Estado en ese sentido.

Es una posibilidad, se hace en algunos países y en otros no. Otra opción es que instituciones participen de forma más activa en este tipo de estudios, como por ejemplo las universidades, que en Chile tienen estudios de opinión pública más anuales y no participan de estos procesos.