Las debilidades metodológicas de la encuesta Cadem

En los últimos años, se ha venido produciendo en Chile una avalancha de encuestas, cuyo propósito es conocer las opiniones, juicios y percepciones de la ciudadanía en diferentes ámbitos de la esfera pública, especialmente el ámbito político. En este aspecto, destaca actualmente la encuesta semanal “Plaza Pública CADEM” cuya publicación, además de generar debate entre los actores políticos, parece influir en la toma de decisiones de algunos de esos actores.

No obstante la importancia que ha adquirido esta encuesta en la vida política del país, no existe un correlativo análisis sobre la adecuación de los procedimientos técnicos a través de los cuales se obtienen los resultados que se publican tan profusamente y que provocan tanto impacto en la esfera política. La ausencia de este análisis es de crucial relevancia, por cuanto los resultados obtenidos en la encuesta dependen de la metodología utilizada en ella. En este artículo, me propongo suplir en parte esta falencia sometiendo la encuesta Plaza Pública Cadem a un examen de sus principales aspectos metodológicos.

En primer lugar, conviene precisar que los procedimientos científicos-metodológicos que sustentan a la técnica de encuestas por muestreo –principalmente el método probabilístico- han sido codificados y fundamentados racionalmente en el mundo científicamente desarrollado, sus estándares de calidad son precisos y claros y se han desarrollado durante décadas de acumulación teórica e investigación básica y aplicada, por lo que ha llegado a ser  una disciplina con cánones definidos que permiten maximizar la precisión de sus resultados.

En materia de requisitos técnicos, nos parece relevante destacar los relativos a la representatividad y tamaño de la muestra, las técnicas de recolección de información, la redacción de las preguntas y la extensión de los cuestionarios, respecto de los cuales, la  encuesta que nos ocupa dista de cumplir con un “mínimo técnico” aceptable.

En relación a la muestra, se trata de una encuesta telefónica a celulares de prepago y post pago; en la encuesta número 241 se informa de un tamaño muestral de 715 entrevistas logradas, para lo cual  se efectuaron 3.285 llamados, con una tasa de éxito del 21,76%.  Cabe preguntarse si hubo un solo procedimiento de selección de  3.285 celulares para lograr los 715 casos efectivos o se realizó un muestreo en forma secuencial hasta lograr 715 respuestas. El optar por uno u otro procedimiento afecta las probabilidades de selección de cada sujeto incluido en la muestra y por lo tanto, afecta la expansión y ponderación de los datos realizada posteriormente. La “ficha técnica” que precede la presentación de los resultados no dice nada acerca de la “no respuesta”.

Por otro lado, se informa un error de muestreo de 3,7% el cual es correcto para un muestreo aleatorio simple. Sin embargo, en la ficha técnica se indica  que la muestra es “estratificada previamente por región”. Si el muestreo es estratificado, entonces el error de muestreo es diferente. También se menciona que el muestreo es probabilístico con “selección aleatoria de individuos”. Si el muestreo es a celulares, ¿por qué hay una etapa para seleccionar a los individuos, cuando se supone que el celular es personal? Si por alguna razón existiese esa selección de individuos, entonces el muestreo sería en dos etapas, por lo cual todos los análisis debieran considerar este hecho.

Por otro lado, la ficha técnica  da cuenta de un proceso de ponderación para que los distintos segmentos (ambos sexos, grupos etarios, niveles socioeconómicos y regiones/ciudades) estén adecuadamente representados en los resultados. Convengamos en  que la ponderación es un método aceptado y probado para restituir el peso que cada segmento tiene en el universo, pero no funciona cuando algunos grupos son demasiado pequeños en la muestra realmente  obtenida. Dado que no se  reporta  la distribución de la muestra por sexo, edad, etc. no existe información para evaluar la efectividad de la ponderación.

Respecto al cuestionario, muchas veces se formulan preguntas que suponen o que “idealizan” a un ciudadano sobre-informado en todos los asuntos de interés público y, por lo tanto, capaces de dar una opinión racional sobre temas que, además de haberse informado, les interesa como ciudadanos responsables. George Gallup, el precursor de  las encuestas de opinión afirmaba que “el pueblo no tiene el tiempo ni la voluntad de considerar todos los problemas a los que se enfrentan sus gobiernos…los ciudadanos solo pueden emitir un juicio sobre cuestiones muy generales de política pública”. Sin embargo, la ya mencionada encuesta 241 solicita que las personas opinen sobre la “integración del sistema tributario”, “la defensoría del contribuyente” y otros conceptos similares dudosamente conocidos por la gran masa de ciudadanos como para emitir una opinión informada sobre ellos.

También merece reparo la extensión de los cuestionarios. Los manuales básicos de metodología de encuestas enseñan que las personas tienen un margen de tolerancia entre 10 y 12 minutos para mantenerse atentos e interesados respondiendo una encuesta, a menos que el tema los afecte personalmente, que no es el caso de las encuestas en cuestión. A modo de ejemplo, la encuesta Plaza Pública CADEM 230 contiene 72 preguntas –incluye el conocimiento y aprobación de 23 personajes políticos- imposibles de responder en ese tiempo. Además es presumible que muchas personas no contestaron la encuesta completa, abandonando en algún momento. No sabemos si estos casos incompletos fueron totalmente desechados o si algunos de ellos se incluyen en los 715 logrados, en cuyo caso, el margen de error de las preguntas que no alcanzaron las 715 respuestas es mayor al informado.

Respecto a la presentación de los resultados, la encuesta 241 reporta que el 54% no vio la cadena nacional donde el Presidente Piñera anunció medidas para modernizar el sistema tributario. En la pregunta siguiente se solicita evaluar dicha cadena nacional, pero no se indica si esta pregunta se aplicó a toda la muestra de 715 individuos o solo a los que vieron la cadena nacional. Lo mismo ocurre con el 54% que sabe poco o nada de dicho proyecto, sin que se especifique si las preguntas sobre aspectos puntuales del mismo son respondidas  también por estas personas que declararon saber poco o nada sobre el proyecto.

Por último, está la fotografía obtenida en una encuesta específica, y por otro lado, está la película (tendencias) que se presenta en cada informe mediante gráficos comparativos. Respecto de esta última, las tendencias presentadas no son válidas ya que los procesos de muestreo son diferentes: hasta la encuesta número 217 (publicada el 12 de marzo del 2018), la población en estudio estaba constituida por los habitantes mayores de 18 años de las 15 regiones de 73 comunas con más de 50 mil personas, y las encuestas eran a teléfonos fijos y celulares además de entrevistas cara a cara en puntos de afluencia en comunas específicas de tres regiones. Desde la encuesta número 218 (publicada el 19 de marzo del 2018) el muestreo es respecto de celulares en población de 18 años y más de las 15 regiones. Por lo tanto, los resultados no son comparables, por tratarse de poblaciones distintas, muestra distinta y técnica de recolección de la información distinta.

En conclusión, estamos frente a una encuesta con evidentes debilidades metodológicas que cuestionan seriamente la validez de sus resultados y que, no obstante, ha logrado un inmerecido protagonismo en el acontecer político del país.