sábado 16/10/21

Comprobando la calidad de las encuestas del CIS

Las encuestas paralelas realizadas en Junio y Julio por el CIS y por Sigmados muestran una coincidencia prácticamente total 

El programa de actividades del Centro de Investigaciones Sociológicas incluye la realización de los barómetros con una periodicidad mensual, excepto el mes de agosto. Estos barómetros constan de una serie de preguntas que pulsan la realidad social del momento en España con muestras estratificadas y por cuotas y con un tamaño diseñado para poder garantizar suficiente representatividad de resultados. Las muestras que viene utilizando el CIS son lo que en estadística se consideran muestras grandes, que minimizan el error muestral y ajustan más los datos. Los barómetros, incluyen también preguntas acerca de la intención directa de voto, el partido político que le genera más simpatía, la fidelidad de voto o el momento en el que las personas deciden su voto, entre otras muchas preguntas. Tanto las características técnicas de cada estudio como las explotaciones de los datos que realiza el CIS, así como las matrices de datos, están a disposición de cualquiera que desee trabajar con mayor profundidad, es decir son de acceso abierto para todos. En este sentido el CIS cumple con una rigurosa política de transparencia.

En los centros de investigación serios y rigurosos con los procedimientos de encuestación, es habitual realizar “encuestas espejo” como una forma de control de calidad de las actividades relacionadas con la encuesta. Una encuesta espejo es aquella que se realiza en paralelo a la que habitualmente realiza la institución, que se encarga a una empresa externa sin vinculación ninguna con la entidad que la encarga y que replica exactamente con el mismo cuestionario y con la misma metodología (diseño de la muestra, número de encuestas, idéntica estratificación y aplicación de cuotas, mismas fechas de campo, trabajo de campo…) el estudio que realiza la institución. Podemos decir que formalmente se trata de encuestas gemelas. Por eso, el CIS sacó a concurso público la realización de dos estudios idénticos a los barómetros de junio y de julio, que tras la valoración oportuna se adjudicó a Sigmados.

Los tamaños de las muestras de los barómetros del CIS y de los estudios equivalentes realizados por Sigmados, fueron los siguientes:

Una vez disponibles los datos, se realizaron comparaciones entre los resultados para observar posibles desviaciones en las respuestas a las preguntas que comparten los estudios, una vez validados los datos en los cuatro estudios.

Pues bien, una vez realizado el análisis comparativo, la conclusión es que los datos son prácticamente idénticos en la gran mayoría de las preguntas en las encuestas que se han comparado. Esto no es extraño, sino la conclusión lógica de realizar los estudios con la rigurosidad que se exige y con unos altos estándares de calidad en todo el proceso, desde el diseño del cuestionario a la obtención de los datos. Cuando las encuestas cuentan con un diseño robusto y un tamaño muestral grande, necesariamente tienen que llegar a los mismos resultados cuando se aplican a un mismo contexto.

Veamos algunos ejemplos de la comparativa de las encuestas mencionadas. Hemos seleccionado algunas preguntas que suelen suscitar más interés y, por qué no decirlo, polémica en los medios de comunicación social: la intención de voto directa, la intención de voto a la que se suma la simpatía por un determinado partido, el momento de la decisión del voto, la autoubicación ideológica de los ciudadanos y la valoración sobre la situación económica de España y la personal.

La intención de voto se preguntó, en les estudios del CIS y de Sigmados, sobre el supuesto de que al día siguiente de la realización de la entrevista se celebrasen nuevamente elecciones generales al Parlamento español. Se obtuvo una respuesta espontánea que el encuestado/a contestó sin ninguna intervención por parte del encuestador/a. También se preguntó sobre la hacia qué partido político tenía más simpatía, y de igual modo, la respuesta fue espontánea sin intervención alguna de la persona que encuesta. La Tabla 1 muestra los resultados tanto de la intención directa de voto como de la intención directa de voto más simpatía, para los estudios del CIS como para los de Sigmados.

Como se puede apreciar, las cifras son prácticamente idénticas en la mayoría de las opciones políticas.

Si comparamos los resultados a la pregunta sobre el momento en el que se toma la decisión del voto, los datos también coinciden (vid. gráfico 1).

En el gráfico 1 se superponen las cuatro líneas que corresponden a las cuatro encuestas, sin diferencias en las respuestas. De promedio, un 53,3% tiene decidido el voto mucho antes del inicio de la campaña electoral, un 11,3% al comienzo de la campaña electoral, entre un 17% y un 20% lo decide durante la última semana electoral, el 4,7% se espera a la jornada de reflexión la víspera de las elecciones y el 6% lo decide el mismo día de las elecciones. Las variaciones entre los estudios CIS y Sigmados son insignificantes.

Veamos ahora la valoración de los líderes políticos sobre su postura ante la pandemia en las dos encuestas correspondientes a junio (vid. gráfico 2). Una vez más, las coincidencias son abrumadoras:

En la pregunta sobre autoidentificación ideológica también se pueden apreciar las coincidencias de los estudios (vid. gráfico 3).

Para acabar esta breve exposición de resultados, comparamos aquí otra de las preguntas incluidas habitualmente en los barómetros del CIS y que permiten realizar un seguimiento del estado de optimismo que presenta la ciudadanía respecto a la situación económica del país y a la suya propia. Las preguntas se formularon, respectivamente así: “Refiriéndonos a la situación económica general de España actualmente, ¿cómo la calificaría Ud.: muy buena, buena, mala o muy mala?” y “¿Cómo calificaría Ud. su situación económica personal en la actualidad: muy buena, buena, mala o muy mala?”

En este caso, el grado de coincidencia en las respuestas es prácticamente total en los dos meses en los que se realizaron los estudios del CIS y de Sigmados (vid. gráfico 4).

Hasta aquí los indicadores de los barómetros del CIS, que pueden ser consultados con mayor profundidad y detalle en la página web de este organismo público. En breve se publicarán también los datos correspondientes a los estudios encargados a Sigmados y las matrices de datos para que investigadoras/es puedan realizar sus propios análisis y comparación.

En suma, a partir de toda esta información pública podemos destacar las siguientes conclusiones:

Las encuestas rigurosas suelen presentar resultados robustos, derivados de los estándares de calidad que se aplican en todo el proceso de elaboración, sea cual sea el organismo o entidad que las realiza.

Si las encuestas son de naturaleza rigurosa y se aplican al mismo contexto social y en el mismo momento, los resultados necesariamente tienen que ser muy próximos. Las diferencias existentes en algunas encuestas se deben casi siempre al escaso tamaño de las muestras (número de encuestas realizadas), siendo más probables en aquellos casos en los que hay muy pocos individuos que contestan (o porque hay muchas categorías de respuesta o porque previamente hay filtros que hacen que solo un grupo determinado de personas puedan contestar).

Los resultados comparados entre las encuestas del CIS y las de Sigmados son realizadas en junio y julio prácticamente idénticos en la mayoría de las preguntas. De hecho, las diferencias observadas en algunas preguntas no son estadísticamente significativas con niveles de confianza estándares (NC99%).

El tipo de control de calidad realizado por el CIS tiene además la virtud de desmontar las insinuaciones de manipulación que desde determinados sectores con intereses económicos, políticos y demoscópicos concretos se vierten hacia los trabajos demoscópicos, en este caso del CIS. Los resultados de las “encuestas espejo” realizadas para calibrar cómo se realizan los trabajos de campo del CIS ponen de manifiesto la falta de rigor de algunos que, sin tener un conocimiento acreditado de los procesos sociológicos de investigación empírica, se lanzan a una crítica constante de aquellos que, haciendo su trabajo con rigor, llegan a conclusiones que no son de su agrado.

_________________________________________

Ángel Belzunegui Eraso es Profesor Titular de sociología en la Universidad Rovira i Virgili y Director Adjunto de Investigación en el CIS. Fuente: Sistema Digital

Comprobando la calidad de las encuestas del CIS