EL ARTÍCULO QUE NO QUISO PUBLICAR «EL PAÍS»
La clase comienza así desde hace décadas dado que la necesidad continua ahí. Escribo un 7 en la pizarra y pregunto “¿Qué es?” Las más intrépidas dicen “un siete” mientras las prudentes sospechan que puede haber trampa y callan. Insisto, “¿podrían ser más precisas?” En esa ocasión ya se lanzan en grupo a corear “Un número”. “Bueno, aún no lo es. Es un guarismo, una cifra sin significado hasta que le demos permisos. Ustedes quieren que sea un número. Pues vale. Pero ahora decidamos qué le dejamos hacer. Por ejemplo, ¿le permitimos identificar una categoría como el DNI, expresar un orden, una magnitud?”. Incluso en el caso que decidamos que un guarismo representa un número, se debe decidir qué operaciones le están permitidas dado que un número tiene un significado. A nadie se le ocurriría sumar su número de DNI al de su pareja, dividir por dos, obtener la media y pretender que el número resultante tenga algún significado racional. Esos guarismos no tienen permiso de suma o multiplicación. ¿Todo esto dónde va? se preguntará. A concluir que con los números antes que su magnitud importa conocer su significado. Lo que un número significa es el primer axioma del análisis de datos. Nunca perder de vista su significado dado que son el puente con la realidad.
Y en esta llegamos al quid de la cuestión que nos ocupa. En la investigación científica las encuestas de opinión pública son una herramienta para estudiar la opinión de la sociedad. Puede parecer redundante pero en los tiempos actuales, y en el caso particular de España, algunas encuestas de opinión pública parecería que son más útiles para estudiar la opinión de quienes las hacen o las pagan. Y esa realidad de confusión de opiniones (entre lo que opina la gente y lo que la casa de encuestas opina que opina la gente) es especialmente notable en las encuestas electorales. Al igual que el agente 007 tenía permiso para matar, en estas encuestas sus modelos de estimación “secretos” tienen además licencia para resucitar. Son modelos secretos que pasean por las pasarelas de moda mediática abrigados con cuello vuelto. He aquí la primera crítica a los análisis de los agregadores de encuestas. Que no tienen suficiente criterio para saber qué significan los números que manejan.
Si me permiten la expresión, en España tenemos dos clases de encuestas, las “churras” y las “merinas”. La encuesta “churra” es valiosa como alimento científico y nutre con información. Sus datos son apreciados por los científicos sociales que pueden conocer sus metodologías, acceder a los datos primarios y con ellos escribir tesis, artículos, libros y demás actividades académicas. Esto es así para las encuestas del CIS, dado que permiten su trazabilidad metodológica desde el origen de producción del dato.
La encuesta “merina” es valiosa por la lana (también en su significado mexicano), que abriga opiniones y cubre con secretos el significado de sus números, dado que no publica metodología que la arrope. Nadie sabe qué carne (datos, modelo o metodología) tiene una encuesta “merina”. Solo la estimada lana que luce. Sabemos que son productos procesados (aun cuando algunos quieran hacerse pasar por naturales etiquetando como intención lo que es estimación) y sin advertencias sobre que pueden contener restos de frutos secos. Por ejemplo, encuestas que solamente renuevan una parte de la muestra y retienen fragmentos de encuestas anteriores, que utilizan y reutilizan poblaciones cautivas de internet o que, y ahora explicare la razón, ponderan los datos brutos por el recuerdo de voto y aún creen (absurdo metodológico) que continúan siendo datos brutos.
En los agregadores de encuestas se analiza todo un popurrí de modos, tamaños muestrales, fraseos, ponderaciones o modelos de estimación secretos cuya heterogeneidad solo tiene en común el ocultismo. A efectos prácticos, hay estimaciones que podrían ir en la página de horóscopos y no se diferenciarían demasiado en sus procedimientos ¿Cómo saben que a usted o a VOX les espera un gran día, que conocerán a alguien interesante y debe dedicar algo de tiempo a sus seres queridos? Misterios de Eleusis celebrando el regreso de Perséfone. Y claro, no es lo mismo números con significado (modelos explícitos) que números con posible intención (modelos secretos). Aquí otro error de los agregadores de encuestas al mezclar encuestas “churras” (método científico) con “merinas” (fe en la estimación). La confusión se alimenta por la ausencia de una normativa, que sí existe en otros países cuidadosos con la calidad de la información política que reciben sus ciudadanos, que obligue a explicar los procedimientos para “corregir” la opinión pública. Puede ser ante un comité como en Francia o por otros procedimientos, pero una estimación electoral de origen metodológico desconocido pone los pelos como escarpias a cualquier científico y en guardia a un demócrata.
Usted dirá que no es posible. Un periodista se puede tragar un pelo por equivocación, pero todo un vellocino merino ya es más difícil. Se equivoca. Algunos periodistas han llegado al consenso que más vale estimación desconocida que dato por conocer. Un ejemplo de ello son los análisis de Kiko Llaneras y Cia. Y me refiero a él en concreto y no a otros tableros por respeto al medio y la buena fe que aprecio en sus análisis. Verá. No se deben mezclar encuestas “churras” con “merinas”. No son lo mismo encuestas de metodología trasparente (insisto que se escriben tesis doctorales con los datos del CIS) a otras con procedimientos esotéricos sosteniendo una estimación electoral. Evidentemente, las páginas que agregan estimaciones, y dado que la encuesta “merina” es rebaño en los medios de comunicación, convierten en atípica la encuesta científica del CIS. Por eso es un sufrir metodológico ver los análisis de estimaciones indocumentadas tomadas de un popurrí de encuestas. Como la mayoría son ingenieros o analistas de datos no especialistas en opinión pública o metodología de encuestas, lo expreso en su jerga: es un problema GIGO (Garbaje in, garbaje out). Toda la basura que entra sale como basura, compostada en promedios, evaluadas sus dispersiones o ponderadas por su muestra, pero son basura. Nadie sabe que significan (modelos de estimación) sus números. Desde luego que no son comparables los datos del CIS, de metodología y modelos trasparentes con los datos procesados en marmitas. Usted dirá que cómo digo en marmitas. Pues mire. Es que no sé dónde los cocinan (si en cazuela de barro, metal o a la plancha) y si son carne, vegetal o pescado. La lana me confunde. Sí alcanzo a saber que las estimaciones sin confirmación (a qué procesos ha sido sometida la información) son desinformación. Parecen números pero son cifras sin valor o significado científico. Es de hecho, un honor que se le hace al CIS. Por favor, dejen los datos del CIS aparte, para los científicos sociales, y jueguen ustedes todo lo que quieran a cardar lana merina.
Ahora brevemente, da para un curso de seis créditos, algunas observaciones metodológicas. El famoso ponderar por recuerdo de voto que campanea por todos lados procede de la confusión entre limitaciones propias y complejidades ajenas. En la misma frase cabe afirmar que un modelo es difícil de comprender y comenzar a criticarlo. Las notas metodológicas del CIS son fáciles de comprender si se sabe cuáles son los problemas que intenta resolver y los métodos estadísticos aplicados. Si no se sabe cuáles son los problemas para resolver ni la estadística utilizada, nada se entiende. Pero eso no justifica quemar la metodología que se desconoce o al científico que la aplica. Solo es cuestión de modestia y ponerse a estudiar antes de opinar. O simplemente leer. Los modelos de estimación del CIS ponderan por el recuerdo de voto. Está blanco sobre negro en las dos notas metodológicas de abril y noviembre de 2019. Dejen de pregonar su ignorancia y lean. Como parece que algunos no retienen se repite: los modelos de estimación de voto del CIS ponderan por recuerdo de voto. Eso sí, solo los modelos de estimación. Ponderar la base de datos primarios por recuerdo de voto pensando que equivalen a género o edad es un gravísimo error metodológico. La diferencia es muy simple. El género y la edad son variables estructurales contrastables. Para el público en general, son variables independientes, también llamadas exógenas. Esto quiere decir que según el género puede darse una probabilidad mayor o menor de mostrar intención de votar a un partido u otro, pero nadie afirmará que cambiar de intención de voto ponga en riesgo su género. La asociación de las variables género y edad con otras variables no es reversible. La variable recuerdo de voto es una opinión, es una variable dependiente o endógena (por tanto reversible) que se explica desde otras variables y que cambia con el tiempo. Si desea saber cómo se degrada la variable recuerdo de voto conforme se aleja de las elecciones de referencia también hay tesis sobre eso con datos del CIS. Se degrada por múltiples factores intervinientes, entre ellos a) el efecto de posición en el cuestionario; dado que la pregunta de recuerdo de voto va normalmente detrás de la intención de voto sufre el efecto de su posición en el cuestionario y la subsiguiente pérdida de independencia estadística. La respuesta viene condicionada por las preguntas anteriores (véase las notas metodológicas de las preelectorales del CIS de abril y noviembre de 2019) en un efecto que se potencia dado que b) las personas que cambian de intención de voto tienden a borrar su pasado, c) se incrementan los nuevos votantes sin recuerdo y d) la abstención en las elecciones de referencia está normalmente infraestimada (algunas encuestas con un 80% de entrevistados que recuerdan haber votado). Que alguien crea que ponderar por recuerdo de voto una base de datos es equivalente a ponderar por género o edad da que pensar sobre el nivel de cualificación. La intención de voto de una muestra ponderada por recuerdo de voto ya no es una intención de voto, es una estimación de voto (se ha aplicado un modelo con nombre propio, Noelle-Neumann). Por eso el CIS pondera por recuerdo en sus modelos de estimación y no sus datos brutos.
Otro disparate metodológico es la no distinción entre medición y predicción. Los modelos del CIS son de medición y su ajuste se evalúa sobre los datos de la encuesta que los alimenta. Datos referidos al hoy de su realización, siendo modelos sincronizados sobre el presente en que se realizan las entrevistas. Un modelo predictivo requiere capturar una dinámica temporal y extrapolar el futuro, cosa que jamás hizo ni puede hacer ninguno de los modelos del CIS. Para predecir hay que controlar el cambio en el tiempo, y eso, en el ciclo electoral tan volátil que vivimos, es casi imposible. Sin embargo, los ingenieros y analistas de datos comparan la bondad del modelo según su ajuste con los resultados electorales. Es un error flagrante, no ya de manual, en mis tiempos se diría de libro gordo de Petete. No son modelos predictivos. Si desean jugar a los datos, evalúe el ajuste del modelo de estimación del CIS con los datos de la encuesta. Los tiene, puede hacerlo. Y a eso se le llama contribuir a la ciencia.
Lo que lleva nuevamente al análisis de rebaño. En ese juego de comparar con los resultados electorales usted debe asumir que la campaña electoral es un excipiente (no importan nada la comunicación política, los debates, la estrategia, el establecimiento de agenda) y donde las crisis o la indecisión es algo inexistente. Y nuevamente el oxímoron: leemos en la misma opinión, “el debate entre candidatos ha sido decisivo” y “la encuesta hecha semanas atrás predijo muy bien el resultado”. Se que es repetitivo, pero dará igual, seguirán tomando como dato de opinión la “opinión sobre los datos” (modelos secretos), continuarán mezclando encuestas “churras” con “merinas”, medición con predicción y afirmando la importancia de la comunicación política de una campaña electoral mientras evalúan el acierto predictivo de las encuestas. Quien tiene fe acepta fácilmente las contradicciones pero la razón científica tiene alguna dificultad.
Y está el doble rasero metodológico. Llaneras hace distribución de escaños con las estimaciones secretas bajo el supuesto “si las elecciones se celebraran ahora”. A las encuestas preelectorales del CIS ese ceteris paribus no se aplica. Pues está también escrito, la estimación de escaños que hace el CIS es a partir de la estimación de voto con encuestas anteriores a la campaña electoral. Son estimaciones orientativas que describen la situación en ese momento. Ergo, lo evidente, no se puede cometer error de predicción si no la estás haciendo.
En fin, lo que está sucediendo con algunas encuestas electorales y su tratamiento por determinados medios de comunicación es por sí mismo un reflejo de lo que está sucediendo a un nivel más general: la opinión se impone a la información hasta tal punto que la trasparencia y los datos molestan. Volviendo al símil, todo se reduce a que las encuestas “churras” del CIS parece que dan poca lana para abrigar algunas intenciones. Por eso, como metodólogo de cuarenta años de práctica solamente estoy de acuerdo en una cosa: hay muchas encuestas y entre ellas, por suerte, el CIS aparte. Para decirlo llano y que se entienda hasta en preescolar: por más que los patos en bandada picoteen al “pato feo”, el CIS es el único cisne metodológico de la actual charca demoscópica.
Fuente: Sistema digital
