¿Por qué fallaron las encuestas?

Este post fue publicado originalmente en el sitio web de Radio Duna

En algo que está pareciendo costumbre a lo largo del mundo, las encuestas en Chile fallaron en predecir el resultado de las elecciones presidenciales. Si bien cada encuesta tuvo distintos énfasis, los principales fallos se encuentran en la sobreestimación de los votos de Sebastián Piñera y en la subestimación de los votos de Beatriz Sánchez.

Entender qué pasó va a ser de las labores más complejas que tendrán que llevar a cabo los encuestadores nacionales en los próximos meses. Con el ánimo de aportar al debate y, ojalá, abrir la conversación, me permito plantear algunas ideas de qué es lo que puede haber pasado y qué se puede hacer al respecto. Estas observaciones son una mezcla de la experiencia internacional respecto a las fallas de las encuestas (algo muy común últimamente) y la poca evidencia que tenemos disponible en Chile.

Construcción de muestras y error de medición

Las encuestas pueden tener, al menos, dos fuentes de error. La primera es el error muestral, es decir, la diferencia entre la población y la muestra. Cuando tenemos una muestra probabilística (donde todos los miembros de la población tienen la misma probabilidad de ser encuestados), entonces ese error es aleatorio. En términos simples, la existencia de error muestral en las muestras probabilísticas es irrelevante para el cálculo de estimadores, pues se entiende que las distintas características personales que pueden afectar la respuesta se cancelan entre ellos.

Lamentablemente, por temas de costos y de complejidad logística, ninguna de las encuestas electorales cuenta con este método. El más cercano es la encuesta CEP, pero incluye una etapa de estratificación y cuenta con una tasa de no respuesta sin reemplazo. Esta etapa es compleja pues hay segmentos de la población que son difíciles de encuestar, ya sea porque son inaccesibles (como personas de alto ingreso o personas en situación de calle) o porque prefieren no contestar (como jóvenes).

La evidencia del Reino Unido post elección de 2015 mostró que las encuestas habían sido particularmente malas en llegar a encuestar votantes conservadores. Este tipo de errores se suelen corregir con ponderadores a partir del censo, pero los datos censales aún no han sido actualizados con posterioridad al pre censo de 2016 y también tienen límites respecto a lo que pueden hacer. Son útiles respecto a variables demográficas, pero no necesariamente respecto a preferencias políticas (o al menos eso parece).

La construcción de muestras es clave, pues aparte de la CEP, ninguna otra encuesta ocupa etapas probabilísticas. Esto quiere decir que confían de sobremanera en sus mecanismos de pre y post estratificación (en simple “hacer calza” la muestra con la población por métodos estadísticos) basados en los datos censales mencionados anteriormente. Claramente, algo puede estar fallando ahí.

La segunda fuente de error es el error de medición. Éste se refiere a cuando las preguntas que se hacen no logran capturar lo que realmente se quiere. Un clásico ejemplo es cuando le preguntamos a las personas si votaron o no en la elección pasada. Debido a una serie de sesgos de deseabilidad social, las personas tienden a decir qué votaron incluso si es que no lo han hecho. En ese caso, la pregunta no mide realmente el comportamiento de los encuestados.

Cuando se trata de preguntas sobre preferencias electorales, el error de medición se manifiesta, por ejemplo, a través de la presencia de espirales de silencio o de personas que prefieren no declarar sus preferencias, aunque éstas estén tomadas. Para lidiar con este aspecto, la encuesta CEP lleva años ocupando el método de “voto urna”, en el que el encuestado puede declarar su preferencia en una urna sin que lo vea el encuestador. Sin embargo, ese método no dio una estimación cercana al resultado de la elección.

Ambas opciones: problemas en el muestreo y en la medición, requieren de un análisis detallado y exhaustivo. Es importante que se vuelvan a revisar las bases de datos existentes en cuanto se liberen los nuevos datos censales, para saber si los ponderadores eran correctos o no. Además, hace falta análisis académico sobre error de medición, idealmente estudiando distintas fórmulas a través de experimentos.

Votante probable

Se hizo bastante publicidad a los métodos de votante probable usados por las encuestadoras. En un conteo simple, hubo al menos 4 empresas o instituciones que ocuparon modelos similares para estimar la participación (Cadem, CEP, Criteria Research). Todos ocupaban una variación del mismo cóctel: interés en política, participación en elecciones en el pasado y la declaración de qué tan probable es que fueran a votar. Sólo la CEP (al menos en mi conocimiento) agregó datos demográficos de los votantes de las elecciones del 2013. Asimismo, todas las encuestadoras dieron un número entre 45% y 48%, lo que es bastante cercano a la realidad.

Ahora, hay varios potenciales focos de problema en este proceso. Por una parte, el que las empresas lleguen a un porcentaje similar al de votantes reales no asegura en ningún caso que dentro de ese porcentaje de encuestados se encuentren personas similares a los votantes. Por ejemplo, las preguntas ocupadas para generar la probabilidad de voto tienen un sesgo claro: minimizan a los jóvenes. Por lo tanto, se vuelve irrelevante cualquier cálculo de votante probable si éste es incapaz de anticipar quienes son esos potenciales votantes y si se parecen a los verdaderos votantes.

Para reflejar este punto, hice un pequeño ejercicio basado en la encuesta realizada con menor tiempo antes de la elección, la Cadem Plaza Pública Número 201. Esta encuesta tuvo su campo en el martes, miércoles y jueves antes de la elección. En la tabla más abajo pongo las estimaciones del total de la muestra, eliminando a los indecisos (llevando los otros a base 100), las estimaciones de votante probable, el resultado final y las diferencias entre cada estimación.

Total muestra sin indecisos Votante Probable Resultado elección Diferencia votante probable – resultado Diferencia total muestra – resultado
Piñera 38.96 40 36.64 3.36 2.32
Guillier 20.78 21 22.7 -1.7 -1.92
Sánchez 16.88 13 20.27 -7.27 -3.39
Goic 5.19 6 5.88 0.12 -0.69
Kast 6.49 6 7.93 -1.93 -1.44
MEO 7.79 5 5.71 -0.71 2.08
Navarro 0.65 0.5 0.36 0.14 0.29
Artés 0.65 0.5 0.51 -0.01 0.14
Indecisos 0 8 0

La tabla muestra con claridad que, de haberse evitado el uso de votante probable, la estimación habría sido bastante más cercana a la realidad. Si bien hay algunos casos donde el error aumenta marginalmente al usar la muestra total (Guillier y MEO), en general el error se reduce significativamente. Sánchez, por ejemplo, esta mucho menos subrrepresentada en esta estimación. Una métrica clásica para medir la puntería de una encuesta consiste en el error absoluto promedio. En este indicador, el votante probable entrega un error promedio de 1,9 puntos, mientras que el error se reduce a 1,5 al mirar la muestra total.

Si, tal como dije anteriormente, el grupo que suele estar subrrepresentado en el votante probable son los más jóvenes, entonces la disminución del error en la muestra total es un indicio que apoya esta hipótesis. Esto no quiere decir que basta con eliminar el votante probable, sino que este es un punto de partida. Además, la inclusión de jóvenes puede explicar de mejor forma la subestimación de Beatriz Sánchez, pero no necesariamente la de José Antonio Kast.

Conclusiones y sugerencias de pasos a seguir

Lo primero es consignar lo obvio: muchas cosas fallaron. Quizás lo más complicado para los encuestadores y para los académicos que utilizamos encuestas para nuestro trabajo es asumir que no existe una solución simple al problema. Desde el punto de vista académico esto es un desafío interesante, pero entiendo que la posición puede ser algo más incómoda para quienes están a cargo de la realización de los sondeos.

Lo segundo es que la solución no puede venir sólo desde las encuestadoras. En países donde se enfrentan desafíos similares, como EE.UU. y el Reino Unido, los organismos de administración electoral (como el SERVEL) han colaborado permitiendo el acceso a sus bases de datos. Esto es vital en el caso chileno. Es urgente que se realice un ejercicio de validación de voto, donde se sepa cuáles son las características demográficas de los votantes al nivel más desagregado posible. Sólo a partir de ahí será posible afinar los modelos de votante probable. Asimismo, la academia tiene un rol que cumplir en este proceso. Hay universidades con una larga experiencia en encuestas que podrían asumir la tarea de liderar este proceso.

También creo que necesitamos más encuestas. Esto puede sonar un poco irracional a la luz de lo ocurrido, pero soy un convencido que el proceso se mejora mientras hay más actores y más competencia. En el pasado he sido crítico de la metodología ocupada por encuestadoras como Criteria Research (panel online con post-estratificación), que tuvieron resultados mejores que las encuestadoras clásicas. En principio mantengo mis críticas y me inclino a pensar que su relativo éxito fue más bien azaroso, pero estoy dispuesto a estar equivocado (y, de hecho, lo agradecería).

Por último, me gustaría hacerme cargo de la acusación que hizo Beatriz Sánchez en su discurso la noche de la elección. Ella dijo que, si las encuestas hubieran reflejado mejor la realidad, quizás más gente hubiera votado por ella. La verdad es que ese es un contrafactual imposible de comprobar y, además, la evidencia es poco concluyente a la hora de mostrar un efecto directo entre encuestas y opción de voto. Sin embargo, donde sí afectan las encuestas es en el nivel de donaciones, en el monto de los créditos bancarios y en la moral de los equipos. Quizás Sánchez tiene un punto. Si las encuestas no la hubieran subestimado de forma sistemática durante los últimos meses, podría haber tenido una campaña más eficiente y mejor financiada. Si esto se hubiera traducido a votos o no permanecerá un misterio.

La belleza está en el ojo del que mira. O por qué esta elección no fue ni más ni menos proporcional que la anterior, pero sí más representativa.

Esta entrada fue elaborada en cooperación con Andrés Hernando, investigador del CEP, y publicada en el blog el CEP, La Situación.

Esta semana, el académico de la Universidad Católica, David Altman, publicó un provocador análisis del resultado de las elecciones parlamentarias del fin de semana. En su visión, el sistema habría fallado en cumplir el objetivo en el mensaje presidencial, y es que fuera una elección más proporcional y justa. Altman analiza los resultados de la elección de diputados usando una métrica bastante conocida en la ciencia política, el índice de Loosemore & Hanby (L&H). Este índice tiene la ventaja de ser bastante simple e intuitivo en su cálculo, pero ha recibido críticas por ser poco sensible a cambios en la fórmula de cálculo (como es el caso chileno).

Altman muestra que, según el índice L&H, la reciente elección es la que muestra mayor nivel de desproporcionalidad desde 1989. A partir de ello, y sumado con una mayor cantidad de arrastres, Altman concluye que el actual sistema electoral no estaría cumpliendo con los objetivos de proporcionalidad y justicia que se propuso.

La ciencia política ha debatido por años cuál es el mejor mecanismo de medir la proporcionalidad de los sistemas políticos. Si bien hay cierto consenso en qué consiste la proporcionalidad ideal (que el porcentaje de votos sea equivalente al porcentaje de escaños obtenidos), hay mucho más debate sobre cómo medir si este objetivo se logra. Tal como muestra Benoit (2000), distintos autores usando distintos índices han llegado a resultados bastante divergentes.

Entonces, ¿fue la elección del 19 de noviembre más o menos proporcional que las anteriores? Podemos adelantar nuestra respuesta: sí y no. Para analizar esto tomamos los datos de todas las elecciones desde 1989 y calculamos 8 índices distintos, todos ellos validados y ampliamente discutidos en la literatura. Algunos de ellos tienden a ser extremadamente sensibles a la presencia de partidos chicos, como el índice de Rae (1967), mientras que otros buscan corregir las imperfecciones del índice de L&H, como el de Gallagher (1991) o el L&H ajustado (Grofman and Lijphart, 1986). Puede revisar los detalles de cada uno aquí.

La tabla más abajo muestra el resultado con cada uno de estos 8 índices usando los datos de la elección a la Cámara de Diputados desde 1989. Como se puede observar, la tasa de desproporcionalidad aumenta en 4 de las métricas (L&H, Lijphart, Saint-Lague y D´Hondt), mientras que disminuye en otras 4 (Rae, Mínimos Cuadrados, L&H ajustado).

Elección Índice de Rae Índice L&H Índice de Mínimos Cuadrados L&H ajustado Índice Liphart Índice Saint-Lague Índice D’Hondt Índice de regresión lineal
1989 3.23 11.31 7.09 8.75 6.01 4.97 1.17 1.12
1993 3.94 7.87 6.18 7.02 6.39 2.19 1.14 1.07
1997 4.15 10.39 7.81 8.17 7.49 2.44 1.14 1.10
2001 2.68 6.70 5.16 5.74 5.22 3.15 1.08 1.07
2005 4.11 8.21 7.07 6.95 7.40 1.50 1.16 1.07
2009 3.87 7.75 5.61 6.05 4.88 1.72 1.11 1.08
2013 4.10 12.31 8.02 8.96 8.12 4.14 1.17 1.14
2017 2.78 12.50 7.68 6.20 8.44 4.98 1.34 1.13

 

Si miramos los gráficos adjuntos, además podemos ver que estos índices se han movido de forma bastante poco predecible en el tiempo. Es decir, incluso dentro de un mismo sistema electoral, como lo fue el binominal entre 1989 y 2013, hay bastante diferencia.

En el fondo, la evidencia que aportamos demuestra que la respuesta a la pregunta de si el actual sistema es más o menos proporcional es absolutamente a gusto del consumidor. Quienes quieran plantear que no, que este sistema es menos proporcional que el binominal, tienen 4 métricas distintas para justificar su postura. En cambio, quienes quieran defender que este sistema sí introdujo mayor proporcionalidad, tienen otras 4 métricas que aportar como evidencia. Además, mientras no tengamos más elecciones, no podremos saber si alguno de estos posibles cambios se mantiene en el tiempo.

Ahora, sobre la pregunta de la justicia, nosotros creemos que eso se debe responder respecto de la representatividad. Si bien es cierto que el número alto de parlamentarios electos por medio del arrastre puede llevar a algunos a sorprenderse, también es importante recordar – como lo plantea Altman- que ésta es una característica propia de los sistemas de lista y que no se relaciona directamente con el mecanismo de distribución de escaños, al menos a nivel de pactos. Una propuesta para resolver esto es lo que planteó en su momento Evópoli, en la discusión de la ley, en la que propuso que los escaños se repartieran a nivel de pacto y no de partido.

Pero la representatividad se refiere a otras cosas. Generalmente, la ciencia política la distingue entre representación descriptiva y representación substantiva. La primera se refiere a las características personales, usualmente demográficas, de los representantes, mientras que la segunda se refiere a las preferencias ideológicas y de política pública.

Sobre la representación descriptiva, los datos de Candidaturas Chile nos permiten observar los cambios. En primer lugar, esta elección arrojó una proporción más alta de mujeres electas desde 1989. Además, el promedio de edad de los representantes electos bajó, de 59 a 56 años en el Senado, y de 49 a 44 en la Cámara. Ambos movimientos traen el promedio más cerca de la edad mediana de la población que es de 33 años. Incluso, este Congreso tendrá, por primera vez desde la dictadura, la presencia de 2 personas de la etnia mapuche, una novedad de innegable importancia simbólica. Todos estos indicadores apuntan a que la representación descriptiva estaría mejorando, aunque de forma lenta.

En términos de representación substantiva, la elección de nuevos partidos políticos es, sin duda, un signo de que ésta aumentó. Si bien hubo algunos pactos que no obtuvieron escaños, como Sumemos, lo cierto es que la oferta ideológica aumentó, asimismo como su peso relativo.

El mensaje presidencial de la ley que modificó el sistema electoral planteaba que éste nuevo sistema iba a ser más justo y proporcional. Sin embargo, de una forma bastante hábil, el mismo mensaje evita definir cómo se evalúa si éstos objetivos se cumplen o no. Lo cierto es que, antes de saltar a concluir sobre el éxito o fracaso de la reforma, es importante revisar las métricas utilizadas. Por nuestra parte, nos declaramos en empate entre una u otra opción.

Chile just went to the polls — and transformed its legislature

This article was originally published in The Washington Post’s Monkey Cage Blog

On Sunday, for the seventh time since Augusto Pinochet’s dictatorship ended, Chileans went to the polls to elect a president and National Congress. Only 46 percent of those eligible to vote actually did so, one of the lowest turnouts in the country’s history.

In the presidential race, no candidate won a full majority, which means there will be a runoff, scheduled for Dec. 17. Although most opinion polls had shown right-wing billionaire and former president Sebastián Piñera with a clear lead of between 42 and 47 percent, the latest results show he received only 36.6 percent of the ballots. The next-place candidate, Sen. Alejandro Guillier, the center-left candidate, received just under 23 percent.

Perhaps more significant than the presidential first round was the transformation of Congress. This was the first time Chile has gone to the polls since major electoral reforms. Voters weighed in on all the members of the legislature’s lower house, and almost half the Senate. What were the results?

Chile transformed its electoral system since the last election

For 28 years, a tailor-made electoral system allowed the two larger coalitions — one on the center right that still hosts some of Pinochet’s old allies, and another on the center left — to rule Congress without admitting smaller parties.

But over the past eight years, Chile has seen significant social and political transformations. In 2011, during Piñera’s government, students protested en masse over the decreasing role of the country in secondary education, and for the introduction of free higher education. More recently, lawmakers on both right and left — including family members of President Michelle Bachelet — were implicated in high-profile corruption cases.

Bachelet reacted by commissioning a report on potential changes to the political system and campaign finance. The Engel report (named after the commission’s chair, former Yale professor Eduardo Engel) suggested a number of changes — many of which Bachelet championed, and which Congress put into law under the pressure of public opinion.

As a result, Bachelet oversaw major electoral reforms, including gender quotas for Congress, an electoral system that aims to translate the political parties’ vote shares into the percentage of seats in Congress, and limits on political donations and campaign spending. The gender quotas legislation requires every party’s candidate list to include at least 40 percent women, a move that was encouraged by international organizations like the U.N. Development Programme.

Did this new electoral system lead to different results?

The new electoral system wouldn’t have affected the presidential election, which is one person, one vote. Piñera won almost 10 points below what the polls predicted. Guillier also won less than predicted, as the center left votes went to two different candidates. As a result, journalist Beatriz Sánchez from the left-wing coalition Frente Amplio got 20.3 percent of the vote — the most garnered by a left-only coalition since Salvador Allende’s Unidad Popular in 1970.

But because of the reforms, Congress will look quite different. My research project, Candidaturas Chile — which is an international consortium among Queen Mary, University of London, Universidad Andrés Bello, and Azerta — has collected data on all candidates who ran for Congress this year and in all elections since 1989, including demographic information and political or professional background. This allows us to compare the results of this election with those from previous elections.

Most notable are the changes in Congress’s gender composition. Chile was at the bottom of the Organization for Economic Cooperation and Development (OECD) countries in gender balance, with women making up 16 percent of all representatives — only 15 percent in the Senate, and 16.4 percent in the lower house. However, after the new elections under the legal gender quotes, women make up 26 percent of the Senate and 23 percent of the lower house.

Further, the new and more proportional districts have changed the party composition of the Congress. The proportion of MPs that do not belong to the traditional parties jumped from 3 percent to 17 percent. And Frente Amplio, the insurgent left coalition that wasn’t founded until January this year, managed to elect a senator for the first time.

Further, the new Congress will seat a significant number of new faces. Only 55 percent of Senate incumbents running for reelection kept their seats — while in the lower house, only 40.6 percent of incumbents did. The new Congress is also younger. Senators’ average ages decreased from 59 to 56; lower house members’ average ages dropped from 50 to 45. Chileans also elected a senator and a lower house member from the indigenous Mapuche ethnic group, which has not happened since the 1970s.

Politically, the balance of power among political parties changed significantly. The ruling coalition Nueva Mayoría obtained only 56 of the lower house’s 155 seats, while Piñera’s coalition, Chile Vamos, won 73. Neither reached a majority. Frente Amplio, on the other hand, increased its presence from three to 20 lower house members, becoming the pivotal group for the next four years.

What will this election mean for Chile’s political direction?

Bachelet oversaw the passage of a progressive agenda that, among other legislation, put into place free higher education, established same-sex civil unions, and implemented abortion rights. If Piñera wins, he will have a difficult time rolling these back, since his legislative coalition does not have a majority. If Guillier wins, any attempt to push Bachelet’s reforms even further will be resisted by the center-right coalition Chile Vamos, but should be supported by Frente Amplio legislators.

Whoever gets elected president in December, the challenge will be to operate in a Congress that is less experienced, more socially diverse, and much more complex in political terms than previously. Chile will prove a significant test case for proponents of deep electoral reform around the world.