¿Por qué fallaron las encuestas?

Este post fue publicado originalmente en el sitio web de Radio Duna

En algo que está pareciendo costumbre a lo largo del mundo, las encuestas en Chile fallaron en predecir el resultado de las elecciones presidenciales. Si bien cada encuesta tuvo distintos énfasis, los principales fallos se encuentran en la sobreestimación de los votos de Sebastián Piñera y en la subestimación de los votos de Beatriz Sánchez.

Entender qué pasó va a ser de las labores más complejas que tendrán que llevar a cabo los encuestadores nacionales en los próximos meses. Con el ánimo de aportar al debate y, ojalá, abrir la conversación, me permito plantear algunas ideas de qué es lo que puede haber pasado y qué se puede hacer al respecto. Estas observaciones son una mezcla de la experiencia internacional respecto a las fallas de las encuestas (algo muy común últimamente) y la poca evidencia que tenemos disponible en Chile.

Construcción de muestras y error de medición

Las encuestas pueden tener, al menos, dos fuentes de error. La primera es el error muestral, es decir, la diferencia entre la población y la muestra. Cuando tenemos una muestra probabilística (donde todos los miembros de la población tienen la misma probabilidad de ser encuestados), entonces ese error es aleatorio. En términos simples, la existencia de error muestral en las muestras probabilísticas es irrelevante para el cálculo de estimadores, pues se entiende que las distintas características personales que pueden afectar la respuesta se cancelan entre ellos.

Lamentablemente, por temas de costos y de complejidad logística, ninguna de las encuestas electorales cuenta con este método. El más cercano es la encuesta CEP, pero incluye una etapa de estratificación y cuenta con una tasa de no respuesta sin reemplazo. Esta etapa es compleja pues hay segmentos de la población que son difíciles de encuestar, ya sea porque son inaccesibles (como personas de alto ingreso o personas en situación de calle) o porque prefieren no contestar (como jóvenes).

La evidencia del Reino Unido post elección de 2015 mostró que las encuestas habían sido particularmente malas en llegar a encuestar votantes conservadores. Este tipo de errores se suelen corregir con ponderadores a partir del censo, pero los datos censales aún no han sido actualizados con posterioridad al pre censo de 2016 y también tienen límites respecto a lo que pueden hacer. Son útiles respecto a variables demográficas, pero no necesariamente respecto a preferencias políticas (o al menos eso parece).

La construcción de muestras es clave, pues aparte de la CEP, ninguna otra encuesta ocupa etapas probabilísticas. Esto quiere decir que confían de sobremanera en sus mecanismos de pre y post estratificación (en simple “hacer calza” la muestra con la población por métodos estadísticos) basados en los datos censales mencionados anteriormente. Claramente, algo puede estar fallando ahí.

La segunda fuente de error es el error de medición. Éste se refiere a cuando las preguntas que se hacen no logran capturar lo que realmente se quiere. Un clásico ejemplo es cuando le preguntamos a las personas si votaron o no en la elección pasada. Debido a una serie de sesgos de deseabilidad social, las personas tienden a decir qué votaron incluso si es que no lo han hecho. En ese caso, la pregunta no mide realmente el comportamiento de los encuestados.

Cuando se trata de preguntas sobre preferencias electorales, el error de medición se manifiesta, por ejemplo, a través de la presencia de espirales de silencio o de personas que prefieren no declarar sus preferencias, aunque éstas estén tomadas. Para lidiar con este aspecto, la encuesta CEP lleva años ocupando el método de “voto urna”, en el que el encuestado puede declarar su preferencia en una urna sin que lo vea el encuestador. Sin embargo, ese método no dio una estimación cercana al resultado de la elección.

Ambas opciones: problemas en el muestreo y en la medición, requieren de un análisis detallado y exhaustivo. Es importante que se vuelvan a revisar las bases de datos existentes en cuanto se liberen los nuevos datos censales, para saber si los ponderadores eran correctos o no. Además, hace falta análisis académico sobre error de medición, idealmente estudiando distintas fórmulas a través de experimentos.

Votante probable

Se hizo bastante publicidad a los métodos de votante probable usados por las encuestadoras. En un conteo simple, hubo al menos 4 empresas o instituciones que ocuparon modelos similares para estimar la participación (Cadem, CEP, Criteria Research). Todos ocupaban una variación del mismo cóctel: interés en política, participación en elecciones en el pasado y la declaración de qué tan probable es que fueran a votar. Sólo la CEP (al menos en mi conocimiento) agregó datos demográficos de los votantes de las elecciones del 2013. Asimismo, todas las encuestadoras dieron un número entre 45% y 48%, lo que es bastante cercano a la realidad.

Ahora, hay varios potenciales focos de problema en este proceso. Por una parte, el que las empresas lleguen a un porcentaje similar al de votantes reales no asegura en ningún caso que dentro de ese porcentaje de encuestados se encuentren personas similares a los votantes. Por ejemplo, las preguntas ocupadas para generar la probabilidad de voto tienen un sesgo claro: minimizan a los jóvenes. Por lo tanto, se vuelve irrelevante cualquier cálculo de votante probable si éste es incapaz de anticipar quienes son esos potenciales votantes y si se parecen a los verdaderos votantes.

Para reflejar este punto, hice un pequeño ejercicio basado en la encuesta realizada con menor tiempo antes de la elección, la Cadem Plaza Pública Número 201. Esta encuesta tuvo su campo en el martes, miércoles y jueves antes de la elección. En la tabla más abajo pongo las estimaciones del total de la muestra, eliminando a los indecisos (llevando los otros a base 100), las estimaciones de votante probable, el resultado final y las diferencias entre cada estimación.

Total muestra sin indecisos Votante Probable Resultado elección Diferencia votante probable – resultado Diferencia total muestra – resultado
Piñera 38.96 40 36.64 3.36 2.32
Guillier 20.78 21 22.7 -1.7 -1.92
Sánchez 16.88 13 20.27 -7.27 -3.39
Goic 5.19 6 5.88 0.12 -0.69
Kast 6.49 6 7.93 -1.93 -1.44
MEO 7.79 5 5.71 -0.71 2.08
Navarro 0.65 0.5 0.36 0.14 0.29
Artés 0.65 0.5 0.51 -0.01 0.14
Indecisos 0 8 0

La tabla muestra con claridad que, de haberse evitado el uso de votante probable, la estimación habría sido bastante más cercana a la realidad. Si bien hay algunos casos donde el error aumenta marginalmente al usar la muestra total (Guillier y MEO), en general el error se reduce significativamente. Sánchez, por ejemplo, esta mucho menos subrrepresentada en esta estimación. Una métrica clásica para medir la puntería de una encuesta consiste en el error absoluto promedio. En este indicador, el votante probable entrega un error promedio de 1,9 puntos, mientras que el error se reduce a 1,5 al mirar la muestra total.

Si, tal como dije anteriormente, el grupo que suele estar subrrepresentado en el votante probable son los más jóvenes, entonces la disminución del error en la muestra total es un indicio que apoya esta hipótesis. Esto no quiere decir que basta con eliminar el votante probable, sino que este es un punto de partida. Además, la inclusión de jóvenes puede explicar de mejor forma la subestimación de Beatriz Sánchez, pero no necesariamente la de José Antonio Kast.

Conclusiones y sugerencias de pasos a seguir

Lo primero es consignar lo obvio: muchas cosas fallaron. Quizás lo más complicado para los encuestadores y para los académicos que utilizamos encuestas para nuestro trabajo es asumir que no existe una solución simple al problema. Desde el punto de vista académico esto es un desafío interesante, pero entiendo que la posición puede ser algo más incómoda para quienes están a cargo de la realización de los sondeos.

Lo segundo es que la solución no puede venir sólo desde las encuestadoras. En países donde se enfrentan desafíos similares, como EE.UU. y el Reino Unido, los organismos de administración electoral (como el SERVEL) han colaborado permitiendo el acceso a sus bases de datos. Esto es vital en el caso chileno. Es urgente que se realice un ejercicio de validación de voto, donde se sepa cuáles son las características demográficas de los votantes al nivel más desagregado posible. Sólo a partir de ahí será posible afinar los modelos de votante probable. Asimismo, la academia tiene un rol que cumplir en este proceso. Hay universidades con una larga experiencia en encuestas que podrían asumir la tarea de liderar este proceso.

También creo que necesitamos más encuestas. Esto puede sonar un poco irracional a la luz de lo ocurrido, pero soy un convencido que el proceso se mejora mientras hay más actores y más competencia. En el pasado he sido crítico de la metodología ocupada por encuestadoras como Criteria Research (panel online con post-estratificación), que tuvieron resultados mejores que las encuestadoras clásicas. En principio mantengo mis críticas y me inclino a pensar que su relativo éxito fue más bien azaroso, pero estoy dispuesto a estar equivocado (y, de hecho, lo agradecería).

Por último, me gustaría hacerme cargo de la acusación que hizo Beatriz Sánchez en su discurso la noche de la elección. Ella dijo que, si las encuestas hubieran reflejado mejor la realidad, quizás más gente hubiera votado por ella. La verdad es que ese es un contrafactual imposible de comprobar y, además, la evidencia es poco concluyente a la hora de mostrar un efecto directo entre encuestas y opción de voto. Sin embargo, donde sí afectan las encuestas es en el nivel de donaciones, en el monto de los créditos bancarios y en la moral de los equipos. Quizás Sánchez tiene un punto. Si las encuestas no la hubieran subestimado de forma sistemática durante los últimos meses, podría haber tenido una campaña más eficiente y mejor financiada. Si esto se hubiera traducido a votos o no permanecerá un misterio.

La belleza está en el ojo del que mira. O por qué esta elección no fue ni más ni menos proporcional que la anterior, pero sí más representativa.

Esta entrada fue elaborada en cooperación con Andrés Hernando, investigador del CEP, y publicada en el blog el CEP, La Situación.

Esta semana, el académico de la Universidad Católica, David Altman, publicó un provocador análisis del resultado de las elecciones parlamentarias del fin de semana. En su visión, el sistema habría fallado en cumplir el objetivo en el mensaje presidencial, y es que fuera una elección más proporcional y justa. Altman analiza los resultados de la elección de diputados usando una métrica bastante conocida en la ciencia política, el índice de Loosemore & Hanby (L&H). Este índice tiene la ventaja de ser bastante simple e intuitivo en su cálculo, pero ha recibido críticas por ser poco sensible a cambios en la fórmula de cálculo (como es el caso chileno).

Altman muestra que, según el índice L&H, la reciente elección es la que muestra mayor nivel de desproporcionalidad desde 1989. A partir de ello, y sumado con una mayor cantidad de arrastres, Altman concluye que el actual sistema electoral no estaría cumpliendo con los objetivos de proporcionalidad y justicia que se propuso.

La ciencia política ha debatido por años cuál es el mejor mecanismo de medir la proporcionalidad de los sistemas políticos. Si bien hay cierto consenso en qué consiste la proporcionalidad ideal (que el porcentaje de votos sea equivalente al porcentaje de escaños obtenidos), hay mucho más debate sobre cómo medir si este objetivo se logra. Tal como muestra Benoit (2000), distintos autores usando distintos índices han llegado a resultados bastante divergentes.

Entonces, ¿fue la elección del 19 de noviembre más o menos proporcional que las anteriores? Podemos adelantar nuestra respuesta: sí y no. Para analizar esto tomamos los datos de todas las elecciones desde 1989 y calculamos 8 índices distintos, todos ellos validados y ampliamente discutidos en la literatura. Algunos de ellos tienden a ser extremadamente sensibles a la presencia de partidos chicos, como el índice de Rae (1967), mientras que otros buscan corregir las imperfecciones del índice de L&H, como el de Gallagher (1991) o el L&H ajustado (Grofman and Lijphart, 1986). Puede revisar los detalles de cada uno aquí.

La tabla más abajo muestra el resultado con cada uno de estos 8 índices usando los datos de la elección a la Cámara de Diputados desde 1989. Como se puede observar, la tasa de desproporcionalidad aumenta en 4 de las métricas (L&H, Lijphart, Saint-Lague y D´Hondt), mientras que disminuye en otras 4 (Rae, Mínimos Cuadrados, L&H ajustado).

Elección Índice de Rae Índice L&H Índice de Mínimos Cuadrados L&H ajustado Índice Liphart Índice Saint-Lague Índice D’Hondt Índice de regresión lineal
1989 3.23 11.31 7.09 8.75 6.01 4.97 1.17 1.12
1993 3.94 7.87 6.18 7.02 6.39 2.19 1.14 1.07
1997 4.15 10.39 7.81 8.17 7.49 2.44 1.14 1.10
2001 2.68 6.70 5.16 5.74 5.22 3.15 1.08 1.07
2005 4.11 8.21 7.07 6.95 7.40 1.50 1.16 1.07
2009 3.87 7.75 5.61 6.05 4.88 1.72 1.11 1.08
2013 4.10 12.31 8.02 8.96 8.12 4.14 1.17 1.14
2017 2.78 12.50 7.68 6.20 8.44 4.98 1.34 1.13

 

Si miramos los gráficos adjuntos, además podemos ver que estos índices se han movido de forma bastante poco predecible en el tiempo. Es decir, incluso dentro de un mismo sistema electoral, como lo fue el binominal entre 1989 y 2013, hay bastante diferencia.

En el fondo, la evidencia que aportamos demuestra que la respuesta a la pregunta de si el actual sistema es más o menos proporcional es absolutamente a gusto del consumidor. Quienes quieran plantear que no, que este sistema es menos proporcional que el binominal, tienen 4 métricas distintas para justificar su postura. En cambio, quienes quieran defender que este sistema sí introdujo mayor proporcionalidad, tienen otras 4 métricas que aportar como evidencia. Además, mientras no tengamos más elecciones, no podremos saber si alguno de estos posibles cambios se mantiene en el tiempo.

Ahora, sobre la pregunta de la justicia, nosotros creemos que eso se debe responder respecto de la representatividad. Si bien es cierto que el número alto de parlamentarios electos por medio del arrastre puede llevar a algunos a sorprenderse, también es importante recordar – como lo plantea Altman- que ésta es una característica propia de los sistemas de lista y que no se relaciona directamente con el mecanismo de distribución de escaños, al menos a nivel de pactos. Una propuesta para resolver esto es lo que planteó en su momento Evópoli, en la discusión de la ley, en la que propuso que los escaños se repartieran a nivel de pacto y no de partido.

Pero la representatividad se refiere a otras cosas. Generalmente, la ciencia política la distingue entre representación descriptiva y representación substantiva. La primera se refiere a las características personales, usualmente demográficas, de los representantes, mientras que la segunda se refiere a las preferencias ideológicas y de política pública.

Sobre la representación descriptiva, los datos de Candidaturas Chile nos permiten observar los cambios. En primer lugar, esta elección arrojó una proporción más alta de mujeres electas desde 1989. Además, el promedio de edad de los representantes electos bajó, de 59 a 56 años en el Senado, y de 49 a 44 en la Cámara. Ambos movimientos traen el promedio más cerca de la edad mediana de la población que es de 33 años. Incluso, este Congreso tendrá, por primera vez desde la dictadura, la presencia de 2 personas de la etnia mapuche, una novedad de innegable importancia simbólica. Todos estos indicadores apuntan a que la representación descriptiva estaría mejorando, aunque de forma lenta.

En términos de representación substantiva, la elección de nuevos partidos políticos es, sin duda, un signo de que ésta aumentó. Si bien hubo algunos pactos que no obtuvieron escaños, como Sumemos, lo cierto es que la oferta ideológica aumentó, asimismo como su peso relativo.

El mensaje presidencial de la ley que modificó el sistema electoral planteaba que éste nuevo sistema iba a ser más justo y proporcional. Sin embargo, de una forma bastante hábil, el mismo mensaje evita definir cómo se evalúa si éstos objetivos se cumplen o no. Lo cierto es que, antes de saltar a concluir sobre el éxito o fracaso de la reforma, es importante revisar las métricas utilizadas. Por nuestra parte, nos declaramos en empate entre una u otra opción.

Tribunal Constitucional: ¿es la tercera cámara?

Escrito en conjunto con Jorge Fábrega y Sammy Drobny. Publicado en CIPER Chile el 18 de agosto de 2017

¿Es un tribunal político o jurídico? La misma polémica se repite tras cada proceso legislativo que culmina en el Tribunal Constitucional. Esta vez el foco de atención es la discusión sobre la ley de interrupción del embarazo en tres causales. Sin datos se torna imposible dirimir esa controversia. Como se trata de una pregunta relevante, desde hace algún tiempo hemos estado analizando las votaciones de los ministros del Tribunal Constitucional desde su creación hasta la actualidad.

La pregunta es interesante porque hay buenas razones para pensar que el Tribunal Constitucional chileno es una pieza necesaria del entramado institucional, y también hay buenas razones para sugerir que cumple roles legislativos que no deberían ser de su competencia.

Primero, sobre su funcionalidad, cabe señalar que los mecanismos de control que revisan la constitucionalidad de las leyes aprobadas por el parlamento -que por su forma de elección debiera representar la voluntad de la mayoría-, no son privativos de Chile. Al contrario,  organismos con el rol de velar por la constitucionalidad de las leyes son parte constitutiva de la estructura institucional en democracias desarrolladas.

Por ejemplo, en España existe un tribunal de similares caracterìsticas al chileno donde el Congreso nombra a ocho de sus miembros, el Ejecutivo a dos y las Cortes a dos más. En Estados Unidos, ese rol de control constitucional es delegado a la Corte Suprema, cuyos miembros son nombrados por el Presidente, pero con aprobación del Senado. En Francia, se ocupa un mecanismo sui generis, donde además de los tres miembros nombrados por la Asamblea Nacional, tres por el Senado y los tres del Ejecutivo, se suman todos los ex presidentes que deseen asistir a las sesiones.

Segundo, respecto a su eventual rol legislativo, los críticos del Tribunal Constitucional sostienen que éste cumple fundamentalmente un rol político y actúa como una tercera cámara legislativa que, bajo la excusa de revisar la constitucionalidad de las leyes, simplemente refleja las posiciones políticas de sus miembros. En base a ese juicio, la legitimidad del Tribunal Constitucional ha sido cuestionada debido a que sus miembros no han sido elegidos democráticamente y, por ende, no deberían legislar.

Dichas críticas al rol que cumple el Tribunal Constitucional se fueron acumulando a través de los años desde el retorno de la democracia, e impulsaron en 2005 una reforma a los modos de nombramiento de sus miembros, para darle más independencia y legitimidad. Se estableció una nueva fórmula de nominación: cuatro ministros del Tribunal son nombrados por el Congreso, tres por el Presidente y tres por la Corte Suprema. Además, se estableció que los ministros permanecerían en sus cargos por nueve años sin posibilidad de ser renovados y se les aseguró su exclusividad. No obstante, pese a esas reformas, la polémica está lejos de desvanecerse.

Por lo tanto, cabe preguntarse qué evidencia existe sobre la forma en que el Tribunal Constitucional lleva a cabo su rol y qué datos son consistentes con que el tribunal actúe como una tercera cámara legislativa. Una fuente natural para buscar respuestas es el análisis de las votaciones. Eso hicimos.

La intuición que nos guía es simple: Los ministros nombrados por el Congreso y los elegidos por la Corte Suprema deberían tener patrones de votación diferentes a los observados en aquellos ministros nombrados por el Ejecutivo. En particular, ya que para ser nombrado por el Congreso un candidato al Tribunal Constitucional debe concitar amplios consensos, quienes entran por esa vía al tribunal debieran tener posiciones más moderadas que los nombrados directamente por el Poder Ejecutivo.

Lo mismo debería suceder con los ministros nombrados por la Corte Suprema respecto de los ministros nombrados por el Ejecutivo, aunque por distintas razones: los ministros nombrados por la Corte Suprema deberían adoptar posiciones con un mayor componente jurídico que político dado su origen y, por ende, en algunos casos aparecerán votando de forma similar a los de un color político conocido, pero en otros casos votando de forma similar a los del color político opuesto.

Es decir, si de alguna manera pudiéramos ubicar en una dimensión a los ministros del Tribunal Constitucional, las posturas de los ministros nombrados por el Ejecutivo deberían estar en los extremos, porque representan posiciones claramente antagónicas. Pero la de los ministros nombrados por la Corte Suprema y el Congreso deberían estar entre medio de ellos. ¿Es así?

Para responder esta pregunta lo que hicimos fue registrar todas las sentencias del tribunal desde el año 2010 al 2016 y estimar las preferencias latentes de los ministros del tribunal. Es decir, observando sus patrones de votación inferimos qué posturas ideológicas serían consistentes con esos comportamientos. Usando una técnica denominada Expected Maximization IRT (Imai, Lo y Olmsted 2016 [1]) pudimos estimar las posiciones ideológicas consistentes con sus patrones de votación.

El gráfico 1 resume el resultado. Allí ubicamos a cada ministro en un espacio unidimensional, que puede asemejarse a un eje liberal/conservador, en donde un número más pequeño representa una postura más conservadora y uno más grande una postura más liberal.

GRAFICO1

Gráfico 1: Estimación de las posiciones ideológicas promedio del Tribunal Constitucional, 2010-2016  (a mayor valor, más liberal la posición ideológica estimada)

Como puede verse en el gráfico 1, cada círculo representa la posición ideológica promedio estimada para cada uno de los actuales ministros y el color de cada punto indica el mecanismo de su nombramiento descrito en las leyendas a la derecha del gráfico. La tendencia es clara. Quienes han sido nominados por el Poder Ejecutivo son quienes ocupan las posiciones más extremas (Carmona, Brahm, Aróstica). En posiciones relativamente más centrales, están los nombrados por el Congreso (García, Romero, Pozo, Letelier); y en posiciones aún más centrales, los nombrados por la Corte Suprema (Vázquez, Hernández y Peña). El caso de Marisol Peña es interesante, ya que a pesar de tener un promedio más liberal que sus colegas nombrados por la Corte Suprema, su nivel de variabilidad (mostrado por la línea que atraviesa el punto) es muy alto. Esto sugiere que se comporta con bastante más libertad que el resto de los ministros.

¿Qué significa este resultado? Los datos sugieren que la reforma del 2005 logró el objetivo deseado de reducir el carácter político de sus miembros. Si antes la crítica era que los ministros siempre operaban como caja de resonancia de las coaliciones políticas que representaban, ahora vemos un poco más de variación y moderación, sobretodo entre quienes son elegidos por la Corte Suprema.

Sin perjuicio de eso, los datos muestran que los patrones de votación de los ministros designados por el Poder Ejecutivo y el Congreso siguen teniendo un componente ideológico. En resumen, sí hay indicios para pensar que el Tribunal Constitucional opera de forma política y no simplemente como órgano jurisdiccional, pero el peso relativo de ese componente político se habría reducido tras la reforma del 2005.

Por otro lado, la técnica de estimación permite evaluar cómo las posturas de los ministros evolucionan en el tiempo. Los datos son bien sugerentes. El gráfico 2 presenta la evolución promedio de las posiciones ideológicas estimadas para el conjunto de los actuales ministros del tribunal (línea naranja) en el período en que todos han estado presentes (recuérdese que no todos son nombrados al mismo tiempo). Junto al promedio, es importante mostrar la varianza alrededor de nuestras estimaciones, ya que es una señal de la convergencia o divergencia de los ministros en el tiempo. Por eso, el gráfico muestra dos líneas que representan una banda desde una desviación estándar sobre el promedio (línea gris) y una desviación estándar bajo el promedio (línea celeste). Mientras más cerca están las líneas gris y celeste, más convergencia vemos entre los ministros.  Recuérdese también que un valor más alto representa una postura relativamente más liberal y uno más bajo una postura relativamente más conservadora.

GRAFICO2

Gráfico 2: Evolución de las posiciones ideológicas del actual Tribunal Constitucional 2014-2016 (a mayor valor, más liberal la posición ideológica estimada)

Como muestra el gráfico 2, desde el año 2014 a la fecha existe una mayor convergencia en la posiciones de los actuales ministros hacia posturas relativamente más liberales. Ello acontece incluso entre aquellos ministros relativamente más conservadores y/o que fueron nombrados por el gobierno de Sebastián Piñera (como Juan José Romero, Iván Aróstica y María Luisa Brahm).

En tal sentido, proyectos como el del aborto en tres causales, llegan hoy ante el Tribunal Constitucional en un período donde la probabilidad que se rechace el requerimiento de inconstitucionalidad es mayor. ¿Será este giro hacia posiciones relativamente más liberales suficiente como para que el proyecto avance a la etapa de promulgación?

Incluso, si hubiese un empate a cinco votos, el voto del presidente del tribunal es el que dirime y el actual presidente es Carlos Carmona, quien en el gráfico 1 es el miembro del Tribunal Constitucional que se ubica en el extremo más liberal. Por lo tanto, las condiciones parecen dadas para que el proyecto avance ¿Será así? Muy pronto lo sabremos.

Referencias:

[1] Imai, Lo y Olmsted (2016): “Fast Estimation of Ideal Points with Massive Data”. American Political Science Review, Vol. 110, No. 4: 631-656.

Oferta de Trabajo: Asistente de Investigación para estudio legislativo en Chile

Estoy buscando un/a asistente de investigación para un proyecto de investigación sobre candidatos parlamentarios en Chile. Les ruego difundir este llamado.

Requisitos mínimos:

  • Título o Licenciatura Universitaria (ver detalle abajo)
  • Experiencia en manejo de datos, análisis estadístico y uso de R y/o Stata (con la disposición a aprender R)
  • Ingles intermedio
  • No se requiere experiencia mínima, pero sí disposición a aprender
  • Interés por temas políticos y de investigación académica
  • Habilidades interpersonales, particularmente motivación, autonomía y trabajo en equipo

 Requisitos Deseables (pero no mínimos):

  • Experiencia en aplicación y diseño de encuestas
  • Inglés avanzado
  • Familiaridad con la literatura académica sobre el estudio de candidatos/as y otros activistas políticos

Duración: 15 meses, con posibilidad de extensión

Disponibilidad: Desde el 1 de julio de 2017

Sueldo sugerido: Entre $400.000 y $700.000 líquidos dependiendo de experiencia. Primeros tres meses a prueba (a honorarios) y luego con contrato de trabajo a plazo definido.

 Descripción

Azerta busca contratar a un asistente de investigación a tiempo completo para contribuir a un proyecto de investigación académica en torno a las elecciones 2017, llamado “Candidaturas Chile”. Como parte de una red internacional, el Comparative Candidate Survey (CCS), un grupo de investigadores de Newcastle University (UK), la Universidad Andrés Bello y Azerta estarán realizando una serie de estudios sobre candidatos al Congreso en Chile. El equipo es liderado por Javier Sajuria, PhD y académico de Newcastle University, quién supervisará directamente el trabajo del/la asistente de investigación. La profesora Stephanie Alenda (UNAB) será la co-investigadora del proyecto.

Quién ocupe el cargo participará, inicialmente, de la recolección de datos públicos de los candidatos y candidatas al Congreso. En una fase posterior, el/la asistente de investigación participará de la aplicación de una encuesta a todos los candidatos y candidatas que participen de la elección de noviembre, siguiendo los lineamientos del CCS. Además, se espera que el/la asistente participe en el análisis de los datos a nivel nacional y comparativo, y en la preparación de publicaciones académicas e informes de prensa. La posición es ideal para personas con experiencia en manejo de datos cuantitativos (idealmente encuestas) y con conocimiento medio o avanzado de software estadístico como R y Stata. Es requisito esencial tener un título o licenciatura universitaria, preferentemente en Ciencia Política, Sociología, Economía o alguna disciplina afín. Asimismo, por la naturaleza internacional del proyecto, es deseable que la persona a contratar tenga buen nivel de inglés oral y escrito.

El/la asistente de investigación participará en el proyecto en conjunto con los investigadores de las instituciones asociadas y tendrá como responsabilidad llevar a cabo gran parte de la construcción de una base de datos de candidaturas al Congreso antes de la elección de noviembre 2017 y colaborar en la aplicación de la encuesta de manera posterior a la elección. Ambos procesos – recolección de datos públicos y encuesta – permitirán reunir información demográfica, socioeconómica, de experiencia política, posiciones políticas e ideológicas y de metodologías de campaña. Durante los primeros 6 meses del proyecto, el foco se concentrará en la recolección y análisis de datos públicos, mientras que los siguientes 6 meses estarán dedicados a la encuesta. Este proyecto se enmarca en una iniciativa internacional para el estudio de candidatos y élites políticas, por lo que el/la asistente tendrá la posibilidad de colaborar en publicaciones académicas y otras actividades con investigadores localizados en otros países. Asimismo, es posible que el/la asistente participe como autor/a o co-autor/a en investigaciones académicas.

Principales actividades y responsabilidades

  1. Participar como un miembro más del equipo de investigación bajo la conducción de los investigadores senior
  2. Participar de forma activa del levantamiento de datos de candidaturas al Congreso en 2017 y en todas las etapas (diseño, aplicación, recolección y análisis) de la encuesta de candidatos post-elección
  3. Resguardar la protección legal de datos personales de candidatos/as (cuando no sean de conocimiento público) y observar buenas prácticas de manejo y uso de datos personales
  4. Llevar a cabo, de forma independiente y guiada, análisis detallados de los datos recolectados usando métodos estadísticos descriptivos y avanzados
  5. Preparar informes para publicación en colaboración con los otros miembros del equipo, y diseminar los resultados en foros, conferencias u otras instancias
  6. Colaborar en la preparación de las bases de datos para el depósito en repositorios externos y la liberación de datos al final del proyecto
  7. Colaborar con el equipo en tareas administrativas y preparación de eventos relacionados al proyecto

Proceso de postulación

Para postular se requiere el envío de los siguientes documentos antes del 15 de junio de 2017 a imackinnon@azerta.cl. Pueden realizar consultas informales antes de postular a Javier Sajuria (javier.sajuria@ncl.ac.uk) o Ian Mackinnon (imackinnon@azerta.cl).

  1. CV (sin foto) de no más de 3 páginas en que se detalle la experiencia académica y laboral del/la postulante
  2. Carta de motivación de dos carillas en la que se describa como el/la postulante cumple con los requisitos del cargo
  3. Nombre de dos recomendadores, al menos uno debe ser del ámbito académico

¿Y quién es él? Estimación de ideología y posición política de A. Guillier

Escrito en conjunto con Jorge Fabrega y Alvaro Graves. El texto apareció originalmente publicado en Revista Qué Pasa

Alejandro Guillier, senador independiente por cupo del Partido Radical, es el primer candidato presidencial proclamado dentro de la Nueva Mayoría. Dado que poco sabemos de sus convicciones y posturas, ¿qué podemos aprender sobre él a partir de sus acciones? Su aprobación está subiendo cada día más y, según las encuestas, aparece como la mejor carta de la centroizquierda para enfrentar a Piñera en las presidenciales de este año. Su popularidad es tal, que le lleva buena ventaja a otros nombres del sector que tienen mucho más recorrido, como Ricardo Lagos y José Miguel Insulza.

Según los analistas, la ventaja de Guillier tiene que ver con su supuesto apoliticismo. Habiendo ejercido como periodista durante toda su carrera, el senador siempre se mostró como un hombre opinante, cuestionador de quienes ostentan el poder y con buena oratoria. Fue rostro de noticias y su confianza pública lo puso al tope de la tabla de los periodistas mejor evaluados. Por eso fue contratado por las isapres para que fuera el rostro de una serie de campañas, algo por lo que ha sido altamente cuestionado. Cuando llegó al Congreso, logró mantener presencia sin necesidad de tomar posiciones. Tanto es así, que una de las primeras veces que el senador dio que hablar en el Parlamento no fue producto de sus posturas políticas sino debido a que, como él lo expresara, le “habían pasado un gol” en la votación del proyecto de ley que sancionaba las filtraciones en investigaciones judiciales.

En un contexto de descrédito general de la clase política, Guillier se alza como un candidato atractivo por parecer poco político, al igual que Bachelet en 2005. No obstante, ese supuesto apoliticismo que muchos le aplauden es, al mismo tiempo, el principal problema para el ahora candidato, quien no podrá permitirse esa indefinición por mucho tiempo.

Podemos esperar a que pase el tiempo para ir conociendo las convicciones políticas del candidato Guillier o podemos hacer algo mejor: deducirlas de su comportamiento como senador. Si analizamos sus votaciones podemos saber qué tan cerca o lejos se encuentra de otros senadores cuyos domicilios políticos son conocidos. Eso hicimos. Tomamos el registro total de las votaciones en el Senado desde que Guillier es senador (2014-2016) y estimamos la posición ideológica de cada uno de sus miembros. Para ello, usamos una técnica de estimación llamada DW-No-Minate, muy utilizada en ciencia política. Con ella, por ejemplo, se ha podido determinar que la política norteamericana se ha ido polarizando de forma constante desde los 80, lo que ha permitido poner en perspectiva las tensiones que se han estado produciendo con el advenimiento de la era Trump. Sólo para ilustrar con otro ejemplo, en 2015, Keith Poole (uno de los creadores del método) anticipó correctamente que Paul Ryan reemplazaría a John Boehner como speaker de la Cámara Baja norteamericana cuando Boehner sorprendió a todos anunciando su renuncia. Aunque la aplicación del método es compleja, su intuición es muy simple: sin necesidad de conocer de antemano qué piensa un parlamentario, se puede decir que sus votos en cada proyecto de ley deberían reflejar sus posturas políticas; de modo tal que quienes recurrentemente votan parecido tienen posiciones políticas parecidas entre sí y quienes recurrentemente votan por alternativas opuestas deberían ser adversarios políticos. Con esta simple idea, lo que hace el método es buscar el ordenamiento de las posiciones políticas latentes que mejor resumiría esas similitudes y diferencias en las votaciones de los parlamentarios. Con esta técnica podemos saber cómo se ubica Guillier en un espectro de izquierda a derecha en comparación con sus pares, podemos identificar sus potenciales aliados y visualizar hacia dónde debe mirar si es que desea concitar más apoyos. Todo ello sin la necesidad de saber de antemano si su visión ideológica es de derecha, centro o izquierda.

Luego de estimar vía DW-Nominate las posiciones ideológicas de cada senador, notamos un fenómeno interesante. Los senadores se distribuyen en un continuo que va desde Alejandro Navarro por la izquierda y Juan Antonio Coloma por la derecha. En ese plano, el senador Guillier pareciera ubicarse en un punto estratégico dentro de la Nueva Mayoría. La posición que se estimó a partir de sus votaciones en el Senado nos permite posicionarlo casi en el punto medio de su coalición. No está ni muy a la derecha del PS ni muy a la izquierda de la DC. De hecho, su posición es indistinguible de la de la presidenta de la falange, Carolina Goic. Según esto, Guillier aparecería como el niño símbolo de la coalición con el potencial de convertirse en un forjador de acuerdos, que se encuentra en una posición privilegiada para movilizar a todas las facciones de un acuerdo cada vez más tensionado. Según este análisis, Guillier no sólo podría capturar el voto electoral, sino que además darle continuidad a su sector. Ahora bien, el gráfico nos entrega luces sobre el dilema que enfrenta la Democracia Cristiana por estos días: si su eventual candidata está en una posición política dentro de la coalición similar a la de Guillier ¿podría disputarle la candidatura dentro de la Nueva Mayoría?

No obstante, la política no se juega sólo en una dimensión. Los académicos y analistas llevan años debatiendo cuántas dimensiones ideológicas se encuentran presentes en política, pero la evidencia internacional indica que el grueso de las diferencias políticas puede ser reducido en un máximo de dos dimensiones (Poole y Rosenthal, 1997). De hecho, hicimos el ejercicio de calcular una tercera dimensión y obtuvimos que esta estaba altamente correlacionada con la primera. La ciencia política ha interpretado el segundo eje como representativo de una tensión entre alternativos vs. tradicionales o entre libertarios y autoritario-nacionalistas. Es decir, en un lado están los que se sienten cómodos con procesos más horizontales de participación política o que buscan caminos políticos alternativos, y en el otro están quienes valoran el orden, las tradiciones o el statu quo.

Al reordenar los senadores usando dos dimensiones, nos encontramos con un Guillier mucho más tensionado dentro de su coalición. En el eje izquierda-derecha, sigue estando al centro de la NM en la escala tradicional de izquierda a derecha. Pero lo interesante ocurre en la segunda dimensión. A partir de sus votaciones en el Congreso, Guillier aparece lejos del conjunto de senadores de su coalición, y sólo superado por Navarro (quien renunció a la NM en 2016). Más importante aún, Guillier aparece más cerca de senadores como Horvath o Bianchi y en las antípodas de los senadores DC. Una posible explicación tiene que ver con que la segunda dimensión también captura el rol de la descentralización y la redistribución de poder en el proceso político. Guillier aparece acompañado de sus colegas más regionalistas, lo que no es casualidad. El senador fue un duro en la discusión sobre la elección de intendentes, movilizando los votos para lograr aprobar el proyecto.

Otra votación significativa del candidato radical fue la del reajuste en el sector público. Luego de una reñida discusión que tensionó al bloque oficialista, el porcentaje de reajuste se aprobó con la oposición de la ANEF y los gremios del sector público. Ante la dificultad de cuadrar a los votos independientes (Navarro, Horvath y Bianchi), el gobierno se vio en la necesidad de recurrir a votos de la derecha para asegurar la victoria. Guillier, de forma disciplinada, votó a favor de la propuesta del gobierno y contra la postura de los representantes de los empleados públicos.

Desde su lanzamiento de campaña, Guillier ha hecho seguidos guiños a la DC, y no es casualidad. Por una parte, sabe lo complejo que será enfrentar una primaria sin el apoyo de este partido (en caso que no lleven candidato propio). Pero, por otro lado, y como podemos ver en nuestro análisis, Guillier se encuentra bastante lejos de sus pares democratacristianos. Incluso, los más progresistas dentro de la DC, como Carolina Goic, están a una distancia considerable si los comparamos con los senadores PS o PPD. Las menciones constantes a Radomiro Tomic parecieran ser la ofrenda de paz con que Guillier busca que la DC obvie su comportamiento parlamentario de los últimos dos años.

Pero la tarea del candidato radical no termina en estrechar sus vínculos hacia los sectores más de centro de su coalición, sino que también requiere sumar entre sus aliados al Partido Comunista. El PC se ha mostrado abierto a su opción, pero también han tenido acercamientos con Lagos. La tensión en que se encuentra Guillier es compleja y se debe, en gran parte, a una posición bisagra en la que él mismo se ha puesto. Quizás, fiel a la tradición del Partido Radical de los últimos 20 años, Guillier está en un punto del espectro donde es difícil encajonarlo. Esa aparente ambivalencia es, por un lado, su principal ventaja ante los votantes, pero también su principal problema para concitar apoyos en las élites del sector.

De qué se trata @EstadoEdita?

El pasado 8 de julio, el comediante británico Tom Scott (famoso por sus iniciativas digitales en torno a sitios gubernamentales) creó una cuenta de Twitter (@parliamentedits) que generaba un tuiteo automático cada vez que alguien editara una entrada de Wikipedia desde un computador en el Parlamento británico. El sistema que ocupó fue simple, pero a le vez algo limitado. Conectó Wikipedia y Twitter usando el servicio IFTTT. Un par de días después, el 11 de julio, un especialista en temas digitales de la Biblioteca del Congreso de EE.UU., Ed Summers, mejoró el diseño, permitiendo incorporar más de una dirección IP y subió el código a GitHub. Con eso, partió @congressedits.

El 12 de julio, ya habían varias cuentas que hacían lo mismo en otros países, como Australia, Irlanda y Francia. La oportunidad estaba ahí, sólo faltaba un poco de trabajo para expandirlo a Chile. En un simple tuit, le presenté la idea a Álvaro Graves (debo admitir que hubo algo de morbo por saber cuánto se demoraba en prender con la idea), quién lleva “sólo” un par de años dedicado a Open Data de gobiernos. Su respuesta fue rápida y nos pusimos en marcha. Con eso en mente, nació @CongresoEdita, que después de conseguir las IPs del gobierno, pasó a ser @EstadoEdita.


La idea es simple: si alguien conectado a internet a través de las direcciones IP del gobierno o el congreso, y decide hacer algún cambio en Wikipedia, eso va a quedar registrado y se genera un tuit automático en @EstadoEdita. El tuit tiene el link al artículo.

Ok, pero ¿para qué?

Buena pregunta. Por ahora, simplemente como un ejercicio de transparencia y control, además de un poco de voyerismo. No hay nada de malo si un funcionario de gobierno decide corregir algunas palabras en italiano del artículo sobre una ópera. Al contrario, es bien interesante poder observar estos comportamientos. Lo que sí es importa es comprender que la tecnología puede ser usada para observar de manera más cercana lo que realizan quienes están en oficinas públicas. Además, hace presente que lo que hacemos online no es secreto ni privado (si no me creen, pregúntenle al NSA).

Tal como lo plantea Summers, espero que este ejercicio sea un punto de partida, una pequeña contribución al trabajo que otros, de forma mucho más sistemática, han hecho por abrir el acceso a la información en Chile.

Si tienen dudas, quejas, comentarios, caritas felices, etc., quedan invitados a ponerlas en los comentarios.

Terremoto 1A Chile [1A Earthquake in Chile]

*LAST UPDATE: 02 April 2014 16.21 GMT+0400  03 April 2014 01.11 GMT +0400

A las 20.46, se registró un terremoto cerca de la costa de Iquique, Chile, de magnitud 8.2 grados en la escala Richter y un posterior tsunami (más información sobre el sismo puede ser obtenida a través de La Tercera). Desde unos 5 minutos después del terremoto he estado descargando los tweets que contengan alguna de las siguientes palabras: “terremoto”, “iquique”, “arica” o “tsunami”. Durante los próximos días estaré dando un poco más de análisis, pero por ahora es posible plotear los tweets georreferenciados para poder ver desde donde vienen las conversaciones sobre el terremoto. de aproximadamente 200.000 360.000 tweets capturados, no más del 2% cuenta con georreferenciación, por lo que no es posible inferir ningún tipo de representatividad.

He agregado un wordcloud con las palabras más usadas en los tweets. Como era esperable, el tsunami y Chile son los términos más usados. Además, incorporé un gráfico con la proporción de cuántos tweets hay por idioma (y español tiene más del 80%)

At 20.46, a big earthquake strike the north of Chile, near the coast of the city of Iquique. The quake had a magnitude of 8.2 in the Richter Scale and triggered a tsunami alert in the whole of the Chilean coast. Starting from 5 minutes after the earthquake, I have collected all the tweets I can including any of the following keywords: “terremoto”, “iquique”, “arica” and “tsunami”. During the next days (and I’m not very sure what that means, given that I’m travelling to Chicago for MPSA tomorrow), I’ll aim to provide further analysis. For now, here is the plot of the geotagged tweets (which is not more than 2% of the total population of tweets of around 200,000 360,000 of them).

I have added a wordcloud with the text from the tweets. Not surprisingly, “tsunami” and “Chile” are amongst the most widely used. Also, I created a figure that shows the proportion of the different languages of the tweets.

4,270 geotagged tweets captured for 4 hours after the earthquake.
4,270 geotagged tweets captured for 4 hours after the earthquake.
Wordclous with the 1,000 more used words.
Wordclous with the 1,000 more used words.

 

Proportion of the different languages of the twets
Proportion of the different languages of the twets

[Spanish] Predecir elecciones y movilizar votantes: Las “deudas” de las redes sociales con las campañas electorales

This post was originally published in “Redes y Elecciones” a collective tumblr about the Chilean elections, edited by the newspaper La Tercera

Este post fue publicado originalmente en el tumblr sobre las elecciones chilenas “Redes y Elecciones”, editado por el diario La Tercera

Todos los candidatos a la presidencia tienen cuenta oficial en Facebook y Youtube y sólo una no está en Twitter. Aunque todos nos imaginamos los beneficios del uso de las redes sociales en una campaña, ¿qué dicen los estudios?

Una de las razones claves para ocupar estas tecnologías es que permite obtener información detallada y específica sobre los usuarios. La segmentación de los mensajes parece ser la nueva consigna política, muy similar a lo que el retail lleva haciendo por años. Algunos ejemplos son “The Victory Lab” de Sasha Issenberg o el más cercano “Tu Cariño Se Me Va” de Daniel Matamala.

Algunos ejemplos:

Sin embargo, hay dos áreas en las cuáles el uso de estas tecnologías está en deuda: la predicción de resultados electorales y la movilización de votantes.

Predecir resultados

Aunque ha habido una serie de investigaciones que han intentado demostrar la posibilidad de predecir resultados electorales a través de las redes sociales,, no han sido pocas las voces que han salido a criticar este tipo de investigaciones (por ejemplo este post de Joshua Tucker y este otro de Dani Gayo).

Las razones son varias. La primera es obvia y se refiere a que los usuarios de estas herramientas no son una muestra representativa de la población, por lo que no es posible inferir el comportamiento electoral a partir de la información que obtengamos de ellos. Si bien este argumento es convincente, estamos cerca de poder hacer una conexión más clara entre lo que se lee en Twitter y lo que dicen las encuestas.

Otros argumentos para plantear que no se pueden predecir elecciones con estos datos obedecen a que las metodologías usadas son poco claras, lo que poco a poco ha ido mejorando con la inclusión más académicos en el debate.

En definitiva, no se pueden predecir elecciones aún, pero parece ser que es cosa de tiempo para lograrlo.

Movilizar a la gente a votar

Descubrir la posibilidad de las redes sociales de llevar votantes a la urnas tiene mucha relevancia con la inclusión del voto voluntario. El año pasado se publicó un experimento realizado a través de Facebook durante la campaña presidencial norteamericana del 2008. En él se demostró que el uso de “avisos sociales” en Facebook sí sirve para llevar gente a las urnas. Sin embargo, entre 61 millones de participantes del experimento, sólo unos pocos (alrededor de 0,4%) fueron a votar.

Lamentablemente, en Chile es imposible realizar este tipo de investigaciones debido a las restricciones en el acceso a datos de votaciones que impone el Servel.

Los medios sociales tiene muchos potenciales beneficios para la política: permiten que los candidatos interactúen de manera más directa con sus electores, establece un puente a las campañas y les permite obtener información relevante sobre sus audiencias. Sin embargo, las posibilidades de predecir resultados y movilizar votantes siguen siendo áreas que necesitan ser demostradas.