3.2 Incidencias en la aplicación de las encuestas
A continuación se detallan los hitos específicos asociados a la implementación de las olas 2016, 2017, 2018, 2019, 2021 y 2022:
3.2.1 Implementación Ola 2016
El levantamiento de la encuesta se llevó a cabo en un periodo de alrededor de 20 semanas, durante los meses de agosto a diciembre de 2016 (ver Figura 3.1). Para la ejecución del terreno se contó con 132 encuestadores distribuidos en 4 sedes de trabajo, cada una liderada por un coordinador/a de grupo debidamente capacitado/a.
El plazo fue mayor al pronosticado inicialmente (se estimó que duraría entre 8 y 12 semanas, extendiéndose finalmente a 20). Las principales dificultades encontradas y las medidas adoptadas para solucionar las eventualidades acontecidas fueron:
El CMD en su propuesta técnica comprometió un período de trabajo de campo de 8 semanas. Esta estimación de tiempo se basó en estudios recientes, pero no fue adecuada dadas las dificultades de acceso a la muestra y la dispersión de la misma.
El mayor problema se presentó en la Región Metropolitana que, a diferencia de las otras regiones, no consideró una sobredimensión de la muestra de acuerdo a tasas de respuesta históricas en encuestas de hogares con selección aleatoria del entrevistado. Para solucionar este problema se efectuó un aumento de la muestra (ver Etapa 5: Aumento del tamaño muestral para más detalles), lo que se tradujo en tiempo adicional de levantamiento.
Se tuvo dificultad en la convocatoria y permanencia de los encuestadores en el proyecto, debido a la dificultad de acceso a la muestra y su dispersión, los que hicieron que el pago propuesto a los encuestadores, en comparación a otros proyectos paralelos (dentro y fuera del Centro), fuera relativamente menos atractivo. El pago realizado y las facilidades entregadas a los encuestadores se fue incrementando gradualmente para solucionar este problema.
El cierre definitivo del trabajo de campo del levantamiento de la encuesta se desarrolló de común acuerdo con COES, una vez cubierta la totalidad de la muestra sobredimensionada8. El terreno se cerró finalmente con 2.984 encuestas realizadas.
Figura 3.1: Número de entrevistas por semana, ola 2016
Indicadores levantamiento
A continuación se presentan las Tasas de Respuesta 1 (TRR1, definida por la AAPOR), Tasa de Cooperación 1 (TCC1), Tasa de Rechazo 1 (TR1) y Tasa de Contacto 1 (TC1)9
| Indicador | Muestra Original |
|---|---|
| Tasa de contacto | 72.6% |
| Tasa de cooperación | 86.0% |
| Tasa de rechazo | 8.9% |
| Tasa de respuesta | 62.4% |
Corrección de datos por casos anómalos: Olas 2016 y 2017
En el contexto de la ejecución de la tercera ola del estudio ELSOC (año 2018) se diagnosticó la falsificación de un número acotado de casos a lo largo del estudio en las olas 2016 y 2017.
Durante la etapa de supervisión del trabajo de encuestadores durante el 2018, tercera ola de ELSOC, el Centro de Microdatos (CMD) detectó e informó que un conjunto de casos incluidos en la muestra panel son falsos.
Debido al lento avance de las metas de campo de ELSOC en 2018 en Tarapacá y Valparaíso, se enviaron nuevos encuestadores, los cuales detectaron estos problemas. En específico, las encuestas fueron sistemáticamente falsificadas: se realizaron a otras personas no incluídas en la muestra, o los encuestadores solicitaron información a terceros.
Esto llevó a un proceso exhaustivo de revisión, en la cual se detectaron 56 casos falsificados en el campo de 2016 y 47 en el campo de 2017, concentrados en las regiones de Tarapacá (11 casos en 2016 y 11 en 2017) y Valparaíso (45 casos en 2016 y 37 en 2017).
La estrategia de campo de CMD se centra en encuestadores experimentados, asignando los mismos casos a los encuestadores en el tiempo, acorde a la recomendación de la literatura especializada. El problema se concentró en algunos encuestadores específicos en dichas zonas, el cual no fue detectado durante la supervisión de campo de las dos primeras olas.
Los casos falsificados representan el 1,9% del tamaño muestral efectivo de ELSOC 2016 (N = 2.984) y 1,9% de 2017 (N = 2.522), por lo que se considera que éstos tienen un impacto marginal a nivel general. A pesar de esto, se tomó la decisión de excluir de las bases de datos los casos falsificados, y se generó y puso a disposición una versión corregida de las bases de datos 2016 y 2017. Los ponderadores fueron corregidos considerando la eliminación de estos casos.
Para evitar estos problemas en el futuro, se modificaron los protocolos de supervisión, aumentando la supervisión presencial y el porcentaje de casos supervisados por encuestador. Adicionalmente, se implementó un sistema de rotación de encuestadores de tal manera que la muestra no sea levantada por los mismos encuestadores en más de una ronda.
3.2.2 Implementación Ola 2017
El levantamiento definitivo de la encuesta se llevó a cabo en un período de doce semanas, durante los meses de julio y octubre de 2017 (ver Figura 3.2). Para la ejecución del terreno se contó con 120 encuestadores distribuidos en las 17 sedes de trabajo.
El terreno se llevó a cabo en un período mayor al pronosticado, pues se estimó que duraría nueve semanas, extendiéndose finalmente a doce. Sin embargo, el levantamiento de datos tuvo una duración menor al de la primera ola, que se extendió por 20 semanas. Esta mayor rapidez fue propiciada por la disponibilidad de datos de contacto de los encuestados obtenido en la ola anterior.
La extensión del terreno por sobre la estimación original se debió principalmente a que en las regiones Metropolitana y de Valparaíso existió una mayor dificultad para contactar a los encuestados.
El cierre definitivo del trabajo de campo del levantamiento de la encuesta se desarrolló una vez cubierta la totalidad de la muestra. El terreno se cerró finalmente con 2.521 encuestas realizadas.
Figura 3.2: Número de entrevistas por semana, ola 2017
Indicadores levantamiento
A continuación se presentan las Tasas de Respuesta 1 (TRR1, definida por la AAPOR), Tasa de Cooperación 1 (TCC1), Tasa de Rechazo 1 (TR1) y Tasa de Contacto 1 (TC1):
| Indicador | Muestra Original |
|---|---|
| Tasa de contacto | 88.7% |
| Tasa de cooperación | 93.1% |
| Tasa de rechazo | 6.0% |
| Tasa de respuesta | 82.6% |
3.2.2.1 Casos falsificados en ola 2017
Luego de los registros y procedimientos aplicados por el CMD el año 2018 se encontraron y corrigieron anomalías en encuestas realizadas en 2016 y 2017. Para más detalle del problema encontrado y su corrección revisar Corrección de datos por casos falsificados: Olas 2016 y 2017.
3.2.3 Implementación Ola 2018
El trabajo de terreno se desarrolló durante los meses de agosto a diciembre de 2018, dentro del tiempo estimado (15 semanas, aproximadamente) (ver Figura 3.3). Para la ejecución del terreno se contó con 189 encuestadores distribuidos en 18 sedes de trabajo.
Durante este levantamiento se incluyó la muestra de Refresco, lo que generó una dificultad para los encuestadores, ya que éstos deben explicar y motivar la participación en el estudio, tanto al grupo familiar como a los propios entrevistados.
Por otra parte, la muestra de seguimiento (muestra Original) de los entrevistados 2016-2017 tuvo dificultades de contactabilidad, debido a una mayor presencia de cambios de domicilios registrados que en las versiones anteriores de la encuesta. El 6,9% se había cambiado a un domicilio diferente.
Otra de las dificultades enfrentadas en ola tiene relación con los casos de falsificación detectados (ver Corrección de datos por casos falsificados: Olas 2016 y 2017). Este problema implicó una revisión exhaustiva en terreno de estos casos, y un fortalecimiento al sistema de control, contemplando lo siguiente:
Aumentar el porcentaje de encuestas a controlar, de 10% a un 15% el 2018. Asegurando controlar al menos el 20% del trabajo realizado por cada encuestador.
Estipular para futuras olas del proyecto rotación de los encuestadores sobre el mismo entrevistado.
Registro de las encuestadoras involucradas de manera de no ser consideradas en futuras aplicaciones del estudio. Respecto a la dinámica general del trabajo, se crearon incentivos económicos para que los encuestadores lograran la muestra esperada. Así mismo, se dispuso la movilización necesaria para que los encuestadores cubrieran toda la muestra en los distintos horarios.
El cierre definitivo del trabajo de campo del levantamiento de la encuesta se desarrolló de común acuerdo con COES, una vez cubierta la totalidad de la muestra. El terreno se cerró con 2.274 encuestas en la muestra de seguimiento y 1.523 encuestas en la muestra de refresco.
Figura 3.3: Número de entrevistas por semana, ola 2018
Indicadores levantamiento
A continuación se presentan las Tasas de Respuesta 1 (TRR1, definida por la AAPOR), Tasa de Cooperación 1 (TCC1), Tasa de Rechazo 1 (TR1) y Tasa de Contacto 1 (TC1):
| Indicador | Muestra Original | Muestra Refresco |
|---|---|---|
| Tasa de contacto | 86.0% | 66.0% |
| Tasa de cooperación | 93.0% | 88.0% |
| Tasa de rechazo | 5.0% | 8.0% |
| Tasa de respuesta | 80.0% | 58.0% |
3.2.4 Implementación Ola 2019
El levantamiento de datos de ELSOC 2019 estaba programado para comenzar el sábado 19 de octubre de 2019, sin embargo debido al Estallido Social ocurrido en Chile a partir del 18 de octubre de 2019, el trabajo de terreno debió ser suspendido hasta el jueves 21 de noviembre, fecha en que se inició finalmente la recolección de la información. Por lo tanto, el levantamiento se realizó durante el período de Estallido Social, lo que dificultó su ejecución.
Esta labor se extendió por un periodo de 13 semanas (Dado el desgaste propio de la muestra y del equipo de terreno, se decidió hacer una pausa en el levantamiento de datos durante las últimas 3 semanas de febrero de 2020) (ver Figura 3.4). Para la ejecución del terreno se contó con 143 encuestadores distribuidos en 16 sedes de trabajo, administradas por coordinadores de zona debidamente capacitados.
Figura 3.4: Número de entrevistas por semana, ola 2019
Indicadores levantamiento
A continuación se presentan las Tasas de Respuesta 1 (TRR1, definida por la AAPOR), Tasa de Cooperación 1 (TCC1), Tasa de Rechazo 1 (TR1) y Tasa de Contacto 1 (TC1):
| Indicador | Muestra Original | Muestra Refresco |
|---|---|---|
| Tasa de contacto | 86.0% | 87.0% |
| Tasa de cooperación | 93.0% | 95.0% |
| Tasa de rechazo | 5.0% | 3.0% |
| Tasa de respuesta | 80.0% | 83.0% |
3.2.5 Implementación Ola 2021
La crisis sanitaria producida por la pandemia de COVID-19 y las restricciones asociadas, implicaron cambiar la metodología de aplicación de la Encuesta Longitudinal Social de Chile de forma presencial a remota a través de una encuesta telefónica (Para más detalle ver Cuestionario 2021: levantamiento durante la pandemia de COVID-19). Este cambio en la forma de levantar los datos, presentó un gran desafío logístico y operativo, ya que desde sus orígenes ELSOC se había levantado de manera presencial.
La pandemia de COVID-19 también afectó la fecha tradicional de levantamiento de ELSOC, la cual estaba programada para comenzar durante octubre de 2020, sin embargo, el levantamiento de la quinta ola se inició el sábado 30 de enero de 2021 con la asignación de la muestra a los encuestadores capacitados. Las razones para postergar el período de levantamiento fueron principalmente por la espera de condiciones sanitarias y de cuarentenas más favorables que permitieran un levantamiento presencial (sin embargo, prontamente se volvió clara la imposibilidad de mantener la modalidad presencial); y por el tiempo adicional que tomó la preparación del terreno, producto del cambio de modalidad de levantamiento. El trabajo de campo se extendió hasta mediados de junio de 2021. Sin embargo, la aplicación se realizó mayoritariamente entre febrero y abril de 2021 (ver Figura 3.5).
Debido al degaste de la muestra y al desgaste del equipo de encuestadores por intentos infructuosos de contacto, es que a contar del mes de mayo se decidió cambiar la metodología de aplicación de producción por unidad muestral a conformar un grupo de encuestadores dedicado exclusivamente a repasar la muestra en una jornada laboral determinada.
Figura 3.5: Número de entrevistas por semana, ola 2021
Indicadores levantamiento
A continuación se presentan las Tasas de Respuesta 1 (TRR1, definida por la AAPOR), Tasa de Cooperación 1 (TCC1), Tasa de Rechazo 1 (TR1) y Tasa de Contacto 1 (TC1):
| Indicador | Muestra Original | Muestra Refresco |
|---|---|---|
| Tasa de contacto | 78.0% | 87.3% |
| Tasa de cooperación | 83.7% | 76.1% |
| Tasa de rechazo | 11.0% | 8.8% |
| Tasa de respuesta | 65.2% | 66.5% |
3.2.6 Implementación Ola 2022
El proceso de levantamiento de datos se inició el viernes 22 de julio del 2022, con la asignación de la muestra a los encuestadores capacitados y seleccionados para el estudio, luego de haber realizado el proceso de reclutamiento y selección a nivel nacional. Esta labor se extendió por un periodo de 19 semanas, para culminar el 1 de diciembre de 2022 (ver Figura 3.6).
Como resultado, el Plebiscito Constitucional de Salida 2022 ocurrió durante el proceso de levantamiento (realizado el domingo 4 de septiembre), lo que obligó a actualizar las preguntas del cuestionario relacionadas a dicho plebiscito. En particular, se modificó la pregunta acerca del plebiscito, eliminando la que hacía referencia a su intención de voto y añadiendo, en cambio, dos preguntas nuevas: la primera hace referencia a si la persona participó o no en la votación del plebiscito, y la segunda al voto retrospectivo en cuestión.
Figura 3.6: Número de entrevistas por semana, ola 2022
Indicadores levantamiento
A continuación se presentan las Tasas de Respuesta 1 (TRR1, definida por la AAPOR), Tasa de Cooperación 1 (TCC1), Tasa de Rechazo 1 (TR1) y Tasa de Contacto 1 (TC1):
| Indicador | Muestra Original | Muestra Refresco |
|---|---|---|
| Tasa de contacto | 79.1% | 79.1% |
| Tasa de cooperación | 83.0% | 84.8% |
| Tasa de rechazo | 12.1% | 10.9% |
| Tasa de respuesta | 65.6% | 67.1% |
Si bien lo requerido es lograr la mayor cantidad de entrevistas exitosas, es necesario establecer un punto de corte debido a la imposibilidad de establecer contacto o lograr respuesta por parte del hogar/entrevistado.↩︎
Para mayor información sobre la determinación de los códigos de disposición final de casos y el cálculo de las tasas de resultados, ver AAPOR (2016). Standard Definitions. Final Dispositions of Case Codes and Outcome Rates for Surveys↩︎