2.1 Diseño del cuestionario
El diseño del cuestionario Original de ELSOC se desarrolló durante el año 2015 y abarcó la planificación de las olas 2016 y 2017. Las diferencias entre cuestionarios subsecuentes son descritas en el apartado cambios en el Cuestionario entre olas.
La mayoría de las preguntas, escalas y/o items incluidos en los módulos de ELSOC provienen de otros estudios de opinión pública, investigaciones -en psicología, sociología, economía, ciencia política- realizadas por académicos nacionales e internacionales y encuestas sociales conducidas en Chile y otros países. En forma complementaria, algunas escalas fueron desarrolladas por los miembros del equipo COES y/o han sido adaptadas de estudios anteriores de éstos. El cuestionario fue diseñado aprovechando las principales recomendaciones técnicas y el estado del arte en las distintas áreas de estudio incluidas.
Con el objetivo de satisfacer los criterios y estándares de calidad para cuestionarios y compatibilizar la multiplicidad de agendas de investigación desarrolladas por COES, se optó por elaborar un procedimiento de trabajo para la construcción de éste. Este proceso se desarrolló durante el año 2015 en distintas fases:
Se solicitó a los investigadores vinculados a COES proponer proyectos de investigación que contemplen un planteamiento teórico e hipótesis que fundamenten las escalas propuestas para ser incluidas en el cuestionario. Las propuestas podían ser presentadas de manera individual o colectiva y no existían restricciones en el número de ítems a proponer. Sólo se exigía una fundamentación teórica explícita que involucre hipótesis longitudinales y una operacionalización de los constructos a medir en los distintos items propuestos.
El procedimiento anterior implicó la recepción y organización de un elevado número de agendas de investigación, los que se materializan en más 750 items (preguntas únicas o parte de una escala). El equipo ELSOC sistematizó las propuestas recibidas, clasificando los items en áreas temáticas. A la vez, se diseñaron mecanismos para reducir el número de items y coordinaron reuniones entre los investigadores COES para decidir sobre éstos. Los criterios de selección fueron principalmente teóricos, priorizando las preguntas fundamentales para el análisis longitudinal de los proyectos de investigación como su concordancia con la agenda sustantiva de COES. También se incluyeron criterios prácticos, relativos a la eliminación de items idénticos o muy semejantes; evidencia previa sobre la calidad de los items (encuestas anteriores, especialmente la encuesta de corte transversal desarrollada por COES el año 2014) y el diseño general del estudio (diseño muestral, unidad de análisis, tipo de informante, etc.)..
Luego de una selección de las escalas más relevantes para cada tema propuesto, se realizó un estudio piloto del cuestionario desarrollado. Esto implicó pilotear 430 items, donde el Centro MicroDatos de la Universidad de Chile se encargó de su ejecución. En base a los resultados de dicho piloto, el equipo panel realizó ajustes a algunos items y elaboró una propuesta de reducción de ítems que fue evaluada con los investigadores del Centro.
La última etapa de ajuste del cuestionario se centró en identificar los aspectos conceptualmente más relevantes para COES y ponderar los requerimientos metodológicos para su evaluación empírica. De este modo, se clasificaron los items según el número de mediciones requeridas, distinguiendo entre items permanentes (que serán medidos en todas las olas, ya que constituyen el núcleo analítico del estudio) e intercalados (que serán medidos una única vez o una ola por medio).
La versión final del instrumento de recolección de información consiste en un cuestionario estructurado (tipo encuesta) que se aplica cara a cara a todos los participantes con una periodicidad anual, con un total de 326 ítems o preguntas.
Cambios en el Cuestionario entre olas
Como se describió en la sección anterior, las preguntas de ELSOC se encuentran clasificadas entre items permanentes e intercalados, dado que algunos de éstos no se miden en todas las olas. Por lo mismo, los cuestionarios implementados presentan diferencias entre las distintas olas de la encuesta.
Adicionalmente, los cuestionarios implementados han sufrido modificaciones que no se encontraban originalmente planificadas, debido a un proceso constante de evaluación de la calidad del instrumento aplicado, que puede resultar en la modificación o eliminación de preguntas; por la existencia de coyunturas que, dada la naturaleza del estudio, motivan la inclusión de nuevos ítems; o por la emergencia de nuevas agendas de investigación relevantes para ELSOC.
Un tema adicional que impactó en el cuestionario implementado es la duración promedio de la entrevista. Durante 2016 la duración promedio por encuestado fue de 55 minutos. CMD recomendó al equipo ELSOC reducir el tiempo de entrevista a 45 minutos promedio, dado que un tiempo superior implica una mayor fatiga en los encuestadores y entrevistados, afectando negativamente la calidad del levantamiento. Por este motivo, se decidió acortar la extensión del estudio. El Equipo ELSOC, en conjunto con investigadores COES, definió distintos ajustes que permitieron reducir la extensión del cuestionario. Mientras el cuestionario de la ola 2016 contenía 326 items, en el año 2017 el instrumento contemplaba 309. En las olas siguientes se han hechos esfuerzos por acortar el cuestionario.
En la Tabla 2.1 se muestra el detalle del número de items medidos en cada ola del estudio en la muestra Original y Refresco:
| Ola | Items en muestra original | Items en muestra refresco |
|---|---|---|
| 2016 | 326 | 0 |
| 2017 | 309 | 0 |
| 2018 | 297 | 301 |
| 2019 | 302 | 303 |
| 2021 | 216 | 204 |
| 2022 | 316 | 291 |
En la Tabla 2.2 se muestra la distribución según módulo del cuestionario:
| Módulo | 2016 | 2017 | 2018 | 2019 | 2021 | 2022 |
|---|---|---|---|---|---|---|
| Muestra Original | ||||||
| Ciudadanía y democracia | 98 | 70 | 102 | 98 | 64 | 99 |
| Conflicto Social | 25 | 10 | 17 | 21 | 5 | 11 |
| Desigualdad y Legitimidad | 28 | 23 | 15 | 35 | 13 | 11 |
| Género | 0 | 0 | 0 | 10 | 10 | 10 |
| Redes y Actitudes | 53 | 69 | 41 | 71 | 40 | 76 |
| Salud y Bienestar | 29 | 54 | 37 | 13 | 20 | 55 |
| Sociodemográfica | 57 | 43 | 50 | 16 | 52 | 21 |
| Territorio | 36 | 40 | 35 | 38 | 12 | 33 |
| Muestra Refresco | ||||||
| Ciudadanía y democracia | 0 | 0 | 96 | 96 | 70 | 104 |
| Conflicto Social | 0 | 0 | 17 | 21 | 5 | 20 |
| Desigualdad y Legitimidad | 0 | 0 | 28 | 48 | 32 | 40 |
| Género | 0 | 0 | 0 | 10 | 10 | 12 |
| Redes y Actitudes | 0 | 0 | 41 | 54 | 14 | 19 |
| Salud y Bienestar | 0 | 0 | 29 | 12 | 18 | 42 |
| Sociodemográfica | 0 | 0 | 55 | 24 | 54 | 21 |
| Territorio | 0 | 0 | 35 | 38 | 1 | 33 |
Diferencias en Cuestionarios entre Muestras
A partir de 2018, se comienza a implementar la Muestra Refresco, la que busca complementar y compensar la atrición acumulada de la Muestra Original. El cuestionario de la muestra refresco es, en gran medida, similar al que presenta la muestra Original. Sin embargo, dada la amplia cantidad de agendas de investigación y temas relevantes para ELSOC, se ha permitido la inclusión de preguntas presentes solo en una de las dos muestras, de forma de aumentar la cantidad de temas cubiertos, pero manteniendo un número más acotado de preguntas realizada a cada encuestado.
En la Tabla 2.3 se muestra el detalle del número de items compartidos entre ambas muestras por Ola, así como aquellos items presentes exclusivamente en la muestra original o refresco.
| Ola | Solo en muestra original | Solo en muestra refresco | Ambas muestras | Total |
|---|---|---|---|---|
| 2016 | 326 | 0 | 0 | 326 |
| 2017 | 309 | 0 | 0 | 309 |
| 2018 | 16 | 20 | 281 | 317 |
| 2019 | 26 | 27 | 276 | 329 |
| 2021 | 54 | 42 | 162 | 258 |
| 2022 | 104 | 79 | 212 | 395 |
Cuestionario 2021: levantamiento durante la pandemia de COVID-19
La crisis sanitaria ocurrida a partir de 2020, a raíz del COVID-19, ha planteado una serie de desafíos importantes a los sistemas estadísticos a nivel general, y a las encuestas de opinión pública en particular. La Organización Internacional del Trabajo (OIT, 2020) reporta que la mayoría de las oficinas nacionales de estadística ha informado un impacto significativo en sus operaciones, particularmente en aquellas que se llevan a cabo de manera presencial. Para sobrellevar estos problemas, varias organizaciones han tenido que transformar sus operaciones presenciales a levantamientos por teléfono o encuestas web.
En esta línea, con el objetivo de asegurar la factibilidad del proceso de producción de datos de la encuesta ELSOC 2021 y la seguridad tanto de entrevistados como encuestadores, el equipo ejecutivo de ELSOC, en conjunto con los profesionales del Centro de Microdatos de la Universidad de Chile, decidió adoptar una serie de medidas que implicaron transitar temporalmente a una aplicación del cuestionario en formato telefónico (modo CATI).
Dado que se esperaba un aumento en los tiempos de aplicación al pasar a formato telefónico, la aplicación del cuestionario se dividió en dos llamados, denominados Llamados A y B, respectívamente, con el objetivo de que cada uno tenga una duración máxima de 30 minutos, para así reducir el tiempo de aplicación de la entrevista y evitar la fatiga de los encuestados y los encuestadores.
Para evaluar los desafíos y el cambio metodológico de la aplicación, durante el 2 y 21 de diciembre de 2020 se realizó una encuesta piloto, actividad que resultó relevante para evaluar tanto los aspectos técnicos como metodológicos asociados al cambio de aplicación. En este proceso se encontró que el tiempo de levantamiento excedía los 30 minutos en promedio de aplicación por llamado, por lo que se decidió:
- Reducir el número de ítems de los cuestionarios
- Ajustar preguntas que generaron complicaciones, en base a lo encontrado durante la prueba piloto
Se definieron los siguientes criterios para reducir el tamaño del cuestionario: 1) reducir dimensiones que se han visto muy constreñidas por las cuarentenas, tales como participación política e interacción social; 2) priorizar ítems en función de la consistencia técnica y/o alineación con los objetivos de COES; 3) priorizar ítems que tienen menos de tres mediciones a lo largo del estudio; y 4) mantener ítems críticos a nivel socioeconómico y de salud, que permitan realizar una buena pesquisa del impacto de la pandemia y las cuarentenas.
En cuanto a la asignación de las preguntas entre llamados A y B, los principales criterios utilizados fueron: 1) conservar la calidad del flujo de la encuesta, manteniendo preguntas de temáticas similares en un mismo llamado y asegurándose que las baterías de variables que compartieran un mismo encabezado inicial se mantuvieran juntas; y 2) que los ítems imprescindibles asociados a pandemia, cuarentenas y estallido social fueran preguntados de manera inmediata para poder monitorear y caracterizar a los encuestados durante este periodo.
En la Tabla 2.4 se presenta la distribución de ítems por módulos para llamados A y B distribuido por el tipo de muestra.
|
Muestra Original
|
Muestra Refresco
|
|||
|---|---|---|---|---|
| Ola | Llamado A | Llamado B | Llamado A | Llamado B |
| Ciudadanía | 42 | 22 | 29 | 42 |
| Conflicto Social | 5 | 0 | 5 | 0 |
| Desigualdad y Legitimidad | 0 | 13 | 0 | 32 |
| Género | 0 | 10 | 10 | 0 |
| Redes y Actitudes | 0 | 40 | 14 | 0 |
| Salud y Bienestar | 20 | 0 | 18 | 0 |
| Sociodemográfica | 39 | 13 | 39 | 15 |
| Territorio | 0 | 12 | 1 | 0 |
| Total | 106 | 110 | 116 | 89 |
En segundo lugar, y encadenado con lo anterior, se ajustaron las variables que teniendo más de 5 categorías de respuesta generaban mayores complicaciones para preguntar en las pruebas pilotos de esta encuesta. A continuación, se presentan los ítems que fueron reducidos en sus alternativas de respuesta y el criterio que se adoptó para cada caso:
Batería de Redes Lejanas [r01, r02 y r04]: Esta batería consulta por la cantidad de personas en distintas ocupaciones y grupos sociales que el entrevistado conoce. Originalmente esta batería de preguntas tiene 7 valores (1. Ninguno; 2. Uno; 3. Entre 2 y 4; 4. Entre 5 y 7; 5. Entre 8 y 10; 6. Entre 11 y 15; 7. 16 o más). Debido a que los rangos de respuesta no son obedecen a un patrón claro, se tomo la decisión de preguntarles a los encuestados por el número puntual de conocidos.
Peso del entrevistado [s07]: Esta variable presenta 9 tramos de respuesta, los cuales fueron establecidos en 5 tramos, tomando como referencia los quintiles de peso reportados por ELSOC en la ola 2018 en la variable s06
Variables de Ingreso en tramos [m14 y m30]: La variable m14 tiene 16 tramos de respuesta, mientras que la variable m30 tiene 30 tramos de respuesta. Ambas variables fueron establecidas en 5 tramos, tomando como referencia los quintiles de ingreso presentados por la encuesta Casen 2017.
Cuestionario 2022: cambio a levantamiento con modalidad mixta
A partir de la sexta ola de ELSOC se utilizó el método mix-mode o metodología mixta combinando los formatos CAPI y CATI para realizar las encuestas, optimizando así el proceso de levantamiento.
La metodología principal de recolección de datos, sin embargo, continúa siendo la modalidad CAPI: se realizó la encuesta en modalidad CATI solo en los casos en que el informante declare que no pueda o no quiera contestar la encuesta de forma presencial. Como resultado, durante 2022, un 13,3% de la muestra original y un 15,8% de la muestra refresco fue realizada mediante formato telefónico (ver 2.5).
|
Muestra Original
|
Muestra Refresco
|
|||||
|---|---|---|---|---|---|---|
| Medición | CAPI | CATI | % CATI | CAPI | CATI | % CATI |
| 2016 | 2927 | 0 | 0.0% | 0 | 0 | |
| 2017 | 2473 | 0 | 0.0% | 0 | 0 | |
| 2018 | 2229 | 0 | 0.0% | 1519 | 0 | 0.0% |
| 2019 | 2153 | 0 | 0.0% | 1264 | 0 | 0.0% |
| 2021 | 0 | 1739 | 100.0% | 0 | 1001 | 100.0% |
| 2022 | 1499 | 229 | 13.3% | 844 | 158 | 15.8% |
Al igual que en el levantamiento de la ola 5, la modalidad telefónica consideró realizar la entrevista en 2 llamados para no agotar al informante, y así evitar pérdida en la calidad de la información de los datos recolectados.
La evidencia comparada revela que la modalidad de entrevista mixta o mix mode aumenta la cobertura; y reduce los errores de medición (Dillman et al., 20144), y los sesgos de representación de personas de menores ingresos y con mayores privaciones materiales (Lipps, 20165), asociados al proceso de levantamiento. Otros estudios muestran que no hay diferencias significativas en el grado de confianza y en la estabilidad de las estimaciones al comparar los métodos de recolección CAPI con Mixtos (Cernat, 20156), ni en las tasas de respuesta(Bianchi, Biffignandi y Lynn (2016)7).
Dado la evidencia internacional, se puede considerar que no hay diferencias en el grado de confianza y estabilidad asociado a los distintos métodos de recolección, a la vez que no se debería esperar una diferencia en las características de quienes deciden participar. Por el contrario, este nuevo diseño podría permitir disminuir el sesgo de representación, reducir la atrición y aumentar la cobertura geográfica de ELSOC.
Dillman, D. A., Smyth, J. D., & Christian, L. M. (2014). Internet, phone, mail, and mixed-mode surveys: The tailored design method. John Wiley & Sons.↩︎
Lipps, O. (2016). Non-observation bias in an address-register-based CATI/CAPI mixed mode survey. methods, data, analyses, 10(1), 20.↩︎
Cernat, A. (2015). The impact of mixing modes on reliability in longitudinal studies. Sociological Methods & Research, 44(3), 427-457.↩︎
Bianchi, A., Biffignandi, S., & Lynn, P. (2016). Web-CAPI sequential mixed-mode design in a longitudinal survey: effects on participation rates, sample composition and costs (No. 2016-08). Understanding Society at the Institute for Social and Economic Research.↩︎