Download Características técnicas de la Encuesta Social Europea

CARACTERÍSTICA TÉCNICAS DE LA
ENCUESTA SOCIAL EUROPEA:
consideraciones desde
la perspectiva de tres olas1
Anna Cuxart
Departament d’Economia i Empresa
Universitat Pompeu Fabra [email protected]
Resumen
La Encuesta Social Europea, es un estudio bianual financiado por la European
Science Foundation y por la Comisión Europea dentro del 6º Programa Marco europeo
que ha merecido el premio Descartes 2005 por su carácter altamente innovador. El
objetivo principal de la ESE es el estudio comparado y longitudinal de las actitudes,
atributos y conductas de los ciudadanos europeos, especialmente en referencia a los
ámbitos económico, social y político. La ESE pretende convertirse en un instrumento
sistemático diseñado de manera extremadamente rigurosa para proporcionar y estimular
una investigación innovadora y favorecer un conocimiento más amplio de los estilos de
vida de los ciudadanos europeos. En esta primera comunicación del simposio se
presentaran las características técnicas de la ESE y su implementación en España en las
rondas 2002, 2004 y 2006.
Palabras Clave: encuesta europea, estudios comparados, diseño muestral, tamaño
efectivo.
1. Introducción
En mayo de 2006 se publicaron los datos de la segunda ola de la Encuesta Social
Europea (ESE, www.europeansocialsurvey.org). El objetivo principal de la Encuesta
Social Europea es el estudio comparado y longitudinal de las actitudes, valores y
comportamientos de los ciudadanos europeos en referencia a los ámbitos económico,
social y político. La ESE, de carácter bianual y realizada en casi una treintena de
países, nace con un triple objetivo. En primer lugar la ESE tiene por objetivo crear una
gran base de datos transnacional y longitudinal que incluya datos individuales y
contextuales que permita mostrar y analizar los cambios en las actitudes, valores y
comportamientos. En segundo lugar la ESE, con una clara orientación académica,
persigue la difusión de estándares de rigor que garanticen la calidad de los datos
obtenidos, estableciendo para ello los requisitos que deberán satisfacer tanto el diseño
muestral como la ejecución y seguimiento del trabajo de campo en cada uno de los
países participantes. Finalmente, la ESE se propone situar los indicadores sociales y
actitudinales en el lugar que merecen, aportando estudios y mejorando sus
características y aplicaciones, en especial en los estudios comparados.
Comunicación financiada por el proyecto “Ciudadanos y Democracia en Europa: Análisis comparado
de los datos de la primera ola de la Encuesta Social Europea” (SEC2002-03364) y por el proyecto
“Gobernanza en las instituciones multinivel de la Unión Europea” (SEJ 2005-03948/CPOL).
1
La ESE es, sin duda, uno de los proyectos más ambiciosos de las Ciencias Sociales
europeas. Cabe destacar que en el 2005 ha sido merecedor del Premio Descartes de la
Ciencia que otorga la Comisión Europea, siendo ésta la primera vez que un proyecto en
Ciencias Sociales recibe este prestigioso premio.
La ESE está promovida por la European Science Foundation y cuenta con el apoyo de
distintas instituciones públicas europeas y españolas. La Comisión Europea, a través de
sus quinto y sexto Programas Marco, es la principal institución financiadora del
proyecto que coordina toda la ESE en Europa.
En España, la principal entidad financiadora del proyecto y del equipo de coordinación
y ejecución de la ESE es el Ministerio de Educación y Ciencia. El proyecto en España
está liderado por la Universitat Pompeu Fabra dado que en esta universidad es donde se
ubica el coordinador del equipo español Mariano Torcal así como la mayor parte de
investigadores que forman dicho equipo. El Instituto Nacional de Estadística (INE)
colabora con el proyecto facilitando la muestra y otro tipo de datos necesarios para la
realización de la encuesta en España. El Centro de Investigaciones Sociales (CIS)
también colabora en el proyecto.
Hasta la fecha se han completado dos olas de la encuesta (la primera en 2002-2003 y la
segunda en 2004-2005) y se ha iniciado la tercera ola, cuyo trabajo de campo está
previsto para otoño 2006-invierno 2007. Uno de los objetivos específicos de la tercera
ola es la investigación de métodos de obtención de datos relativos a actitudes.
La ESE se administró por primera vez de forma conjunta en 22 países: Alemania,
Austria, Bélgica, República Checa, Dinamarca, Eslovenia, España, Finlandia, Grecia,
Países Bajos, Hungría, Italia, Irlanda, Luxemburgo, Noruega, Reino Unido, Suecia,
Suiza (con Liechtenstein), Portugal, Polonia y Francia. Integraban el grupo de países
participantes en la primera ola los 15 miembros de la Unión Europea en dicho
momento, 4 candidatos a la UE, además de Noruega, Suiza y Israel, país no europeo que
participa en la European Science Foundation como observador. En la segunda ola, se
añadieron Estonia, Islandia, Eslovaquia, Turquía y Ucrania, dejando de participar Israel.
En la tercera ola se cuenta con la incorporación de Bulgaria, Chipre, Lituania, Rumania
y Rusia.
La coordinación de todo el proceso de diseño y ejecución de la ESE recae en el equipo
de expertos dirigido por el profesor Roger Jowell del Centre for Comparative Social
Surveys, City University, de Londres. El resto de integrantes del Central Coordinating
Team (CCT) son Bjorn Henrichsen (NSD Norway), Ineke Stoop (SCP Netherlands),
Willem Saris (University of Amsterdam), Jaak Billiet (University of Leuven) y Peter
Molher (ZUMA Germany). El CCT dispone de una serie de grupos que le asesoran en
aspectos específicos como son la traducción del cuestionario o el proceso de muestreo.
Además, en cada uno de los países participantes existe un Coordinador Nacional con su
correspondiente equipo que se encarga de aplicar las directrices acordadas por el CCT.
Finalmente, el Norwegian Social Science Data Services (NSD) es el organismo
encargado del archivo de las series de datos de cada país, de su integración en un
archivo común y de su posterior divulgación2.
2
Acceso universal y gratuito a los datos de la ESE ola 2002 y ola 2004 en http://ess.nsd.uib.no
2
El cuestionario de la ESE consta de dos partes: un cuestionario principal formado por
un módulo central que se repite en cada ola y por 2 o tres módulos rotativos destinados
a tratar temas específicos, y un cuestionario suplementario. La temática de los módulos
específicos se decide por concurso entre las propuestas de diferentes grupos de
investigadores. El cuestionario suplementario consta de dos partes. La primera incluye
21 ítems de la escala de valores de Schwartz [1]. La segunda parte consta de un número
reducido de preguntas que tienen como objetivo evaluar la fiabilidad y validez de
algunos ítems del cuestionario principal. Los temas de los módulos rotativos han sido:
Ciudadanos y Democracia y Inmigración en la primera ola; Familia, Trabajo y
Bienestar, Opiniones sobre salud y cuidados y Moral y Economía en Europa: el
mercado y la ciudadanía en la segunda ola; Bienestar personal y social: creando
indicadores y La organización de nuestra vida en la presente ola.
A la base de datos de la encuesta propiamente dicha se han añadido una serie de datos
importantes que permiten la realización de una investigación sólida sobre el trabajo de
campo, la no respuesta, los errores de medida y la traducción de cuestionarios. Esos
datos han sido recogidos mediante instrumentos diseñados al respecto como son "el
cuestionario de contacto", "el cuestionario suplementario" citado anteriormente, y un
protocolo de recogida de datos contextuales y de sucesos paralelos al periodo de trabajo
de campo. Además, la ESE proporciona datos individuales sobre probabilidad de
selección muestral, una amplia documentación sobre el proceso de traducción de los
cuestionarios, así como otros elementos que hacen de este proyecto un instrumento
único para la investigación en metodología del análisis mediante encuesta. En este
sentido, cabe destacar que los equipos nacionales han completado esta base de datos con
la recolección de una serie de sucesos políticos, culturales y sociales que se han
producido durante el año de la administración de la encuesta y que puedan afectar a las
respuestas de los entrevistados. También se han añadido a dicha base de datos
numerosos macroindicadores de naturaleza política y económica que permiten medir el
efecto del contexto. El objetivo ha sido construir un fichero de datos contextuales que,
unidos a los de EUROSTAT, permiten desde una lógica comparada controlar el efecto
de factores relacionados con el contexto social, económico y político de cada uno de los
países analizados, sobre las actitudes y conductas individuales.
El presente artículo consta de tres partes que siguen a esta introducción: en la primera
de ellas se detallan las características o especificaciones técnicas de la ESE requeridas
por el CCT; en la segunda se concreta la implementación de dichas especificaciones en
España y, finalmente se incluyen una serie de consideraciones.
2. Característica técnicas de la Encuesta Social Europea
Población
La población objeto de estudio está formada por todos los residentes en domicilios
particulares, de edad igual o superior a los quince años, sea cual sea su nacionalidad,
ciudadanía o lengua. Ésta es ya una primera diferencia importante respecto de otras
encuestas similares realizadas en España que consideran sólo a los ciudadanos
españoles y, habitualmente, de edad igual o superior a los dieciocho años. Este requisito
significa que también forman parte de la población objeto de estudio, además de los
jóvenes que no tienen aún derecho al voto, las personas venidas de otros países que
están en trámites de formalizar su residencia en España así como la creciente población
extranjera residente en las zonas turísticas españolas.
3
Muestra probabilística
La muestra ha de ser totalmente probabilística en todas sus etapas de selección y debe
conocerse y documentarse la probabilidad de selección de cada una de las unidades en
las distintas etapas de muestreo. Sea cual sea el diseño muestral adoptado, no se admite
ningún tipo de sustitución, ni de los casos de rechazo ni de los de no contacto. Se
elimina también la práctica habitual de seleccionar los individuos en la última etapa del
muestreo según cuotas de sexo y edad. La tasa de respuesta mínima a alcanzar fue fijada
por el CCT de la ESE en el 70%. Como se verá más adelante, éste ha sido un requisito
difícil de satisfacer en un gran número de países.
Tamaño muestral efectivo
Asumiendo la conveniencia de aplicar distintos diseños muestrales, la voluntad de
facilitar la comparación de las estimaciones entre países ha llevado a los expertos a
establecer un tamaño muestral efectivo3 común igual a 1.500 individuos. Este requisito
comporta que cada país, en función de su diseño muestral específico, debe estimar el
correspondiente efecto de diseño e incorporar este dato en el cálculo del tamaño bruto
de la muestra a escoger. La ventaja de disponer de un mismo tamaño muestral efectivo
para todos los países es que permite realizar estimaciones con la misma precisión en
todos ellos, facilitando así la comparación.
Protocolo de seguimiento del trabajo de campo
Para asegurar una correcta realización del trabajo de campo, el CCT estableció un
detallado protocolo de seguimiento, control y documentación de todo el proceso de
recogida de datos, encaminado tanto a su supervisión como a la consecución de una
elevada tasa de respuesta. El protocolo de la ESE prevé la recogida de información
sobre el entorno físico y la vivienda del individuo seleccionado, tanto si es finalmente
entrevistado como si no lo es, así como una estimación del sexo y la edad de los
individuos contactados y no entrevistados. También en este caso, el trabajo de campo
realizado en la ESE es claramente innovador respecto de los estándares habituales.
Cuestionarios
Las encuestas se realizan mediante entrevistas cara a cara, a través de un cuestionario.
Éste, redactado inicialmente en inglés, se traduce a todas las lenguas habladas como
mínimo por un 5% de la población de cada país. En la traducción se sigue un estricto
protocolo destinado a garantizar la equivalencia funcional con el original, aunando el
lenguaje propio del ámbito político-social con el registro lingüístico comprensible para
el ciudadano. En el caso español el cuestionario ha sido traducido al castellano y al
catalán. Como se decía en la introducción, en cada ola, algunas de las preguntas se
formulan con otros formatos en el cuestionario complementario con el objetivo de
evaluar la validez y fiabilidad de los indicadores utilizados en el cuestionario principal.
Esta práctica, que empieza a ser habitual en otros países, es todavía poco frecuente en
España. El análisis de las preguntas del segundo cuestionario por parte de los expertos
facilitará la obtención de mejores indicadores para los conceptos de interés, así como la
determinación de los errores de medida en sus correspondientes mediciones.
3
El tamaño efectivo de una muestra es el tamaño de una muestra aleatoria simple con la cual se
obtendría el mismo grado de precisión.
4
3. El diseño muestral en España
Las áreas de actuación del equipo español de la ESE, y de cada país participante en
dicha encuesta, son, básicamente tres: el diseño muestral, la traducción del cuestionario
a las lenguas del país y el seguimiento del trabajo de campo (así como la selección de la
empresa que se encargará del trabajo de campo). Una vez presentados los requisitos
técnicos que debe satisfacer todo el proceso en el apartado 2 de esta comunicación,
dedicaremos el presente apartado a comentar cómo se han adaptado estos requisitos en
España.
El trabajo de campo
En otra de las comunicaciones que integran este simposio, Clara Riba [4] presentará los
procesos de supervisión y control de calidad del trabajo de campo que se realizan en el
proyecto español así como algunos de los resultados que se derivan de los análisis de los
formularios de contacto. Dichos análisis son la base de la estrategia de mejora del
trabajo de campo que ha de garantizar la calidad de los datos.
El protocolo de traducción de los cuestionarios
El Central Coordinating Team de la ESE ha establecido un protocolo general para la
traducción de los cuestionarios que cada país ha llevado a la práctica adaptándolo a su
contexto específico. Uno de los requisitos es que el cuestionario debe ser traducido a
todas las lenguas habladas por un mínimo del 5% de la población. Así, en España se ha
traducido el cuestionario al castellano y al catalán, y en ambas traducciones se ha
respetado un protocolo consistente en:
Dos equipos de traducción independientes
Una reunión para contrastar versiones y discutir la mejor alternativa
Un árbitro para decidir la formulación final
Documentación y justificación de todas las decisiones tomadas
La complejidad de este protocolo se justifica por la necesidad de asegurar al máximo la
equivalencia funcional del redactado de las preguntas en los distintos idiomas y
contextos. Por ejemplo, en el caso catalán, un equipo de traducción está formado por
filólogos traductores profesionales y el otro equipo por politólogos, con un
conocimiento correcto de la lengua aunque no sean necesariamente expertos
traductores. Ciertamente, las dos versiones resultantes suelen contener formulaciones no
coincidentes. Ambos equipos realizan un esfuerzo importante para aunar la corrección
lingüística con el uso del lenguaje propio del ámbito político-social y la utilización de
un registro lingüístico comprensible para el ciudadano. Conviene subrayar que la
experiencia de las tres ola ha justificado sobradamente la existencia de este protocolo.
El diseño muestral de la ESE 2006 en España
Las características de la tercera ola4 de la ESE en España se pueden resumir en:
Población: todas las personas de 15 años o más, residentes en domicilios
particulares (incluyendo Ceuta y Melilla)
4
Para más detalles sobre las especificaciones técnicas requeridas por el CCT y la implementación de las
mismas en España en la primera ola, puede consultarse [2]. Un análisis a partir de los datos del trabajo de
campo de la ola 2002 se encuentra en [3].
5
Marco de muestreo: registro de habitantes por secciones censales procedente
del Padrón Continuo actualizado anualmente por el INE
Tipo de muestreo: estratificado polietápico (tres etapas en la 1ª ola, 2 en las
siguientes)
Estratos: resultantes de aplicar el cruce de dos criterios de estratificación : por
Comunidades Autónomas y por tamaño de hábitat (2 tamaños en la 1ª ola, 3 en
la segunda y 4 en la tercera). De los 72 estratos resultantes, 66 son efectivos. Los
cuatro tamaños de hábitat de la ola 2006 son:
primero: ciudades con más de 100.000 habitantes
segundo: ciudades entre 50.001 y 100.000 habitantes junto con las capitales de
provincia no incluidas en el grupo anterior
tercero: municipios entre 10.001 y 50.000 habitantes
cuarto: municipios de menos de 10.001 habitantes
Etapas del muestreo:
1. Extracción de 504 secciones censales (Unidades Primarias de Muestreo,
UPM) proporcionalmente a la población de cada estrato
2. Extracción aleatoria de 6/7 individuos en cada UPM (7 en los dos primeros
grupos de tamaño de hábitat, considerados urbanos, y 6 en el resto)
Determinación del tamaño de la muestra: consideraciones previas
En el cálculo del tamaño bruto de la muestra a seleccionar intervienen varios
factores: el efecto de diseño esperado, el tamaño mínimo efectivo, la tasa de
respuesta y la tasa de datos válidos. En el diseño muestral de la tercera ola la única
fuente de efecto de diseño es la debida a la existencia de conglomerados5 (selección
de 6/7 individuos en una misma UPM). Así el efecto de diseño previsto para la
tercera ola se ha estimado a partir de los datos de la segunda ola de la ESE ,
calculando un coeficiente de correlación intra (intra UPM) promedio para un grupo
de variables consideradas representativas del cuestionario. El efecto de diseño para
la ola 2006 se ha estimado en 1,269.
A pesar de que el objetivo es alcanzar una tasa de respuesta del 70%, una estimación
conservadora nos ha llevado a tomar en los cálculos el valor promedio de 62% (58%
en los estratos urbanos y 67% en el resto).
El porcentaje de casos válidos en la muestra que suministro el INE en la segunda ola
fue muy alto, superior al 95%.
El análisis de los datos que ofrecen los archivos del trabajo de campo de las dos
primeras olas han permitido observar que: en las áreas urbanas del País Vasco, pero
no en las rurales, se da una tasa de respuesta significativamente inferior al resto de
España; las ciudades autónomas de Ceuta y Melilla, que fueron incorporadas por
primera vez en la segunda ola y para las cuales se asumió una tasa de respuesta
baja, tienen comparativamente una elevada tasa de respuesta (superior al 70%).
Considerando estos hechos, en la tercera ola se ha mantenido la sobrerepresentación
(incremento del 50%) únicamente en los dos estratos urbanos del País Vasco.
Determinación del tamaño de la muestra: cálculos
tamaño efectivo fijado por el CCT: 1.500
5
La existencia de conglomerados induce pérdida de eficiencia. De ahí la necesidad de aumentar el
tamaño de la muestra en el caso de muestreo multietapa para obtener una precisión fijada para un muetreo
aleatorio simple.
6
efecto de diseño estimado: 1,269
tamaño neto = 1.500 · 1,269 = 1.904
total de casos válidos: 1.904/0,62= 3.070
tamaño bruto = 3.070/0,95 = 3.232
tamaño bruto final (incluyendo sobrerepresentación): 3.274
4. Consideraciones finales
La perspectiva de tres olas de la ESE nos lleva a valorar el trabajo realizado hasta el
momento, los frutos generados y las áreas que requieren todavía una atención especial.
Así podríamos decir que el diseño muestral se ha ido mejorando6 a partir del
conocimiento adquirido sobre el proceso en las dos primeras olas y que un material
imprescindible para ello ha sido tanto el fichero del trabajo de campo como los
formularios de contacto. La estratificación más minuciosa aplicada en el diseño del
2006, la reducción en el número de entrevistados por unidad censal y la revisión de los
estratos que requieren sobrerepresentación son medidas encaminadas a garantizar una
mayor calidad en los datos generados por la encuesta. Sin embargo, la tasa de respuesta
en España (52% en la ola 2002 y 55% en la ola 2004) todavía está por debajo del
estándar fijado por el CCT de la ESE (70%). De ahí que, como se desprende de la
comunicación de Clara Riba [4], se estén dedicando muchos esfuerzos, entre otros
aspectos, a conocer las rezones de la no-respuesta, a mejorar la formación de los
entrevistadores y a intensificar el seguimiento del trabajo de campo.
Referencias bibliográficas
[1] Schwartz, S., G. Melek, A. Lehmann, S. Burgess, M. Harris, and V. Owens.
(2001). Extending the cross-cultural validity on the theory of basic human values
with a different method of measurement, Journal of Cross-cultural Psychology, 32:
519-542.
[2] Riba, C. y A. Cuxart (2003). Construyendo las bases para una comparación fiable:
la Encuesta Social Europea 2002 en España. Revista Española de Ciencia Política,
N. 8: 165-185.
[3] Cuxart, A. y C. Riba (2005).
Aspectos metodológicos de la Encuesta Social Europea.
En España: sociedad y política en perspectiva comparada. Mariano Torcal, Laura
Morales y Santiago Pérez-Nievas editores. Valencia, Tirant lo Blanch: 21-40.
[4] Torcal, M., L. Morales y C. Riba. Supervisión y control de calidad del trabajo de
campo de la Encuesta Social Europea en España: Evaluación y resultados. Simposio 3.
IV Congreso de Metodología de Encuestas. Pamplona 2006.
6
Un elemento clave en la mejora del diseño muestral es la fluida comunicación establecida con los
representantes del Instituo Nacional de Estadística.
7