Download Cuestionario Prueba PISA

Questionários Contexuais do Pisa
II Reuniao Temática da ABAVE
PISA em Debate
Agosto 2014
Gregory Elacqua
Director,
Instituto de Políticas Públicas
Universidad Diego Portales
politicaspublicas.udp.cl
Contenidos
1. Prueba PISA
2. Cuestionario PISA
3. Construcción del cuestionario PISA: Ejemplo
de PISA 2015
4. Métodos para corregir comparabilidad intercultural
5. Desafíos
1.
PISA
• Partió en 1997, todos los países del OECD más algunos
países colaboradores han participado en todas las
pruebas PISA
• PISA 2000 (lectura): 43 países
• PISA 2003 (matemática): 41 países
• PISA 2006 (ciencias): 58 países
• PISA 2009 (lectura): 65 países (9 repitieron rendimiento
para comenzar a ver tendencias)
• PISA 2012 (matemática): 65 países participaron (39 con
información de tendencia de 2003)
• PISA 2015 (ciencias): 70 países participarán
Metas de PISA
• Proveer indicadores sobre eficacia, equidad y
eficiencia de sistemas educacionales
• Monitorear tendencias sobre el tiempo
• Fijar benchmarks para comparaciones
internacionales y para identificar mejores
prácticas
• Influir en el debate público sobre educación
Brasil: Plan Nacional de Educación
Meta 7 – PISA
PISA
2015
2018
2021
Promedio mat-leng-ciencias
438
455
473
Comparando el rendimiento de los países en matemáticas: PISA
2012
2021
2018
2015
Identificar los factores que inciden en los
resultados (absolutos y mejoras)
Hogar
Escuela
Instituciones
Para lograr las metas PISA necesita
• No solo mediciones de rendimiento escolar (lectura,
matemáticas, ciencias y otras habilidades para la vida)
sino también:
– Resultados no cognitivos (ej. Motivación y bienestar)
– Contexto individual (background cultural, etnia, raza y nivel
socioeconómico)
– Características de escuelas (ej. Privado vs. público, prácticas
de enseñanza, gestión escolar)
– Características institucionales del sistema (accountability,
school choice, currículum)
• Medir con cuestionarios a distintos actores: estudiantes
y directores, pero también a padres y profesores
(opcional)
2. Cuestionario PISA
Cuestionario: Ciclo 1
• Durante el primer ciclo PISA se enfocaba principalmente en
la instalación de procedimientos e implementación en las
tres áreas: Lectura (2000), Matemáticas (2003), Ciencias
(2006).
– Modelos psicométricos: vinculando pruebas, técnicas de valores
plausibles, etc. (ver presentación de Christian Monseur)
– Evaluación basado en teoría de background familiar, NSE e
inmigración para realizar análisis de equidad dentro y entre
países
– En 2006, introdujeron variables sobre procesos y resultados de
un dominio específico (ciencias): oportunidades de aprendizaje,
prácticas de enseñanza, creencias y aspiraciones sobre el tópico
Cuestionario: Ciclo 2
• Durante el segundo ciclo de PISA (2009-2015)
el equipo de PISA empezó a construir un marco
conceptual para el diseño del cuestionario en
base a la investigación de efectividad escolar
Modelo de efectividad escolar
Factores
del
Individuo
(NSE)
Insumos y
procesos
de Escuela
Factores
del Sistema
Resultados
Construir indicadores para monitorear oportunidades y resultados,
políticas y prácticas
• Ejemplos de indicadores PISA publicados en Education at a Glance:
Factores del individuo
– Perfil de estudiantes de alto rendimiento en ciencia
– Actitudes y motivaciones para las ciencias de estudiantes de alto
rendimiento
Factores de escuela
– Público versus privado, número alumnos por curso, clima escolar,
involucramiento parental, jornada escolar, TICs
Factores del sistema escolar e incentivos (se complementa con otras
fuentes de información como NESLI)
– Accountability, school choice, políticas de docentes
Modelando patrones y relaciones,
impacto y tendencias
• El objetivo de la investigación de efectividad escolar es
identificar los factores de la sala de clase, la escuela y el
sistema educacional (incentivos) que inciden en el rendimiento
escolar, controlando por distintos factores del alumno, como
NSE, habilidad y el rendimiento anterior del alumno.
• Limitaciones de PISA y otros estudios de corte transversal (sin
experimentos aleatorios) de poder hacer inferencias causales,
investigadores obligados a utilizar modelos.
Reportes PISA 2009: Basado en modelos y
utilizando el cuestionario PISA
• Volumen 1: Rendimiento en lenguage, matemáticas y
ciencias
• Volumen 2: Superando background social: Equidad y
oportunidades de aprendizaje y resultados
• Volumen 3: Aprendiendo a aprender: Estrategias y
prácticas de compromiso del estudiante (student
engagement)
• Volumen 4: ¿Qué hace una escuela efectiva?
Recursos, políticas y prácticas
Investigación cientifica
• Science Competencies for Tomorrow´s World
(OECD, 2007), usaba modelos multinivel para
estimar efectos de escuelas
• 100 artículos indexados que usan PISA 2006 en
ciencias
3. ¿Cómo se construye el cuestionario
PISA?
Ejemplo PISA 2015
Estructura PISA 2015
PISA Governing
Board (PGB)
Decision making
OECD Secretariat
Supervision/Consultation/
Reporting
Data
processing/Data
Products
Questionnaire
Expert Group
Science Expert
Group
Collaborative
Problem Solving
Collaborative
Grupo
Consultation/
framework
development/
questionnaire
development
Interlocutor, responsable de
implementación
Andreas Schleicher
Core 6
Problem Solving
Cores 2
and 3
Data analysis/
Modeling/scaling/Reporting/Research
Development
Expert Advice
Technical
Advisory Group
Core 5
Sampling
National
project
mangers
Country
adaptations and
extensions
Translation
verification
Core 4
Paso 1: Questionnaire Expert Group
propone lista de 4 áreas amplias:
1.
2.
3.
4.
Resultados no cognitivos
– Actitudes, creencias, motivación y aspiraciones, y comportamientos como auto-regulación, que
inciden en resultados cognitivos y éxito en la vida y bienestar (ej. Heckman et al. 2011)
Background de estudiante
– Evaluación en base a teoría sobre contexto familiar y migrante y NSE, indicador integrado del
estudiante (ESCE; Willms, 2006) y la escuela que asiste
– Caminos educacionales (desde preescolar)
Enseñanza y aprendizaje
– Formación y experiencia de profesores, prácticas docentes y oportunidades de aprendizaje (ej.
Tiempo)
– Procesos de aprendizaje: (i) manejo de sala de clase, (ii) apoyo (iii) desafían alumnos
Políticas educativas e incentivos
– Apoyo para promover efectividad: desarrollo profesional, currículum coherente, liderazgo y
gestión, involucramiento parental, TICs, laboratorios
– Políticas: Evaluaciones nacionales, accountability, school choice, autonomía
Paso 2: Questionnaire Expert Group
presenta 19 tópicos al PISA
Governing Board (PGB) y los evalúan
según prioridades políticas y técnicas
Estructura modular del diseño de la evaluación de contenidos PISA 2015
Contexto del estudiante
Familia
Procesos
Educación
Actores
5. Experiencia fuera
de la escuela
1. Calificación del
docente y conocimiento
profesional
Resultados no cognitivos
Procesos
fundamentales
Asignación de
recursos
2. Prácticas de
enseñanza de Ciencias
12. Tiempo de
aprendizaje y
currículum
4. Resultados en
ciencias: motivación,
interés, creencias
16. Recursos
10. Comportamiento
y actitudes generales
ENSEÑANZA Y APRENDIZAJE
3. Ambiente de
aprendizaje de Ciencias
a nivel de escuela
7. NSE del
estudiante y la
familia
8. Etnicidad y
migración
9. Trayectorias
educacionales en la
primera infancia
14. Involucramiento de
los padres
15. Liderazgo y
management escolar
13. Clima escolar:
relaciones
interpersonales,
confianza, expectativas
11. Disposiciones
para resolver
problemas de forma
colaborativa
POLÍTICAS ESCOLARES
17. Locus de la toma de
decisiones dentro del
sistema escolar
19. Evaluaciones y
accountability
GOVERNANZA
18. Asignación,
selección y elección
6. Carrera
científica
Paso 3: Áreas que recibieron más votos por
relevancia de políticas
• Resultados no cognitivos:
– Resultados en ciencias: motivación, interés, creencias
– comportamiento y actitudes
• Enseñanza y aprendizaje
– Prácticas de enseñanza
– Tiempo de aprendizaje
– Calificación del docente y conocimiento
• Políticas escolares
– Liderazgo y gestión escolar
– Evaluaciones y accountability
Paso 4: Procedimiento que integra el marco
conceptual y el desarrollo del cuestionario
• Expertos preparan artículos conceptuales para cada tópico y
desarrollan items y enfatizan las comparaciones interculturales
• Grupo de expertos revisan los constructos e ítems
• Consultan centros y expertos nacionales para revisar si las
preguntas son apropiadas culturalmente
• Utilizan técnicas estadísticas para probar validez intercultural: Bayesian truth serum y anchoring vignettes (más
sobre el tema en unas laminas)
Cuestionarios
• Dos cuestionarios obligatorios: Estudiante y
director (escuela)
• Seis cuestionarios opcionales:
– Padres (PISA 2006, 2009 y 2012)
– Carrera educacional (PISA 2003, 2009 y 2012
– TICs (PISA 2000)
– Profesores (nuevo)
– Coordinadores de área (nuevo)
– Financial literacy
Ejemplo 1: Mediciones asociadas a los docentes en PISA 2015 FT
Relativos a Ciencias
Contexto
Educación inicial
Generales
Género, edad, situación ocupacional, experiencia laboral, asignaturas estudiadas, grado
modal de enseñanza, elección del lugar de trabajo
Políticas de reclutamiento (ScQ)
Objetivo de primera calificación, tipo y duración de educación pedagógica y programa de
entrenamiento (si atendió), nivel y modalidad de la calificación
Número de profesores por nivel educativo (ScQ)
Políticas escolares: Requiere educación pedagógica o programa de entrenamiento (ScQ)
Contenido relacionado a las Ciencias
Número de profesores de Ciencias por nivel
de calificación y asignatura (ScQ)
Desarrollo
profesional
Creencias
Participación y duración de esta en distintas actividades
Apoyo y obligación
Nivel de participación, duración, políticas escolares (ScQ)
Colaboración
Contenido relacionado a las Ciencias
Cooperación
Satisfacción general
Autoeficacia (respecto al contenido y
enseñanza de Ciencias)
Desempeño vs. necesita orientación
Entusiasmo (con viñetas de anclaje)
Compromiso (StQ)
Autoeficacia (general)
Satisfacción laboral
Ejemplo 2: Mediciones relacionadas a evaluaciones y
accountability en PISA 2015 FT
Evaluación externa
Evaluación docente
Evaluación interna
Evaluación formativa
Focos de la evaluación
interna (ScQ,
TQG)
Calificación de los
profesores
(TQG)
Procesos de evaluación
interna (ScQ,
TQG)
Instrumentos de
evaluación en la sala de
clases
(TQG/TALIS)
Consecuencias de la
evaluacion interna
(ScQ, TQG)
Feedback: percepción
de los estudiantes
(StQ).
Uso de feedback para
orientar enseñanza(StQ)
Adaptación de las
formas de instrucción
(StQ,TQS)
Práctica de evaluaciones generales (ScQ)
Objetivo del resultado de las evaluaciones (ScQ)
Objetivos y criterios
Políticas de evaluación (ScQ)
Prácticas
Uso y consecuencias
Procesos de la evaluación
externa (ScQ)
Uso de datos sobre
desempeño para
accountability (ScQ)
Métodos de evaluación
docente (ScQ,
TQG)
Incentivos docentes
(ScQ, TQG)
Distribución items entre cuestionarios
Paso final
• Adaptación nacional y traducción
• Piloto grande (field trial) en pencil y paper y computer adaptive test
• Análisis de escalas y comparaciones inter-culturales y un estudio de
efecto de modo (Computer Adaptive versus pencil y paper)
• Ajustes cuestionario final revisado con grupos de experto (QEG, SEG)
• PISA 2015
4. Métodos para corregir
comparabilidad inter-cultural
% leen por entretención
…
Pregunta auto-reporteada. Puede tener que
ver cuando algunos estudiantes sobrereportean y otros sub-reportean
Source: OECD
33
Escalas de auto-percepción son útiles para
medir los resultados no cognitivos
• Hay problemas con estas escalas
– Sesgo de deseabilidad social (querer verse
bien)
– Sesgo del grupo de referencia (a quién se
compara)
– Sesgo del estilo de respuesta (respuestas
extremas, o ser humilde)
– Comparabilidad inter-cultural (compara
Brasil a Corea del Sur)
PISA 2015 utiliza siguientes metodos
para abordar problemas
• Anchoring vignettes
• Forced Choice
ANCHORING VIGNETTES
Attitude-achievement “paradox”
• Correlaciones positivas dentro de países
– Mejores actitudes asociadas a mejor rendimiento
• Correlaciones negativas entre países
– Países con puntajes altos en actitudes tienen bajo rendimiento
– Países con puntajes bajos en actitudes tienen alto rendimiento
• “Latin American Paradox”
– Países latinoamericanos tienen niveles de satisfacción mayores que
países de Asia del Este (ej. Corea del Sur y Japón), a pesar de tener
niveles de desarrollo económico inferiores
– Personas de países asiáticos tienen menor probabilidad de reportear
extremos en encuestas comparado con latinoamericanos
Anchoring Vignettes
• PISA 2015: anchoring vignettes (y forced choice)
resuelven este problema
• Anchoring vignettes es un método para ajustar la escala
personal a una escala hipotética
– Ver sitio de Gary King para más información
http://gking.harvard.edu/vign/
• Cada vez más popular en encuestas de opinión pública,
salud, ciencia política, etc.
¿Por qué anchoring vignettes?
• Ejemplo:
• ¿Qué nota (entre 1 y 10) le pondría a la relación entre
usted y el profesor de su hijo? (Quiere decir si el
profesor de su hijo le mantiene informado sobre el
progreso de su hijo en la escuela)
¿Todos los padres utilizan la misma escala de respuesta?
¿Por qué anchoring vignettes?
Vignettes:
•
Introducción: Aquí tenemos otra situación. Imaginemos que un alumno va a ganar
un premio en una ceremonia especial.
•
En este colegio, el profesor del alumno envia una carta a casa, llama a los padres y
hace todo para asegurar que los padres asistan a la ceremonia. ¿Qué nota le
pondría a la relación entre el profesor y los padres del alumno?
•
En este colegio, el profesor le envía una carta a casa avisando al padre sobre la
ceremonia. ¿Qué nota le pondría a la relación entre el profesor y los padres del
alumno?
•
En este colegio, el profesor le dice al alumno que invite a su padre a la ceremonia y
no hace nada más. ¿Qué nota le pondría a la relación entre el profesor y los padres
del alumno?
Ejemplo de Anchoring Vignettes en PISA 2012
Step 1: Vignettes
Step 2: Self-report
ST83
ST82
Q
Below you will find descriptions of three mathematics
teachers. Read each of the descriptions of these teachers.
Then let us know to what extent you agree with the final
statement.
Q
Thinking about the mathematics teacher who taught your
last mathematics class: To what extent do you agree with the
following statements?
(Please check only one box in each row.)
(Please check only one box in each row.)
Strongly
agree
a) Ms. Anderson assigns mathematics
homework every other day. She always
gets the answers back to students before
examinations. Ms. Anderson is
concerned about her students
learning.
1
Agree
2
Disagree
3
Strongly
disagree
4
a) My teacher lets students know they need to
work hard.
b) My teacher provides extra help when
needed.
c) My teacher helps students with their
learning.
b) Mr. Crawford assigns mathematics
homework once a week. He always gets
the answers back to students before
examinations. Mr. Crawford is
concerned about his students
learning.
1
c) Ms. Dalton assigns sets mathematics
homework once a week. She never gets
the answers back before examinations.
Ms. Dalton is concerned about her
students learning.
1
2
2
3
3
4
4
d) My teacher gives students the opportunity
to express opinions.
Strongl
y
disagre
e
Disagree
Strongly
agree
Agree

1

2

3

4

1

2

3

4

1

2

3

4

1

2

3

4
Anchoring Vignettes – Corelaciones
Uncorrected
TOT
0.38
0.35
0.32
0.27
0.26
0.26
0.26
0.25
0.25
0.24
0.24
0.24
0.23
0.20
0.20
WC
0.40
0.31
0.28
0.24
0.21
0.23
0.22
0.26
0.27
0.25
0.20
0.21
0.23
0.20
0.17
BC
0.26
0.62
0.62
0.57
0.64
0.47
0.48
0.25
0.12
0.17
0.53
0.39
0.25
0.18
0.46
TOT
0.23
0.26
0.18
0.07
0.01
0.04
0.07
0.04
0.08
0.07
-0.01
0.02
-0.04
-0.08
0.00
WC
0.33
0.27
0.20
0.10
0.02
0.08
0.09
0.13
0.16
0.14
0.03
0.08
0.05
0.01
0.03
BC
-0.57
0.21
-0.02
-0.25
-0.12
-0.40
-0.19
-0.49
-0.31
-0.35
-0.23
-0.52
-0.52
-0.47
-0.13
0.26
0.24
0.40
0.06
0.12
-0.29
uncorrected vs. anchored
1,00
country-level correlation
• ..
index
SCMAT
PCMATPER
PCSUCC
CLSMAN
STUDREL
BELONG
ATSCHL
MATWKETH
INTMAT
INSTMOT
MTSUP
ATTLNACT
COGACT
SUBNORM
TEACHSUP
Anchored
0,00
BC
BC
-1,00
-1,00
0,00
1,00
average within-country correlation with Math
Resuelve el “attitude-achievement paradox”
(Presentación Madrid, 2012, Jonas Bertling, ETS: 33 países)
42
FORCED CHOICE
Forced Choice
• Ejemplo:
i) ¿Cumplo con mis promesas?
ii) ¿Por lo general, perdono a las personas?
• Categorías de respuesta: Muy de acuerdo, de acuerdo,
en desacuerdo, muy en desacuardo
• Forced choice: Escoja una opción más como
usted:
i) Cumplo con mis promesas
ii) Por lo general, perdono las personas
Comparabilidad inter-cultural
Nivel País correlaciones (n
= 19) entre
Amabilidad
Estabilidad Emocional
Extroversión
Concienzudo
UN Development Index
Global Competitive Index
Declaración individual
.09
.39
Forced Choice
.57
.58
Declaración individual
.07
.50
Forced Choice
.27
.53
Declaración individual
.41
.20
Forced Choice
.76
.46
Declaración individual
-.46
-.40
Forced Choice
-.09
.21
Forced Choice: Estrategías de aprendizaje PISA 2012
Q
Q
There are different ways of studying mathematics: To what
extent do you agree with the following statements?
For each group of three items, please choose the item that
best describes your approach to mathematics.
(Please tick only one box in each row.)
(Please tick only one box in each row.)
Strongly
agree
Agree
Disagree
Strongly
disagree
a) When I study for a mathematics test, I
try to work out what are the most
important parts to learn.

1

2

3

4
b) When I am solving mathematics
problems, I often think of new ways to
get the answer.

1

2

3

4
c) When I study mathematics, I make
myself check to see if I remember the
work I have already done.

1
d) When I study mathematics, I try to
figure out which concepts I still have
not understood properly.

1
e) I think how the mathematics I have
learnt can be used in everyday life.

f) I go over some problems in
mathematics so often that I feel as if I
could solve them in my sleep.

2

2
1


1
g) When I study for mathematics, I learn
as much as I can off by heart.

h) I try to understand new concepts in
mathematics by relating them to things I
already know.

3

3
2


2
1


1
i) In order to remember the method for
solving a mathematics problem, I go
through examples again and again.

j) When I cannot understand something in
mathematics, I always search for more
information to clarify the problem.


When I study for a
mathematics test, I
try to work out
a)
what are the most
important parts to
learn.
When I study
mathematics, I try
to figure out which
b) concepts I still
have not
understood
properly.
4

4
3

4

3

4
2

3

4

2

3

4
1

2

3

4
1

2

3

4
When I study
mathematics, I try
to relate the work
c)
to things I have
learnt in other
subjects.
In order to
remember the
method for solving
d) a mathematics
problem, I go
through examples
again and again.
•




1
1
1
1
When I study for a
mathematics test, I
try to understand
new concepts by
relating them to
things I already
know.
When I study
mathematics, I think
of new ways to get
the answer.
When I study
mathematics, I start
by working out
exactly what I need
to learn.
I think how the
mathematics I have
learnt can be used in
everyday life.




2
2
2
2
When I study for
a mathematics
test, I learn as
much as I can off
by heart.

3
When I study
mathematics, I
make myself
check to see if I
remember the
work I have
already done.

3
When I study
mathematics, I go
over some
problems so often
that I feel as if I
could solve them
in my sleep.

3
When I cannot
understand
something in
mathematics, I
always search for
more information
to clarify the
problem.

3
Forced-Choice pide indicar PREFERENCIAS
entre 3 comportamientos
46
Análisis de Forced Choice: Estrategías de aprendizaje
PISA 2012
Pretest PISA 2012
Forced Choice
Likert
Muestra total
Corelación con matemáticas
Adentro del país
Entre países
.137
.090
.603
-.002
.076
-.461
Forced Choice resuelve “attitude-achievement paradox”
(Presentación Madrid, 2012, Jonas Bertling, ETS: 33 países)
47
5. Desafíos
Desafíos
• Integrar distintas bases de OECD con PISA (ej. NESLI,
TELIS, bases nacionales, georeferenciales, etc.)
• Innovaciones para mejorar preguntas dentro del nuevo
modo de Computer Adaptive Testing
• Experimentar con nuevos métodos para asegurar
comparabilidad de preguntas culturalmente y para
aumentar cobertura (e.g. Rotación de preguntas que
fue abandonado en 2015)
Questionários Contexuais do Pisa
II Reuniao Temática da ABAVE
PISA em Debate
Agosto 2014
Gregory Elacqua
Director,
Instituto de Políticas Públicas
Universidad Diego Portales
politicaspublicas.udp.cl