Download Desarrollo e implementacion de un instrumento Ejemplo de una

Atención Basada en el Paciente:
La validación e implementacion de un
cuestionario de satisfacción.
Dr. Ezequiel García Elorrio
[email protected]
I Jornada de la Sociedad Argentina de
Calidad en Salud
27/9/02
Objetivos de la Presentación
• Exponer la política de Calidad del CEMIC.
• Discutir la importacia de validación
adecudada de cuestionarios de satisfacción.
• Describir los procesos generales que llevan
desde la ideación de un instrumento hasta su
implementación a través de un caso práctico.
• Comentar cuales son los escollos habituales
en estos procesos.
27/9/02
I Jornada de SACAS
2
Política de calidad del CEMIC
• Política para la calidad
•
•
•
•
•
•
Comité de calidad
Comité de Efectividad Clínica
Círculos de Calidad
Acreditación y certificación por normas ISO.
Acreditación institucional.
Implementación de procesos de mejoramiento de la
calidad en ámbitos médicos y de gestión.
• Desarrollo de instrumentos para la valoración
de las preferencias de los pacientes.
• Desarrollo de actividades que favorezcan la
investigación en servicios de salud.
27/9/02
I Jornada de SACAS
3
Porque validar un
cuestionario.
• La adaptación e implementación de encuestas
sin cumplir con las etapas necesarias, puede
llevar a la generación de conclusiones
erróneas.
• El PEC promueve el desarrollo de
cuestionarios con criterios adecuados de
validación y aplicación de cuestionarios de
satisfacción y de calidad de vida.
27/9/02
I Jornada de SACAS
4
¿Porqué medir satisfacción?
• 1- Los pacientes pueden tener un rol primordial en
la manera en la cual los cuidados médicos son
implementados (programas de Managed care –
Gerenciamiento medico- )
• 2Los pacientes contribuyen en definir que es
calidad de atención más allá de los aspectos técnicos
de los cuidados. Influidos por los aspectos culturales
del medio.
• 3Las cualidades de relación interpersonal de los
médicos contribuyen a los mejores resultados de la
atención médica.
27/9/02
I Jornada de SACAS
5
¿Porqué medir satisfacción? II
• 4Se cree que la satisfacción produce un efecto
placebo que puede contribuir hasta en un 30% del
beneficio de los cuidados médicos.
• 5Con el desarrollo de la corriente que ha
transformado a los sistemas de salud en proveedores
de servicios a sus miembros dentro de un medio
altamente competitivo y con multiples ofertas, la
satisfacción ha tomado un rol fundamental en su
desempeño.
27/9/02
I Jornada de SACAS
6
Mitos sobre los consumidores
• La mayoría de las personas asume que recibirá
cuidados de alta calidad
• La gente que cree que la mayoría de los centros
de atención son similares
• Estudios muestran que los pacientes no prestan
atención a los datos publicados sobre calidad
• Las personas toman decisiones basándose en el
precio.
27/9/02
I Jornada de SACAS
7
¿De que se preocupa la gente?
• La mayoría de la gente cree que el la calidad de atención es
buena, pero que hay mucha variabilidad.
• La gente esta especialmente preocupada por el acceso y la
coordinación de los cuidados.
• Además de la morbilidad y la mortalidad, la gente esta muy
preocupada por otros aspectos del cuidado de la salud.
• La gente evalúa con cuidado aquellos reportes de calidad que
son distribuidos.
Calidad: Cumplir con las necesidades que los pacientes esperan.
27/9/02
I Jornada de SACAS
8
¿Cómo se mide satisfacción?
•
•
•
•
•
•
Quejas.
Motivos de baja.
Call centers.
Entrevistas personalizadas.
Grupos focales.
Encuestas estructuradas
• Cuantitativas
• Cualitativas
27/9/02
I Jornada de SACAS
9
Características Del Proyecto
• Objetivo: desarrollo y validación de un cuestionario de
satisfaccion con la atención ambulatoria. Validar con el
mayor parecido posible el MMSS del HEDIS 3.0.
• Estudio bicentrico: CEMIC y plan de salud del Hospital
Italiano de Buenos Aires.
• Llevado a cabo entre septiembre del 1998 y abril de 1999.
• Falta de experiencia previa en cuanto a la implementacion
de proyectos en los sistemas de salud involucrados.
• Los costos operativos del programa fueron cubiertos por
los investigadores. Apoyo institucional indirecto a través del
staff.
• Limitaciones de implementación frente a lo ideal.
27/9/02
I Jornada de SACAS
10
Etapas en La Generación y
Validación De Un Instrumento
•
•
•
•
•
•
Determinación de áreas de interés a evaluar.
Generación de items y dominios.
Definición de escala de respuesta.
Definición de método de administración.
Estudio piloto.
Estudio para determinar confiabilidad y
validez.
• Análisis de los resultados y confeccion del
instrumento definitivo.
27/9/02
I Jornada de SACAS
11
Desarrollo De Items
•
•
•
•
Basado en las áreas de interés de los pacientes.
Grupos focales y entrevistas personales.
Entrevistas con médicos y personal paramedico.
Estudio piloto para valorar el interés de los
pacientes por los items seleccionados.
• Generación de dominios en base a los items
elegidos. (Ver tabla N° 1.)
• Instrumento básico utilizado: MMSS HEDIS 3.0.
27/9/02
I Jornada de SACAS
12
Instrumentos de referencia
• Member satisfaction survey (MMS) HEDIS 3.0 NCQA
1998
• PSQ III (Davies AR, Ware J E) 1987
• Ambulatory Patients satisfaction questionnaire. The
Picker Institute 1995
• CAHPS Questionnaire (RAND, Harvard Medical School
and Research Triangle institute – AHCPR- ) 1997
• The consumer satisfaction Survey (Ware- Quality
Metric inc) 1998
• Visit Satisfaction questionnaire –VSQ- (Ware JE RAND
corporation) 1988
• ABIM PSQ (Hulka et al) 1970
27/9/02
I Jornada de SACAS
13
Adaptación Transcultural
• Habitual por el escaso desarrollo original de
cuestionarios de salud en idioma castellano.
• Crítica para la acreditacion de resultados
válidos.
• Traduccion y “contratraduccion.”
• Es importante definir correctamente los
términos involucrados en los items.
• Traduccion por el autor principal y
“contraduccion” realizada por traductora
pública con experiencia en trabajos sobre
ciencias de la salud.
27/9/02
I Jornada de SACAS
14
Método de administración
• Las encuestas se hicieron disponibles en los
centro de atención de los sistemas de salud
involucrados.
• A completar en forma previa o posterior a la
consulta. Anónimo para aumentar la tasa de
respuesta. Buzón disponible en las salas de
espera (tasa esperada entre 20-40 %).
• Sesgo de selección relevante pero no
suficiente para invalidar validación.
• Otros
metodos:
entrevista
personal,
telefonica, Mailing e Internet.
27/9/02
I Jornada de SACAS
15
Lugar y Poblacion a Evaluar
• Población a evaluar: pacientes Adultos que
reciben atención ambulatoria en sistemas
prepagos privados sin fines de lucro de la
ciudad de Buenos Aires.
• Participantes: Centro de educacion médica e
investigaciones clinicas (CEMIC) y el Plan de
Salud del Hospital Italiano de Buenos Aires.
• Pacientes con características definidas que tal
vez no sean representativos de otros sistemas
de salud de nuestro país.
27/9/02
I Jornada de SACAS
16
Cuestionario para el piloto
• Sección 1: Caracteristicas demográficas y
sociales (8 preguntas en total).
• Sección 2: Cuestionario central (30 preguntas
en total).
• Sección 3: integrada por el SF-12,
espeficaciones sobre morbilidad e ingresos
familiares (15 preguntas en total).
• Sección 4: Caracterización de la comprensión
de las preguntas, tiempo de llenado y
observaciones.
27/9/02
I Jornada de SACAS
17
Piloto
• Realizado entre los pacientes de ambos sistemas con
el fin de determinar si los pacientes comprendian las
preguntas y cuanto tiempo les llevaba completar el
cuestionario. Duración dos meses. Pacientes
seleccionados
y
con
alto
compromiso
de
participación.
• Los resultados del piloto fueron satisfactorios.
• Modificaciones realizadas: Se reformularon los
enunciados de varias de las preguntas y 2 fueron
eliminadas por no ser comprendidas y decidirse que
no eran útiles para nuestro medio.
27/9/02
I Jornada de SACAS
18
Consideraciones estadísticas
• Análisis univariado- frecuencia,
normalidad y asociacion.
• Muestra: ¿cuántas encuestas son
suficientes? Considerar número de
items en validación. Cálculo muestral
• Confiabilidad
• Validez
• Respuesta al cambio
27/9/02
I Jornada de SACAS
19
Confiabilidad
• Es la capacidad del instrumento de reproducir
los resultados a lo largo del tiempo. Se basa
en un test de correlación.
• Test- retest.
• Instrumento paralelo.
• Consistencia interna (alpha de
cobbrach). Ver resultados en tablas
N° 5 y 6.
27/9/02
I Jornada de SACAS
20
Items
Correlation
RTT
Name
Label
Q5
Easiness of making appointments
0,46
0,912
Q6
Number of doctors
0,56
0,907
Q7
Waiting times at office
0,56
0,907
Q8
Amount of time given by your doctor
0,69
0,905
Q9
Attention to what you have to say
0,68
0,905
Q10
Q11
Q12
Q13
Explanations you received
Thoroughness of care
Information of plan benefits
Courtesy of administrative staff
0,69
0,75
0,64
0,60
0,90
0,90
0,90
0,907
Q14
Courtesy of paramedic personnel
0.57
0,908
Q16
Easiness for appointments
0,67
0,905
Q17
Cost of Health plan
0,49
0,910
Q18
Out of pocket money
0,49
0,912
Q19
Delay in approvals
0,39
0,910
Q20
Difficulties in receiving care
0,47
0,910
Q21
Not getting a referral for specialist
0,41
0,912
Q24
Q25
Are you satisfied with your health plan?
Overall performance
0,79
0,37
0,90
0,912
27/9/02
I Jornada de SACAS
21
Validez
“Es la intención de determinar si el instrumemto
mide lo que queremos medir.”
• Validez de contenido y de inspeccion:
hablan de la capacidad del instrumento de
comprender todos los aspectos que deben ser
evaluados según los objetivos previamente
planteados. La primera se evalúa al final del
desarrollo, mientras que la segunda se evalúa
durante la creación del instrumento. Ambas
son subjetivas pero necesarias.
• Validez de construcción.
• Validez de criterio.
27/9/02
I Jornada de SACAS
22
Validez De Construcción
• Es la búsqueda de estructuras dentro de cuestionario
que brinden medidas sumarias relacionadas con los
dominios propuestos.
• Factor analysis y principal component analysis:
intenta identificar factores latentes que son
responsables por la correlación entre factores entre
los items. Comprueban el diseño de los dominios.
• También se evalua la correlación entre los items
(item-item correlation) y entre los items y el total
(item total correlation) para definir la integridad del
cuestionario.
27/9/02
I Jornada de SACAS
23
Validez de criterio
• Variables incluidas exploradas para deteminar
correlación entre los scores obtenidos y “datos
de la realidad”
• Fuerte correlación con :Intención de cambio de
plan y de recomendar a sus parientes y
amigos,Ingreso familiar, tiempo de espera
autoreportado.
• Debil correlacion con MCS y PCS del SF12, Hx
de morbilidad o enfermedad actual, antigüedad
en el plan.
27/9/02
I Jornada de SACAS
24
Respuesta al cambio.
• Es la capacidad del instrumento de ser
lo suficientemente sensible para lograr
identificar cambios clínicamente
importantes a lo largo del tiempo.
• Para ello es necesaria su
implementación sucesiva a lo largo del
tiempo.
27/9/02
I Jornada de SACAS
25
Formalidades a Cumplir
• Presupuesto para conseguir
financiación.
• Confidencialidad de los resultados.
• Aprobación de la dirección de
investigacion.
• Aprobación del director médico o
responsable de la población a evaluar.
27/9/02
I Jornada de SACAS
26
Limitaciones y sesgos
• Muestra de conveniencia, pacientes que
consultan al sistema de salud.
• Validación necesita ser confirmada por
estudios posteriores.
• Baja tasa de respuesta frente a lo ideal.
• Es necesaria la valoración de la
respuesta al cambio en sucesivas
implementaciones.
27/9/02
I Jornada de SACAS
27
Recursos Necesarios
• Tiempo. Es un estudio primario.
• Predisposicion de los encuestados
prelinarmente para hacer sugerencias sobre
las modifiacines.
• $$$ Para la impresión de los cuestionarios y
su distribución.
• Personal para la carga de datos- data entry-.
• Habilidad para hacer un buen análisis.
27/9/02
I Jornada de SACAS
28
Sugerencias
• Inclusión de preguntas válidas para
caracterizar adecuadamente la población.
• No asustarse por la cantidad de items. La
gente quiere expresarse. Aunque en forma
anonima.
• El mailing es el método más adecuado para
para conseguir los resultados menos
sesgados. Los otros son muy caros.
• Negocien tiempo para una adecuada
interpretación de los resultados
27/9/02
I Jornada de SACAS
29
Implementación
• El instrumento fue nuevamente adaptado y corregido
(aunque no en forma estructural). Nuevo formato de
presentacion para respuesta postal paga. Se mantuvo
el cuestionario central y se adaptaron las preguntas
introductorias a las necesidades del momento.
• Con un presupuesto adecuado, fue distribuido entre
los afiliados del CEMIC a principios de este año.
(1850 cuestionarios devueltos sobre 15.500
distribuidos).
• El plan de Salud del HIBA decidio Implentar el
CAHPS.
• Análisis presentado para mostrar resultados a los
directivos y sugerir oportunidades de mejora.
27/9/02
I Jornada de SACAS
30
El futuro
• Aplicación de mayor cantidad de cuestionarios
validados que valoren adecuadamente
satisfacción con la atención médica.
• Uso de CAHPS del AHRQ por parte de
financiadores locales.
• Idealmente
regulación
para
publicar
resultados y fundamentar la decisión de
elegir un plan de salud.
27/9/02
I Jornada de SACAS
31