Download Thesis presentation (PowerPoint)
Document related concepts
no text concepts found
Transcript
Programa de Doctorado en Ingeniería Informática y Telecomunicación Bilbao, 20 de noviembre de 2015 Sistema de tele-consulta y ayuda al diagnóstico mediante procesado de imagen basado en web Tesis doctoral presentada por Gonzalo Eguíluz Pérez Dirigida por Dra. Ma Begoña García-Zapirain Soto “ Entre todos podemos cambiar el significado de esta enfermedad para poder disfrutar de la vida, dentro de nuestras posibilidades Francisco J. Argüeso La actitud ante la adversidad Mertxe Fernández Las ayudas técnicas han mejorado mi vida Silvia Guruceta Luchemos juntos y la vida nos será más fácil Anicia Cabrera ” 3 Agenda Introducción Hipótesis y objetivos Estado del arte Diseño Resultados Conclusiones y líneas futuras “ Para empezar un gran proyecto, hace falta valentía. Para terminar un gran proyecto, hace falta perseverancia Introducción Federico Vir ” 5 Introducción • La Esclerosis Múltiple (EM), es una enfermedad crónica del sistema nervioso central (SNC). • Se desconoce la causa que la provoca, pero se considera una enfermedad Autoinmune. • Afecta con más frecuencia a personas jóvenes. • Puede ser leve, incapacitante o devastadora. • Esta asociada a problemas visuales, del habla, de la sensibilidad, el equilibrio, la coordinación, etc. • En la EM no existe, actualmente, ninguna actuación médica efectiva contra la misma. 6 Introducción • Los pacientes jóvenes problemas psicológicos pueden presentan diversos • Traslado al centro de salud • Proceso degenerativo de la enfermedad • Falta de capacidad por parte de los centros de salud • Imposibilidad de realizar terapias diarias • Impacto en la progresión • Importancia de la tele-rehabilitación • Permite realizar terapia diaria • Disponibilidad inmediata sin traslados 7 Introducción • Las personas con EM pueden verse obligadas a pasar gran parte del día sentadas. • Puntos clave de una postura correcta en sedestación: • Mantener la pelvis bien situada. • Mantener la simetría del cuerpo. • Separar las rodillas. • Es importante y necesario eliminar la subjetividad del método y objetivar la postura. 8 Hipótesis Haciendo uso de la tecnología de cálculo de profundidad para imágenes tiempo-de-vuelo (ToF), es posible detectar y reconocer, durante la ejecución de ejercicios de rehabilitación, los movimientos que realizan los pacientes con Esclerosis Múltiple para analizarlos y aplicar una corrección en tiempo real. El análisis previo a la corrección se realizará mediante el desarrollo de algoritmos de procesamiento de imágenes que se combinarán con un sistema web. Esta corrección supondrá una mejora objetiva, que repercutirá en la evolución de los pacientes. 9 Objetivo Diseñar y validar una solución tecnológica que permita realizar un seguimiento de los pacientes con Esclerosis Múltiple durante las sesiones de telerehabilitación. Sub-objetivos • Analizar la evolución física de los pacientes a través del sistema de seguimiento. • Validar las terapias psicomotrices aplicadas a los pacientes con EM. • Validar un sistema de seguimiento en tiempo real mediante una cámara con tecnología de tiempo-de-vuelo (ToF). • Comparar el sistema desarrollado con sistemas comerciales de similares características. “ Si quieres llegar a donde la mayoría no llega, necesitas hacer algo que la mayoría de las personas no hacen Octave Basal Estado del arte ” 11 Estado del arte La Esclerosis Múltiple (EM) es una enfermedad crónica del sistema nervioso central que afecta a la mielina, sustancia que facilita la conducción de los impulsos nerviosos. 12 Estado del arte S. XIX Primeros indicios 1869 Jean-Martin Charco hace las primeras indagaciones a cerca de la ELA (Esclerosis Lateral Amiotrófica). 1931 Sydney Allison [Allison+31a] hace un nuevo intento para caracterizar la EM. 1954 Aparece el primer esquema diagnóstico, por Sydney Allison y Harold Millar [Pollman+10a]. 1965 Broman [Broman+85a] y colaboradores establecieron los principios de los esquemas diagnósticos posteriores. 19701983 Sucesión de esquemas de criterios, los de McAlpine [McAlpine+72a], Lumsden [Lumsden70a] y Acheson [Acheson+77a], el de Martin Halliday [Hallidai73a], hasta llegar a la clasificación de Poser [Poser83a] y colaboradores en 1983. 19902010 Uso de técnicas MRI para detección precoz de la EM. Aceptación del término CIS (Síndrome Clínico Aislado). Presentación del criterio de MacDonald [MacDonald01a], con posteriores revisiones en el año 2010 [MacDonald10a]. 13 Estado del arte Prevalencia de la Esclerosis Múltiple 14 Estado del arte • Combinar • Terapia farmacológica • Tratamiento rehabilitador • Beneficios • Tratamiento de síntomas • Freno de la progresión • Mejora motora y de calidad de vida 15 Estado del arte • La rehabilitación difiere dependiendo del grado, la expresión, la gravedad y la progresión de los síntomas. • Recuperar funciones que son esenciales para las actividades cotidianas • Ayudar al paciente independencia posible • Establecer un personalizado a alcanzar programa de la mayor ejercicios • Restablecer las habilidades de movimiento 16 Estado del arte • Realizar los ejercicios rehabilitadores correctamente es de vital importancia. • Una postura correcta es esencial • Evitar problemas asociados (debilidad de los músculos, dolores, sufrir lesiones, etc.) • Analizar la posición en sedestación • De manera subjetiva mirando al usuario. • De manera objetiva mediante técnicas de visión avanzadas. 17 Estado del arte Técnicas de visión 18 Estado del arte > Técnicas de visión Triangulación de cámaras 19 Estado del arte > Técnicas de visión Escáner láser 20 Estado del arte > Técnicas de visión Luz estructurada 21 Estado del arte > Técnicas de visión Tiempo de vuelo (ToF) 22 Estado del arte > Técnicas de visión Termografía infrarroja 23 Estado del arte > Técnicas de visión Parámetros Estéreo Estructurada ToF Infrarroja Complejidad Alta Alta Media Media Coste Bajo Medio/alto Medio Muy alto Respuesta Medio Bajo Alto Alto Baja luminosidad Débil Dependiente Bien Bien Exterior Bien Medio Mal Bien cm µm - cm nm - cm - Medio <4m < 1 m > 30 m < 0.3m - ∞ ~ 10 pfs ~ 15 pfs > 30 fps > 30 fps Precisión Rango Velocidad “ Es un error capital teorizar antes de poseer datos. Uno comienza a alterar los hechos para encajarlos en las teorías, en lugar de encajar las teorías en los hechos Sir Arthur Ignatius Conan Doyle Base de datos ” 25 Base de datos Población de pacientes con EM Centro de rehabilitación Eugenia Residencia Urizar Torre Epalza Hombres 49 0 Mujeres 99 16 Total 148 16 164 26 Base de datos Población de profesionales relacionados con EM Logopedas T. Ocupacionales Fisioterapeutas Psicólogos Yoga Hombres - - 1 - 1 Mujeres 1 2 4 1 - T. sociales Neuropsicólogos Animadores socio-culturales Auxiliares Enfermeras Total - - - 4 - 6 2 1 2 15 1 28 27 Base de datos Criterios de inclusión y exclusión Colectivo Criterios de inclusión Profesionales • Ser Fisioterapeuta, Logopeda, Terapeuta ocupacional o Animadores socio-culturales • Tener conocimientos de informática a nivel de usuario Personas con EM • Edad comprendida entre 18 y 56 años • Tener diagnosticado Esclerosis Múltiple y del tipo Benigno o Recaídas-Remisiones • Tener un valor de EDSS entre 0.0 y 5.5 • Ser capaz de usar un ordenador personal, un navegador web y una aplicación 28 Base de datos Criterios de inclusión y exclusión Colectivo Criterios de exclusión Profesionales Personas con EM • Edad menor de 18 o mayor de 56 años • Tener un valor de EDSS mayor de 5.5 • Tener una discapacidad cognitiva severa (MMSE < 24) 29 Base de datos Estratos de la muestra Muestra sistema Muestra sistema Tipo Estratos de población WEB corrector Pacientes con EM 164 50 20 Profesionales 34 10 - Total 198 60 40 “ Ten muy presente que tu enfoque determina tu realidad Diseño Stuart Freeborn ” 31 Diseño Sistema integral Centro de datos Hogar del paciente Centro médico 32 Diseño Módulos principales 33 Diseño > WEB Módulos principales Módulo Profesional Paciente Grabación de ejercicios Gestión de usuarios Ejercicios y preguntas Historial Centro de notificaciones Seguimiento de usuarios Videoconferencia y chat 34 Diseño > WEB > Acceso al sistema • • • Log-in de usuario Formato de la contraseña: {encrypt}:{salt} Cifrado MD5 35 Diseño > WEB > Grabación de ejercicios • Cliente en Flex ejecutado en Flash • Servidor en Red5 • Uso del códec H.264 36 Diseño > WEB > Grabación de ejercicios • Cliente en Flex ejecutado en Flash • Servidor en Red5 • Uso del códec H.264 Códec On2 VP6 Códec H.264 37 Diseño > WEB > Gestión de usuarios Niveles de acceso 38 Diseño > WEB > Ejercicios y preguntas • Repositorio multimedia Áreas on-line de Imágenes Vídeos ejercicios y preguntas Documentos Ejercicios Preguntas Rehabilitación 43 15 Fisioterapia 118 22 Logopedia 162 14 Terapia ocupacional 49 10 Neurosicología 19 9 Yoga 25 0 Diseño > WEB > Centro de Notificaciones • Últimas actualizaciones en el sistema • Vista personalizada paciente/profesional • Actualización automática 39 Diseño > WEB > Seguimiento de pacientes • Vista personalizada paciente/profesional • Seguimiento de 60 días 40 41 Diseño > WEB > Historial • Búsqueda entre fechas • Vistas resumidas • Generador de informes 42 Diseño > WEB > Videoconferencia y chat • Comunicación en tiempo real 1 a 1 • Basado en el servidor Red5 • Uso del protocolo RTMPS 43 Diseño > WEB Terapia ocupacional Neuropsicología Logopedia Rehabilitación Fisioterapia Yoga 44 Diseño Sistema de escritorio Diseño > Sistema de escritorio > Obtener los datos 45 • Módulo de comunicación cámara-PC • Conversión RGB a mapa de bits • Conversión imagen de profundidad a mapa de bits 46 Diseño Sistema de escritorio Diseño > Sistema de escritorio > Procesamiento de imágenes • • • • Eliminar el fondo de la imagen Mejorar la imagen Obtener el contorno Cálculo de puntos clave 47 Diseño > Sistema de escritorio > Procesamiento de imágenes Eliminar el fondo de la imagen 48 Diseño > Sistema de escritorio > Procesamiento de imágenes Eliminar el fondo de la imagen (1 de 2) Obtener primer plano y generar Trimap Trimap Imagen final de profundidad Mapa preliminar con tres colores 49 Diseño > Sistema de escritorio > Procesamiento de imágenes Eliminar el fondo de la imagen (2 de 2) Aplicar filtro Bilateral = & Imagen original Trimap Máscara binaria 50 Diseño > Sistema de escritorio > Procesamiento de imágenes Mejorar la imagen 51 Diseño > Sistema de escritorio > Procesamiento de imágenes Mejorar la imagen Aplicar filtro Gaussiano x Matriz de convolución de 5x5 Máscara binaria Máscara binaria suavizada 52 Diseño > Sistema de escritorio > Procesamiento de imágenes Obtener el contorno 53 Diseño > Sistema de escritorio > Procesamiento de imágenes Obtener el contorno Aplicar el algoritmo de Histéresis t0 ≥ ∇f(x, y) ≥ t1 es borde ∇f(x, y) < t1 puede ser, depende del contexto ∇f(x, y) < t0 no es borde Contorno de la suavizada máscara Máscara binaria 54 Diseño > Sistema de escritorio > Procesamiento de imágenes Cálculo de puntos clave 55 Diseño > Sistema de escritorio > Procesamiento de imágenes Cálculo de puntos clave Aplicar la transformada de Hough para rectas Contorno de la máscara binaria Acumulador Líneas Hough Hough Espacio acumulador 56 Diseño > Sistema de escritorio > Procesamiento de imágenes Cálculo de puntos clave Obtener la posición de la pelvis d(r, r’) = d(P, Q) Línea Punto perpendicular medio de la común línea 57 Diseño > Sistema de escritorio > Procesamiento de imágenes Cálculo de puntos clave Aplicar la transformada de Hough para círculos Contorno de la máscara Acumulador Círculo Hough Houghbinaria suavizada 58 59 Diseño Sistema de escritorio 60 Diseño > Sistema de escritorio > Sistema de corrección Sistema de corrección 61 Diseño > Sistema de escritorio > Sistema de corrección Calcular ángulos Punto de la cabeza Ángulo resultante Punto de la pelvis 62 Diseño > Sistema de escritorio > Sistema de corrección Calcular ángulos • Construir el vector cabeza-pelvis • Construir el vector pelvis-vertical • Calcular el ángulo entre dos vectores Punto de la cabeza → U Punto de la pelvis → V α 63 Diseño > Sistema de escritorio > Sistema de corrección Aplicar y mostrar correcciones • Comparar ángulo con parámetros • Generar mensaje y audio • Almacenar información 64 Diseño > Sistema de escritorio SoftKinetic® DepthSense 311 “ No importa lo que esperas ni lo que te mereces, sino lo que consigues Resultados Frank T.J. Mackey ” 66 Resultados • Sistema web > 3 prototipos • Escala de usabilidad del sistema (SUS) • Desestimación de otros test (SUPR-Q, QUIS) • Sistema de escritorio > 2 prototipos • Medida de Independencia Funcional (FIM) • Escala de Equilibrio de Berg (BBS) • Ángulos • Tiempo de reacción • Datos no normales (test de Shapiro-Wilk) 67 Resultados > Plataforma WEB • 50 pacientes y 10 profesionales • Escala de usabilidad del sistema (SUS) • Escala Likert que genera un único número • 10 preguntas con valores de 0 a 4 • Valores por encima de 68 se consideran como aceptables 68 Resultados > Plataforma WEB • Profesionales y pacientes • Prueba de Mann-Withney • Significancia (p = 0.009) en el primer prototipo * (p = 0.009) 69 Resultados > Plataforma WEB • Profesionales y pacientes • Prueba de Friedman • Significancia (p = 0.000) entre pares de prototipos * (p = 0.000) * (p = 0.000) * (p = 0.000) 70 Resultados > Plataforma WEB • Pacientes • Significancia (p = 0.000) entre pares de prototipos * (p = 0.000) * (p = 0.000) * (p = 0.000) 71 Resultados > Plataforma WEB • Profesionales • Significancia (p = 0.005) entre pares de prototipos * (p = 0.005) * (p = 0.005) * (p = 0.004) 72 Resultados > Plataforma WEB Otros sistemas disponibles Puntuación de los pacientes Puntuación de los profesionales Sistema 1 73 ± 15 - Sistema 2 75 ± 11.100 - Sistema 3 87.95 ± 2.399 - Sistema 4 59 - 73.9 ± 8.454 75.75 ± 3.344 Sistema Sistema propio 73 Resultados > Sistema de escritorio • 20 pacientes y 20 control • Medida de Independencia Funcional (FIM) • 18 ítems dentro de 6 áreas de funcionalidad con valores de 1 a 7 • La puntuación debe valorarse • Escala de Equilibrio de Berg (BBS) • 14 tareas con valores del 0 a 4 • < 20: riesgo de caídas • 20-40: riesgo moderado • > 40: bajo riesgo de caídas 74 Resultados > Sistema de escritorio • Significancia (p = 0.000) en valores de FIM inicial y final * (p = 0.000) Mejora del valor 75 Resultados > Sistema de escritorio Valores en las áreas de FIM para los pacientes Hombres 76 Resultados > Sistema de escritorio Valores en las áreas de FIM para los pacientes Mujeres 77 Resultados > Sistema de escritorio • Significancia (p = 0.000) en valores de BBS inicial y final * (p = 0.000) Mejora del valor 78 Resultados > Sistema de escritorio • Significancia (p = 0.001) en valores de ángulo inicial y final * (p = 0.001) Reducción del valor 79 Resultados > Sistema de escritorio • Significancia (p = 0.001) en valores de tiempo de reacción inicial y final * (p = 0.001) Reducción del valor 80 Resultados > Sistema de escritorio • Significancia (p = 0.005) en valores de FIM inicial y BBS inicial Evolución positiva 81 Resultados > Sistema de escritorio • Significancia (p = 0.004) en valores de FIM final y BBS final Evolución positiva 82 Resultados Impacto científico Revistas científicas con 2 publicados y 3 en revisión JCR Congresos 4 Capítulos de libro 1 Registros de software 1 Proyectos de investigación 3 83 Resultados > Impacto científico Revistas con JCR Bio-Medical Materials and Engineering (BIOMED) Comprehensive verticality analysis and web-based rehabilitation system for people with multiple sclerosis with supervised medical monitoring FI: 0.847 · DOI:10.3233/BME-141175 International Journal of Environmental Research and Public Health (IJERPH) Use of a Time-of-Flight Camera With an Omek Beckon™ Framework to Analyze, Evaluate and Correct in Real Time the Verticality of Multiple Sclerosis Patients during Exercise FI: 1.998 · DOI:10.3390/ijerph10115807 Sensors State-of-the-Art of Depth Measurement Technologies for Human Body Detection in Rehabilitation Systems Telemedicine and e-Health Human Body Verticality Detection and Correction System for Multiple Sclerosis Patients Using a Time-of-Flight Camera and Image Processing Algorithms Journal of Medical Internet Research (JMIR) Web-based Rehabilitation System for People with Multiple Sclerosis with Supervised Medical Monitoring 84 Resultados > Impacto científico Proyectos de investigación Proyecto Convocatoria eMUGI Herramienta tecnológica para el apoyo a la movilidad de las personas con Esclerosis Múltiple Bizkailab Participantes DFB Universidad de Deusto ADEMBI 2012 - 2014 Kernet Hospital de Basurto Fekoor 2010 - 2012 E-REMEDU Solución Tecnológica para Telerehabilitación para pacientes trastornos medulares la con TELEREHAB Telerehabilitación para movilidad reducida Dpto. De Kernet promocion Fekoor con economica (DFB) Deustotech LIFE pacientes Gaitek Año 2010 - 2011 “ No sin motivo los antiguos decían que en el fin se encuentra el inicio Vasili Grossman ” Conclusiones y líneas futuras 86 Conclusiones y líneas futuras Hipótesis «Haciendo uso de la tecnología de cálculo de profundidad para imágenes tiempo-de-vuelo (ToF), es posible detectar y reconocer durante la ejecución de ejercicios de rehabilitación, los movimientos que realizan los pacientes con esclerosis múltiple para analizarlos y aplicar una corrección en tiempo real. El análisis previo a la corrección se realizará mediante el desarrollo de algoritmos de procesamiento de imágenes que se combinarán con un sistema web. Esta corrección supondrá una mejora objetiva, que repercutirá en la evolución de los pacientes» • Hipótesis válida, basada en los resultados obtenidos 87 Conclusiones y líneas futuras Objetivo Diseñar y validar una herramienta ad-hoc que permita realizar un seguimiento de los pacientes con Esclerosis Múltiple durante las sesiones físicas • Sistema diseñado en base específicas. • Uso del sistema en áreas Rehabilitación y Fisioterapia. • Sistema validado tanto en ADEMBI como en hogares por y pacientes. a las necesidades como la Logopedia, las instalaciones de parte de profesionales 88 Conclusiones y líneas futuras Sub-Objetivo número 1 Analizar la evolución física de los pacientes a través del sistema de seguimiento, analizando las variables objetivas definidas • Sistemas web y sistema de escritorio. • Obtención de información adicional mediante los sistemas diseñados. • Información centralizada y disponible. 89 Conclusiones y líneas futuras Sub-Objetivo número 2 Validar las terapias psicomotrices aplicadas a los pacientes con Esclerosis Múltiple mediante el sistema de seguimiento diseñado • Uso de test físicos, FIM y BBS para la evaluación. • Evolución psicomotriz en positivo. • Compaginación de terapias presenciales y terapias en el hogar del paciente. 90 Conclusiones y líneas futuras Sub-Objetivo número 3 Validar un sistema de seguimiento en tiempo real mediante una cámara con tecnología de tiempo de vuelo • Elección de la tecnología. • Sistema diseñado bajo las premisas de los profesionales médicos. • Mejora en los pacientes en aspectos físicos validado mediante el uso de test FIM y BBS. 91 Conclusiones y líneas futuras Sub-Objetivo número 4 Comparar el sistema desarrollado con sistemas disponibles similares comerciales Sistema Población Arquitectura Modelo de negocio Neurodegenerativo Neuromuscular Movilidad Aplicación web Nube Kinect Basic OnPremises Unlimited OnPremises Unlimited SaaS Jintronix Neuromuscular Movilidad PC Windows 7/8 Nube Kinect Integrado Kiosko En casa Kinetisense Neuromuscular Movilidad PC Windows 8.1 Kinect v2 Suscripción anual (Profesional y premium) Aplicación web Nube DS311 No VirtualReha b Neurodegenerativo Sistema Neuromuscular propio Movilidad 115 Conclusiones y líneas futuras > Resultados • Sistema web • Evolución positiva y creciente de los resultados en los tres prototipos • Aceptación más rápida en los profesionales • Sistema de escritorio • Evolución positiva y creciente de los resultados en los dos prototipos • Mejora en las variables analizadas • Obtención de datos extra 92 93 Conclusiones y líneas futuras • Sistema web • Generación de ejercicios y cuestionarios adaptados a los pacientes • Prueba del sistema en otras áreas geográficas (scaling-up) • Sistema de escritorio • Detección de nuevas partes del cuerpo • Mejorar la calidad del mapa de profundidad • Prueba del sistema en otras áreas geográficas (scaling-up) 94 Conclusiones y líneas futuras Agradecimientos Asociación de Esclerosis Múltiple de Bizkaia Programa de Doctorado en Ingeniería Informática y Telecomunicación Bilbao, 20 de noviembre de 2015 Sistema de tele-consulta y ayuda al diagnóstico mediante procesado de imagen basado en web Tesis doctoral presentada por Gonzalo Eguíluz Pérez