Download Thesis presentation (PowerPoint)

Programa de Doctorado en Ingeniería Informática y Telecomunicación
Bilbao, 20 de noviembre de 2015
Sistema de tele-consulta y
ayuda al diagnóstico mediante
procesado de imagen basado en
web
Tesis doctoral presentada por Gonzalo Eguíluz Pérez
Dirigida por Dra. Ma Begoña García-Zapirain Soto
“
Entre todos podemos cambiar el significado de esta enfermedad para
poder disfrutar de la vida, dentro de nuestras posibilidades
Francisco J. Argüeso
La actitud ante la adversidad
Mertxe Fernández
Las ayudas técnicas han mejorado mi vida
Silvia Guruceta
Luchemos juntos y la vida nos será más fácil
Anicia Cabrera
”
3
Agenda
Introducción
Hipótesis y objetivos
Estado del arte
Diseño
Resultados
Conclusiones y líneas
futuras
“
Para empezar un gran proyecto, hace falta valentía. Para
terminar un gran proyecto, hace falta perseverancia
Introducción
Federico Vir
”
5
Introducción
• La Esclerosis Múltiple (EM), es una enfermedad crónica
del sistema nervioso central (SNC).
• Se desconoce la causa que la provoca, pero se considera
una enfermedad Autoinmune.
• Afecta con más frecuencia a personas jóvenes.
• Puede ser leve, incapacitante o devastadora.
• Esta asociada a problemas visuales, del habla, de la
sensibilidad, el equilibrio, la coordinación, etc.
• En la EM no existe, actualmente, ninguna actuación
médica efectiva contra la misma.
6
Introducción
• Los pacientes jóvenes
problemas psicológicos
pueden
presentan
diversos
• Traslado al centro de salud
• Proceso degenerativo de la enfermedad
• Falta de capacidad por parte de los centros de salud
• Imposibilidad de realizar terapias diarias
• Impacto en la progresión
• Importancia de la tele-rehabilitación
• Permite realizar terapia diaria
• Disponibilidad inmediata sin traslados
7
Introducción
• Las personas con EM pueden verse obligadas a pasar
gran parte del día sentadas.
• Puntos clave de una postura correcta en sedestación:
• Mantener la pelvis bien situada.
• Mantener la simetría del cuerpo.
• Separar las rodillas.
• Es importante y necesario eliminar la subjetividad del
método y objetivar la postura.
8
Hipótesis
Haciendo uso de la tecnología de cálculo de
profundidad para imágenes tiempo-de-vuelo
(ToF), es posible detectar y reconocer, durante la
ejecución de ejercicios de rehabilitación, los
movimientos que realizan los pacientes con
Esclerosis Múltiple para analizarlos y aplicar una
corrección en tiempo real. El análisis previo a la
corrección se realizará mediante el desarrollo de
algoritmos de procesamiento de imágenes que
se combinarán con un sistema web. Esta
corrección supondrá una mejora objetiva, que
repercutirá en la evolución de los pacientes.
9
Objetivo
Diseñar y validar una solución tecnológica que
permita realizar un seguimiento de los pacientes con
Esclerosis Múltiple durante las sesiones de telerehabilitación.
Sub-objetivos
• Analizar la evolución física de los pacientes a través del sistema
de seguimiento.
• Validar las terapias psicomotrices aplicadas a los pacientes con
EM.
• Validar un sistema de seguimiento en tiempo real mediante una
cámara con tecnología de tiempo-de-vuelo (ToF).
• Comparar el sistema desarrollado con sistemas comerciales de
similares características.
“
Si quieres llegar a donde la mayoría no llega, necesitas hacer
algo que la mayoría de las personas no hacen
Octave Basal
Estado del arte
”
11
Estado del arte
La Esclerosis Múltiple (EM) es una enfermedad crónica
del sistema nervioso central que afecta a la mielina,
sustancia que facilita la conducción de los impulsos
nerviosos.
12
Estado del arte
S. XIX
Primeros indicios
1869
Jean-Martin Charco hace las primeras indagaciones a cerca de la
ELA (Esclerosis Lateral Amiotrófica).
1931
Sydney Allison [Allison+31a] hace un nuevo intento para caracterizar la EM.
1954
Aparece el primer esquema diagnóstico, por Sydney Allison y Harold
Millar [Pollman+10a].
1965
Broman [Broman+85a] y colaboradores establecieron los principios de
los esquemas diagnósticos posteriores.
19701983
Sucesión de esquemas de criterios, los de McAlpine [McAlpine+72a],
Lumsden [Lumsden70a] y Acheson [Acheson+77a], el de Martin Halliday
[Hallidai73a], hasta llegar a la clasificación de Poser [Poser83a] y
colaboradores en 1983.
19902010
Uso de técnicas MRI para detección precoz de la EM. Aceptación del
término CIS (Síndrome Clínico Aislado). Presentación del criterio de
MacDonald [MacDonald01a], con posteriores revisiones en el año 2010
[MacDonald10a].
13
Estado del arte
Prevalencia de la Esclerosis Múltiple
14
Estado del arte
• Combinar
• Terapia farmacológica
• Tratamiento rehabilitador
• Beneficios
• Tratamiento de síntomas
• Freno de la progresión
• Mejora motora y de calidad de vida
15
Estado del arte
• La rehabilitación difiere dependiendo del grado, la
expresión, la gravedad y la progresión de los
síntomas.
• Recuperar funciones que son esenciales para las
actividades cotidianas
• Ayudar al paciente
independencia posible
• Establecer
un
personalizado
a
alcanzar
programa
de
la
mayor
ejercicios
• Restablecer las habilidades de movimiento
16
Estado del arte
• Realizar los ejercicios rehabilitadores correctamente
es de vital importancia.
• Una postura correcta es esencial
• Evitar problemas asociados (debilidad de los
músculos, dolores, sufrir lesiones, etc.)
• Analizar la posición en sedestación
• De manera subjetiva mirando al usuario.
• De manera objetiva mediante técnicas de visión
avanzadas.
17
Estado del arte
Técnicas de visión
18
Estado del arte > Técnicas de visión
Triangulación de cámaras
19
Estado del arte > Técnicas de visión
Escáner láser
20
Estado del arte > Técnicas de visión
Luz estructurada
21
Estado del arte > Técnicas de visión
Tiempo de vuelo (ToF)
22
Estado del arte > Técnicas de visión
Termografía infrarroja
23
Estado del arte > Técnicas de visión
Parámetros
Estéreo
Estructurada
ToF
Infrarroja
Complejidad
Alta
Alta
Media
Media
Coste
Bajo
Medio/alto
Medio
Muy alto
Respuesta
Medio
Bajo
Alto
Alto
Baja
luminosidad
Débil
Dependiente
Bien
Bien
Exterior
Bien
Medio
Mal
Bien
cm
µm - cm
nm - cm
-
Medio
<4m
< 1 m > 30 m
< 0.3m - ∞
~ 10 pfs
~ 15 pfs
> 30 fps
> 30 fps
Precisión
Rango
Velocidad
“
Es un error capital teorizar antes de poseer datos. Uno comienza a alterar los hechos para
encajarlos en las teorías, en lugar de encajar las teorías en los hechos
Sir Arthur Ignatius Conan Doyle
Base de datos
”
25
Base de datos
Población de pacientes con EM
Centro de rehabilitación Eugenia
Residencia Urizar Torre
Epalza
Hombres
49
0
Mujeres
99
16
Total
148
16
164
26
Base de datos
Población de profesionales relacionados con EM
Logopedas T. Ocupacionales Fisioterapeutas Psicólogos Yoga
Hombres
-
-
1
-
1
Mujeres
1
2
4
1
-
T. sociales Neuropsicólogos
Animadores
socio-culturales
Auxiliares Enfermeras
Total
-
-
-
4
-
6
2
1
2
15
1
28
27
Base de datos
Criterios de inclusión y exclusión
Colectivo
Criterios de inclusión
Profesionales
• Ser Fisioterapeuta, Logopeda, Terapeuta ocupacional o
Animadores socio-culturales
• Tener conocimientos de informática a nivel de usuario
Personas con
EM
• Edad comprendida entre 18 y 56 años
• Tener diagnosticado Esclerosis Múltiple y del tipo Benigno o
Recaídas-Remisiones
• Tener un valor de EDSS entre 0.0 y 5.5
• Ser capaz de usar un ordenador personal, un navegador web
y una aplicación
28
Base de datos
Criterios de inclusión y exclusión
Colectivo
Criterios de exclusión
Profesionales
Personas con
EM
• Edad menor de 18 o mayor de 56 años
• Tener un valor de EDSS mayor de 5.5
• Tener una discapacidad cognitiva severa (MMSE < 24)
29
Base de datos
Estratos de la muestra
Muestra sistema Muestra sistema
Tipo Estratos de población
WEB
corrector
Pacientes con EM
164
50
20
Profesionales
34
10
-
Total
198
60
40
“
Ten muy presente que tu enfoque determina tu realidad
Diseño
Stuart Freeborn
”
31
Diseño
Sistema integral
Centro de datos
Hogar del paciente
Centro médico
32
Diseño
Módulos principales
33
Diseño > WEB
Módulos principales
Módulo Profesional Paciente
Grabación de ejercicios
Gestión de usuarios
Ejercicios y preguntas
Historial
Centro de notificaciones
Seguimiento de usuarios
Videoconferencia y chat
34
Diseño > WEB > Acceso al sistema
•
•
•
Log-in de usuario
Formato de la contraseña: {encrypt}:{salt}
Cifrado MD5
35
Diseño > WEB > Grabación de ejercicios
• Cliente en Flex ejecutado en Flash
• Servidor en Red5
• Uso del códec H.264
36
Diseño > WEB > Grabación de ejercicios
• Cliente en Flex ejecutado en Flash
• Servidor en Red5
• Uso del códec H.264
Códec On2 VP6
Códec H.264
37
Diseño > WEB > Gestión de usuarios
Niveles de acceso
38
Diseño > WEB > Ejercicios y preguntas
• Repositorio
multimedia
Áreas
on-line
de
Imágenes
Vídeos
ejercicios
y
preguntas
Documentos Ejercicios Preguntas
Rehabilitación
43
15
Fisioterapia
118
22
Logopedia
162
14
Terapia ocupacional
49
10
Neurosicología
19
9
Yoga
25
0
Diseño > WEB > Centro de
Notificaciones
• Últimas actualizaciones en el sistema
• Vista personalizada paciente/profesional
• Actualización automática
39
Diseño > WEB > Seguimiento de
pacientes
• Vista personalizada paciente/profesional
• Seguimiento de 60 días
40
41
Diseño > WEB > Historial
• Búsqueda entre fechas
• Vistas resumidas
• Generador de informes
42
Diseño > WEB > Videoconferencia y chat
• Comunicación en tiempo real 1 a 1
• Basado en el servidor Red5
• Uso del protocolo RTMPS
43
Diseño > WEB
Terapia ocupacional
Neuropsicología
Logopedia
Rehabilitación
Fisioterapia
Yoga
44
Diseño
Sistema de escritorio
Diseño > Sistema de escritorio > Obtener los
datos
45
• Módulo de comunicación cámara-PC
• Conversión RGB a mapa de bits
• Conversión imagen de profundidad a mapa de bits
46
Diseño
Sistema de escritorio
Diseño > Sistema de escritorio > Procesamiento de
imágenes
•
•
•
•
Eliminar el fondo de la imagen
Mejorar la imagen
Obtener el contorno
Cálculo de puntos clave
47
Diseño > Sistema de escritorio > Procesamiento de
imágenes
Eliminar el fondo de la imagen
48
Diseño > Sistema de escritorio > Procesamiento de
imágenes
Eliminar el fondo de la imagen (1 de 2)
Obtener primer plano y generar Trimap
Trimap
Imagen
final
de profundidad
Mapa preliminar
con tres colores
49
Diseño > Sistema de escritorio > Procesamiento de
imágenes
Eliminar el fondo de la imagen (2 de 2)
Aplicar filtro Bilateral
=
&
Imagen original
Trimap
Máscara binaria
50
Diseño > Sistema de escritorio > Procesamiento de
imágenes
Mejorar la imagen
51
Diseño > Sistema de escritorio > Procesamiento de
imágenes
Mejorar la imagen
Aplicar filtro Gaussiano
x
Matriz
de convolución de 5x5
Máscara binaria
Máscara binaria
suavizada
52
Diseño > Sistema de escritorio > Procesamiento de
imágenes
Obtener el contorno
53
Diseño > Sistema de escritorio > Procesamiento de
imágenes
Obtener el contorno
Aplicar el algoritmo de Histéresis
t0
≥
∇f(x, y) ≥ t1 es borde
∇f(x, y) < t1 puede ser, depende del contexto
∇f(x, y) < t0 no es borde
Contorno
de la suavizada
máscara
Máscara
binaria
54
Diseño > Sistema de escritorio > Procesamiento de
imágenes
Cálculo de puntos clave
55
Diseño > Sistema de escritorio > Procesamiento de
imágenes
Cálculo de puntos clave
Aplicar la transformada de Hough para rectas
Contorno
de la máscara
binaria
Acumulador
Líneas
Hough
Hough
Espacio acumulador
56
Diseño > Sistema de escritorio > Procesamiento de
imágenes
Cálculo de puntos clave
Obtener la posición de la pelvis
d(r, r’) = d(P, Q)
Línea
Punto
perpendicular
medio de la común
línea
57
Diseño > Sistema de escritorio > Procesamiento de
imágenes
Cálculo de puntos clave
Aplicar la transformada de Hough para círculos
Contorno
de la máscara
Acumulador
Círculo
Hough
Houghbinaria
suavizada
58
59
Diseño
Sistema de escritorio
60
Diseño > Sistema de escritorio > Sistema de corrección
Sistema de corrección
61
Diseño > Sistema de escritorio > Sistema de corrección
Calcular ángulos
Punto de la cabeza
Ángulo resultante
Punto de la pelvis
62
Diseño > Sistema de escritorio > Sistema de corrección
Calcular ángulos
• Construir el vector cabeza-pelvis
• Construir el vector pelvis-vertical
• Calcular el ángulo entre dos vectores
Punto de la cabeza
→
U
Punto de la pelvis
→
V
α
63
Diseño > Sistema de escritorio > Sistema de corrección
Aplicar y mostrar correcciones
• Comparar ángulo con parámetros
• Generar mensaje y audio
• Almacenar información
64
Diseño > Sistema de escritorio
SoftKinetic® DepthSense 311
“
No importa lo que esperas ni lo que te mereces, sino lo que consigues
Resultados
Frank T.J. Mackey
”
66
Resultados
• Sistema web > 3 prototipos
• Escala de usabilidad del sistema (SUS)
• Desestimación de otros test (SUPR-Q, QUIS)
• Sistema de escritorio > 2 prototipos
• Medida de Independencia Funcional (FIM)
• Escala de Equilibrio de Berg (BBS)
• Ángulos
• Tiempo de reacción
• Datos no normales (test de Shapiro-Wilk)
67
Resultados > Plataforma WEB
• 50 pacientes y 10 profesionales
• Escala de usabilidad del sistema (SUS)
• Escala Likert que genera un único número
• 10 preguntas con valores de 0 a 4
• Valores por encima de 68 se consideran como
aceptables
68
Resultados > Plataforma WEB
• Profesionales y pacientes
• Prueba de Mann-Withney
• Significancia (p = 0.009) en el primer prototipo
*
(p = 0.009)
69
Resultados > Plataforma WEB
• Profesionales y pacientes
• Prueba de Friedman
• Significancia (p = 0.000) entre pares de prototipos
*
(p = 0.000)
*
(p = 0.000)
*
(p = 0.000)
70
Resultados > Plataforma WEB
• Pacientes
• Significancia (p = 0.000) entre pares de prototipos
*
(p = 0.000)
*
(p = 0.000)
*
(p = 0.000)
71
Resultados > Plataforma WEB
• Profesionales
• Significancia (p = 0.005) entre pares de prototipos
*
(p = 0.005)
*
(p = 0.005)
*
(p = 0.004)
72
Resultados > Plataforma WEB
Otros sistemas disponibles
Puntuación de los pacientes
Puntuación de los
profesionales
Sistema 1
73 ± 15
-
Sistema 2
75 ± 11.100
-
Sistema 3
87.95 ± 2.399
-
Sistema 4
59
-
73.9 ± 8.454
75.75 ± 3.344
Sistema
Sistema
propio
73
Resultados > Sistema de escritorio
• 20 pacientes y 20 control
• Medida de Independencia Funcional (FIM)
• 18 ítems dentro de 6 áreas de funcionalidad con
valores de 1 a 7
• La puntuación debe valorarse
• Escala de Equilibrio de Berg (BBS)
• 14 tareas con valores del 0 a 4
• < 20: riesgo de caídas
• 20-40: riesgo moderado
• > 40: bajo riesgo de caídas
74
Resultados > Sistema de escritorio
• Significancia (p = 0.000) en valores de FIM inicial y
final
*
(p = 0.000)
Mejora del valor
75
Resultados > Sistema de escritorio
Valores en las áreas de FIM para los pacientes
Hombres
76
Resultados > Sistema de escritorio
Valores en las áreas de FIM para los pacientes
Mujeres
77
Resultados > Sistema de escritorio
• Significancia (p = 0.000) en valores de BBS inicial y
final
*
(p = 0.000)
Mejora del valor
78
Resultados > Sistema de escritorio
• Significancia (p = 0.001) en valores de ángulo inicial y
final
*
(p = 0.001)
Reducción del valor
79
Resultados > Sistema de escritorio
• Significancia (p = 0.001) en valores de tiempo de
reacción inicial y final
*
(p = 0.001)
Reducción del valor
80
Resultados > Sistema de escritorio
• Significancia (p = 0.005) en valores de FIM inicial y
BBS inicial
Evolución positiva
81
Resultados > Sistema de escritorio
• Significancia (p = 0.004) en valores de FIM final y BBS
final
Evolución positiva
82
Resultados
Impacto científico
Revistas científicas con
2 publicados y 3 en revisión
JCR
Congresos
4
Capítulos de libro
1
Registros de software
1
Proyectos de
investigación
3
83
Resultados > Impacto científico
Revistas con JCR
Bio-Medical Materials and
Engineering (BIOMED)
Comprehensive verticality analysis and web-based rehabilitation
system for people with multiple sclerosis with supervised medical
monitoring
FI: 0.847
· DOI:10.3233/BME-141175
International Journal of
Environmental Research and
Public Health (IJERPH)
Use of a Time-of-Flight Camera With an Omek Beckon™ Framework
to Analyze, Evaluate and Correct in Real Time the Verticality of
Multiple Sclerosis Patients during Exercise
FI: 1.998 · DOI:10.3390/ijerph10115807
Sensors
State-of-the-Art of Depth Measurement Technologies for Human Body
Detection in Rehabilitation Systems
Telemedicine and e-Health
Human Body Verticality Detection and Correction System for Multiple
Sclerosis Patients Using a Time-of-Flight Camera and Image
Processing Algorithms
Journal of Medical Internet
Research (JMIR)
Web-based Rehabilitation System for People with Multiple Sclerosis
with Supervised Medical Monitoring
84
Resultados > Impacto científico
Proyectos de investigación
Proyecto
Convocatoria
eMUGI
Herramienta tecnológica para el apoyo a la
movilidad de las personas con Esclerosis
Múltiple
Bizkailab
Participantes
DFB
Universidad de Deusto
ADEMBI
2012 - 2014
Kernet
Hospital de Basurto
Fekoor
2010 - 2012
E-REMEDU
Solución
Tecnológica
para
Telerehabilitación para pacientes
trastornos medulares
la
con
TELEREHAB
Telerehabilitación para
movilidad reducida
Dpto. De
Kernet
promocion
Fekoor
con
economica (DFB) Deustotech LIFE
pacientes
Gaitek
Año
2010 - 2011
“
No sin motivo los antiguos decían que en el fin se encuentra el inicio
Vasili Grossman
”
Conclusiones y líneas futuras
86
Conclusiones y líneas futuras
Hipótesis
«Haciendo uso de la tecnología de cálculo de profundidad para
imágenes tiempo-de-vuelo (ToF), es posible detectar y reconocer
durante la ejecución de ejercicios de rehabilitación, los movimientos
que realizan los pacientes con esclerosis múltiple para analizarlos y
aplicar una corrección en tiempo real. El análisis previo a la
corrección se realizará mediante el desarrollo de algoritmos de
procesamiento de imágenes que se combinarán con un sistema
web. Esta corrección supondrá una mejora objetiva, que repercutirá
en la evolución de los pacientes»
• Hipótesis válida, basada en los resultados obtenidos
87
Conclusiones y líneas futuras
Objetivo
Diseñar y validar una herramienta ad-hoc que permita
realizar un seguimiento de los pacientes con Esclerosis
Múltiple durante las sesiones físicas
• Sistema diseñado en base
específicas.
• Uso del sistema en áreas
Rehabilitación y Fisioterapia.
• Sistema validado tanto en
ADEMBI como en hogares por
y pacientes.
a las necesidades
como la Logopedia,
las instalaciones de
parte de profesionales
88
Conclusiones y líneas futuras
Sub-Objetivo número 1
Analizar la evolución física de los pacientes a través del
sistema de seguimiento, analizando las variables
objetivas definidas
• Sistemas web y sistema de escritorio.
• Obtención de información adicional mediante los
sistemas diseñados.
• Información centralizada y disponible.
89
Conclusiones y líneas futuras
Sub-Objetivo número 2
Validar las terapias psicomotrices aplicadas a los
pacientes con Esclerosis Múltiple mediante el sistema de
seguimiento diseñado
• Uso de test físicos, FIM y BBS para la evaluación.
• Evolución psicomotriz en positivo.
• Compaginación de terapias presenciales y terapias en
el hogar del paciente.
90
Conclusiones y líneas futuras
Sub-Objetivo número 3
Validar un sistema de seguimiento en tiempo real
mediante una cámara con tecnología de tiempo de vuelo
• Elección de la tecnología.
• Sistema diseñado bajo las premisas de los
profesionales médicos.
• Mejora en los pacientes en aspectos físicos validado
mediante el uso de test FIM y BBS.
91
Conclusiones y líneas futuras
Sub-Objetivo número 4
Comparar el sistema desarrollado con sistemas disponibles
similares comerciales
Sistema
Población
Arquitectura
Modelo de negocio
Neurodegenerativo
Neuromuscular
Movilidad
Aplicación web
Nube
Kinect
Basic OnPremises
Unlimited OnPremises
Unlimited SaaS
Jintronix
Neuromuscular
Movilidad
PC Windows 7/8
Nube
Kinect
Integrado
Kiosko
En casa
Kinetisense
Neuromuscular
Movilidad
PC Windows 8.1
Kinect v2
Suscripción anual (Profesional y
premium)
Aplicación web
Nube
DS311
No
VirtualReha
b
Neurodegenerativo
Sistema
Neuromuscular
propio
Movilidad
115
Conclusiones y líneas futuras >
Resultados
• Sistema web
• Evolución positiva y creciente de los resultados en
los tres prototipos
• Aceptación más rápida en los profesionales
• Sistema de escritorio
• Evolución positiva y creciente de los resultados en
los dos prototipos
• Mejora en las variables analizadas
• Obtención de datos extra
92
93
Conclusiones y líneas futuras
• Sistema web
• Generación de ejercicios y cuestionarios adaptados
a los pacientes
• Prueba del sistema en otras áreas geográficas
(scaling-up)
• Sistema de escritorio
• Detección de nuevas partes del cuerpo
• Mejorar la calidad del mapa de profundidad
• Prueba del sistema en otras áreas geográficas
(scaling-up)
94
Conclusiones y líneas futuras
Agradecimientos
Asociación de Esclerosis Múltiple de Bizkaia
Programa de Doctorado en Ingeniería Informática y Telecomunicación
Bilbao, 20 de noviembre de 2015
Sistema de tele-consulta y
ayuda al diagnóstico mediante
procesado de imagen basado en
web
Tesis doctoral presentada por Gonzalo Eguíluz Pérez