Download PLATAFORMA DE BÚSQUEDA DE IMÁGENES HISTOLÓGICAS

PLATAFORMA DE
SIMILITUD VISUAL
BÚSQUEDA
DE
IMÁGENES
HISTOLÓGICAS
POR
C. L. Saratxaga1, A.Picón1, S. Rodriguez-Vaamonde1, A. López-Carrera1, J.
Echazarra1, A. Bereciartua1, E. Garrote1
1
Area de negocio de Visión por Computador. División ICT-EST. Fundación
Tecnalia Research & Innovation. 48160-Derio. España.
Resumen. En este trabajo se presenta una plataforma de búsqueda de imágenes histológicas
basada en información visual clínicamente relevante. El objetivo es simplificar el trabajo de
localización y obtención de muestras de tejido en investigación, docencia y diagnóstico,
disponibles en redes de biobancos a nivel mundial. Para ello, se propone un método de
indexación de imágenes que permite crear una firma digital compacta de cada imagen, que
describe los elementos visuales presentes creando una base de datos digital de muestras
interconectadas. Se ha desarrollado un sistema de búsqueda en el que, a partir de una
imagen de búsqueda, se indican las muestras visualmente similares desde el punto de vista
clínico. La plataforma ha sido validada por patólogos de 8 hospitales utilizando muestras de
cáncer de colon, mama y pulmón.
1. Introducción
El proceso actual para la localización de imágenes histológicas resulta largo y poco
productivo. Se basa en la realización de consultas específicas a cada biobanco para conocer si
disponen de muestras de unas determinadas características. Sólo en España hay más de 50
biobancos, lo que da idea del esfuerzo que puede suponer localizar las muestras. Además, en
este proceso no se tiene la garantía de que las muestras encontradas sean las adecuadas, ni
resulta sencillo localizar aquellos biobancos que tienen las muestras más apropiadas para un
estudio. Por otra parte, esta dinámica infrautiliza las capacidades de los biobancos. Por este
motivo, se propone una herramienta que permite la búsqueda de muestras en base a sus
características visuales, es decir, a cómo se verían a través de un microscopio en su propio
laboratorio. Esta aproximación constituye un auténtico reto, ya que la naturaleza propia e
inherente a la variabilidad de las imágenes, los pequeños matices visuales que implican uno u
otro diagnóstico, o la variabilidad en la categorización de una imagen histopatológica por
parte de los profesionales son aspectos muy relevantes.
Además de dotar de un sistema de búsqueda profesional de muestras, se abren nuevas
posibilidades para la explotación de los datos contenidos en los biobancos como herramienta
de apoyo al diagnóstico. De esta forma, un facultativo puede utilizar una imagen histológica
propia y el sistema es capaz de devolver aquellas imágenes histológicas que presenten una
mayor similitud visual desde el punto de vista clínico. Así, el profesional puede diagnosticar
analizando los datos diagnósticos de muestras similares como si de un atlas histológico
inteligente (sólo muestra aquellos casos similares) se tratara. También puede ser utilizado en
docencia como proveedor de muestras de ejemplo.
El trabajo presentado se organiza como sigue. En la sección 2, se describe el estado del arte en
sistemas de recuperación de imágenes por similitud visual así como los objetivos del sistema
propuesto. En la sección 3, se realiza una introducción al procedimiento de obtención de
imágenes de carácter histológico así como el procesamiento matemático necesario para
extraer la información visual. En la sección 4, se detalla la metodología implementada en el
desarrollo de la plataforma, tanto para generar la descripción interna de las imágenes como
para su recuperación cuando se realiza una búsqueda. En la sección 5, se analizan los
resultados obtenidos en la validación de la plataforma. Finalmente, en la sección 6, se
exponen las conclusiones y líneas de trabajo futuras.
2. Contexto
El sistema propuesto se enmarca dentro de los sistemas de Recuperación de Imágenes
Basados en Contenido (CBIR en inglés), que han demostrado ser una tecnología muy
relevante a la hora de explotar la información de diferentes tipos de repositorios médicos.
Técnicamente, pueden ser descritos como herramientas que utilizan contenidos visuales para
buscar imágenes dentro de grandes bases de datos de acuerdo con los intereses del usuario. La
mayoría de los CBIR actuales contemplan una arquitectura jerarquizada. Comienzan
analizando información de bajo nivel de las imágenes, como es el color, con el objetivo de
buscar aquel espacio de color que mejor permita analizar la textura para capturar, aplicando
diversos algoritmos, las características de la imagen tanto a nivel local como global. Como
resultado de este análisis, se obtiene un descriptor de imagen que permite caracterizarla y
recuperarla durante la búsqueda. En [1] y [2] se realiza una revisión de diferentes soluciones
de este tipo desarrolladas en el ámbito médico.
Los trabajos previamente realizados en sistemas CBIR aplicados a imágenes médicas no son
aplicables a las necesidades actuales existentes en el análisis de imágenes histológicas. Muller
et al [1] realizan una revisión exhaustiva de diferentes sistemas CBIR aplicados a imágenes
médicas mediante metodologías tradicionales [3] basadas en la generación de diccionarios de
palabras visuales, núcleos adecuados y valoración global del contenido de la imagen. Sin
embargo, estos sistemas presentan bajas tasas de sensibilidad y especificidad, por lo que es
necesaria su adaptación para su uso en aplicaciones reales en el campo histológico. Es
también importante tener en cuenta que para los métodos más novedosos de caracterización
de objetos basados en Deep Learning [4] no hay referencias de haber sido aplicados en la
caracterización de imágenes de histología. El trabajo más completo en esta área es el
desarrollado por el equipo de Caicedo et al [5] en el que se propone la subdivisión de la
imagen histológica en regiones y la extracción de características texturales y de color en las
mismas, que son cuantificadas mediante el cálculo de un diccionario de palabras visuales para
cada tipo de características. Estos trabajos son extendidos mediante el cálculo de la
variabilidad del diccionario de palabras visuales [6] o la inclusión de técnicas de Machine
Learning [7,8] para establecer la relación entre las características visuales y el contenido
semántico, algo que también ha sido tratado por otros autores que utilizan técnicas de
Boosting para esta tarea de clasificación [9].
Sin embargo, las soluciones mencionadas anteriormente han sido validadas únicamente sobre
conjuntos reducidos de imágenes histológicas provenientes de un único servicio de
histopatología, no demostrando su viabilidad operativa real. Además, presentan limitaciones
en cuanto a la definición de los conceptos de similitud visual, definición de la arquitectura y
distribución de elementos en la imagen, así como en la representación de la variabilidad entre
patólogos en el diagnóstico. Por otro lado, uno de los principales problemas que presentan las
muestras histológicas es su variabilidad en apariencia final ya que son tratadas con diferentes
tipos de tinción y el resultado final cromático sobre la muestra depende de factores como la
concentración, el tiempo de exposición o el proveedor. En este sentido, la plataforma
propuesta está siendo validada con imágenes provenientes de 8 hospitales diferentes y en
diferentes patologías. Asimismo, el método de análisis desarrollado para el procesamiento de
las imágenes se realiza a diferentes escalas (10x, 20x, 40x) emulando el proceso de
diagnóstico seguido por los expertos, lo que permite aumentar la precisión del sistema
identificando automáticamente las regiones de interés y caracterizando los distintos tipos de
tejido.
3. Obtención y anotación de imágenes histológicas
Para cumplir con los objetivos de desarrollo es necesario crear una base de datos consistente y
con información suficiente para la validación de la metodología propuesta. En este sentido, el
trabajo actual ha sido validado utilizando la base de datos creada en el proyecto Biopool [10].
Estas imágenes incluyen muestras tanto de tejido sano como de tumoral y tratadas con
tinciones de Hematoxilina-Eosina (HE).
De cara a integrar la variabilidad y el conocimiento de los patólogos en el modelo matemático
[11], se diseñó un proceso de etiquetado en el que participaron 12 patólogos diferentes. Para
ello, se aplicó una metodología basada en la determinación de cuatro grados de similitud entre
pares de imágenes, tal y como se lleva a cabo en otras especialidades [12]. Ante la
imposibilidad de valorar todos los pares de imágenes posibles, se seleccionaron los pares
siguiendo una distribución estadística determinada en base a una primera estimación de la
similitud visual que genera parejas de imágenes con grados de similitud controlados [13].
4. Proceso de indexación y recuperación de la imagen
La plataforma trabaja en dos fases. En primer lugar se realiza una indexación de las imágenes,
proceso en el que se obtiene una “firma” numérica por cada imagen. Esta firma asocia un
número que permite describir cada una de las características visuales de la imagen, conjuntos
de elementos, su distribución y formas de agrupación, entre otros. Esta indexación hace
posible la búsqueda, en la que se aplican diversas estrategias para medir la similitud entre las
imágenes y mostrar al usuario aquellas de la base de datos que se consideren más similares a
la imagen referenciada en la búsqueda. Los dos procesos se explican a continuación.
4.1. Indexación de imágenes histológicas
En el caso de imágenes histológicas no es posible realizar un análisis genérico similar al
usado en imágenes convencionales, donde se estudia la estructura global de la imagen, sino
que requiere analizar la distribución y presencia de pequeñas microestructuras texturales en la
imagen (necrosis, mucus…) y la composición de estructuras de orden superior compuestas a
partir de dichas estructuras (tipos de tejidos, glándulas…). El análisis de las imágenes debe
establecer correctamente las relaciones entre las características visuales perceptivas y su
relevancia clínica, al igual que se ha aplicado en otros campos [14].
La indexación de las imágenes es un proceso complejo que habitualmente se realiza en varias
etapas, y tiene como objetivo encontrar el mínimo número de características que mejor
puedan representar la información de cada imagen. La imagen se divide en subregiones, que
permiten analizar las características y variaciones locales por separado. A continuación se
ejecutan algoritmos que extraen las características de la región y que son utilizados para crear
la firma (o descriptor) de la misma. Estos algoritmos están destinados a extraer diferentes
características, como son el color, la textura, o bordes y contornos. Después de estas
conversión se realizan cálculos básicos como la Media, la Varianza o el Histograma. En
cuanto a las características de textura, se extraen utilizando operadores como el Local Binary
Pattern, matrices de co-ocurrencia o Tamura (entre otros), ya que tienen en cuenta la
información de los pixeles vecinos al que se quiere calcular, y donde se asignan diferentes
pesos dependiendo de lo que se quiera medir. Por otro lado, el análisis de las características de
ejes y bordes se puede realizar utilizando operadores basados en el gradiente de la imagen o
wavelets.
El procedimiento total de indexación se ilustra en la Figura 1. En primer lugar, un conjunto de
descriptores multi-escala se utilizan para describir matemáticamente e integrar la información
visual contenida en cada uno de los niveles de detalle de la imagen (sub-elementos,
agrupaciones, y arquitectura). Estos descriptores configuran una descripción de región (Paso
2), y son utilizados para crear un diccionario de palabras visuales, que se obtiene mediante la
utilización de técnicas de agrupamiento conocidas como Clustering. Entonces, los
descriptores de región se procesan de nuevo y se obtienen unos nuevos descriptores que
indican la relación de cada elemento respecto al diccionario (Paso 3). Finalmente, se realiza
una descripción de más alto nivel de cada una de las regiones haciendo uso de histogramas,
midiendo la aparición de cada tipo de palabra del diccionario en cada una de las regiones de la
imagen (Paso 4). Como resultado, cada imagen se describe utilizando una serie de índices
numéricos que se representan en un vector de N números, completando el proceso de
indexación.
Figura 1: Metodología implementada en la indexación de las imágenes
4.2. Búsqueda por similitud visual
El objetivo del proceso de búsqueda es el de recuperar aquellas imágenes previamente
indexadas que presenten una similitud mayor a la imagen proporcionada por el usuario. Para
que sea posible la obtención de resultados de búsqueda apropiados, es necesario haber
realizado previamente una indexación adecuada, ya que el motor de búsqueda trabaja
directamente con los índices generados en este proceso. Asimismo, cuando se produce una
nueva búsqueda, la imagen proporcionada es analizada siguiendo el mismo proceso de
generación de su propio descriptor. Este descriptor es entonces comparado con el de las
imágenes que forman parte de la base de datos.
El método más utilizado para la localización de los índices con mayor similitud, está basado
en el uso de distancias comunes entre el índice de la imagen de búsqueda y el conjunto de
vectores indexados, localizando las más cercanas según los valores de distancia. Esta técnica
es una de las aproximaciones más efectivas, ya que realiza un análisis exhaustivo de todo el
espacio, por lo que es posible encontrar las imágenes similares de forma muy precisa.
Adicionalmente, se puede incrementar la precisión modificando la métrica utilizada
empleando la técnica conocida como Metric Learning. De esta forma, utilizando algoritmia
basada en esta técnica (ICML), se hace posible adaptar una métrica genérica de Mahalanobis
al caso especial y a los descriptores visuales con lo que se está trabajando. Los resultados de
las anotaciones proporcionadas por los patólogos se han incorporado en el sistema mediante
esta técnica de aprendizaje, ya que permite integrar el conocimiento y variabilidad humana a
la definición de similitud, haciendo que los resultados mostrados sean los esperados por los
patólogos. De cualquier modo, tanto en este caso como en el anterior, la complejidad de la
búsqueda es lineal O(n), lo que no resulta útil cuando se trabaja con grandes cantidades de
imágenes. Por ello, empleamos técnicas basadas en KD-Tree para realizar un cálculo de
distancias aproximado, pero fiable, que permite aumentar la escalabilidad del sistema.
5. Análisis de resultados
Para analizar los resultados, y dado que no hay estudios de referencia, se ha decidido
comparar los resultados de la precisión del sistema con la precisión genérica del estado del
arte en búsquedas textuales en internet [15]. Aunque a priori es conocido que la dificultad
inherente a las muestras histológicas es mayor que la de las imágenes convencionales.
La precisión se entiende como el porcentaje de imágenes correctas devueltas entre las N
primeras imágenes. En nuestro caso se ha utilizado N=10. Para su validación se han utilizado
subconjuntos de test de los análisis realizados por los mismos patólogos. Los intervalos de
confianza obtenidos para esta precisión (p_value=0.05) fueron los siguientes:
Estado del arte (búsqueda textual)
0.698
Biopool (sin metric learning)
0.641 [0,615
0,666]
Biopool (metric learning)
0.743 [0,721
0,767]
Tabla 1: Intervalos de confianza en el análisis de la precisión
Como se puede apreciar, los resultados obtenidos mediante la utilización de los descriptores
de imagen (sin metric learning) se aproximan a los del estado del arte de la tecnología de
búsqueda de texto genérica en internet, que es mucho menos restrictiva en cuanto a
requerimientos de búsqueda. Sin embargo, con la utilización de las técnicas basadas en metric
learning se obtienen valores superiores de precisión, siendo validados por las propias
decisiones de similitud realizadas por los propios patólogos.
Asimismo, el funcionamiento y los resultados de la plataforma se pueden ver en el video que
se referencia en el artículo: http://www.computervisionbytecnalia.com/es/2013/10/biopoolproporcionando-busqueda-inteligente-por-imagen-a-la-comunidad-medica/ .
6. Conclusiones y trabajo futuro
En este trabajo se expone un sistema que permite la recuperación de imágenes visualmente
similares a las imágenes histológicas de Hematoxilina-Eosina almacenadas en diferentes
biobancos. El sistema modela el proceso utilizado por patólogos para la recuperación de
imágenes similares en base a los criterios clínicos de los propios patólogos, y se integra en el
sistema mediante técnicas de Metric Eearning, incluyendo una descripción de la imagen
multi-escala que permite combinar desde los detalles minúsculos hasta la arquitectura en un
descriptor compacto. Los resultados de precisión obtenidos resultan superiores a las
precisiones en otros campos como es la búsqueda por internet generalista (Tabla 1).
Este trabajo permite potenciar el papel de los biobancos, su conectividad y el
aprovechamiento de las muestras disponibles, permitiendo que cualquier investigador localice
de forma precisa las muestras deseadas en cualquier biobanco conectado. Además, se amplía
el campo de acción de los biobancos permitiendo su uso para ayuda al diagnóstico y docencia.
Como trabajo futuro se considera el escalado del sistema a un número mucho mayor de
biobancos (20 biobancos de 6 países han expresado su interés), añadir nuevas patologías,
además de incluir de imágenes tratadas con inmunohistoquímica, el historial clínico y datos
genéticos.
Agradecimientos
Este trabajo ha sido parcialmente financiado por el proyecto Biopool bajo la supervisión del
Séptimo Programa Marco de la Comisión Europea (grant agreement 296162). Agradecemos a
todo el consorcio Biopool, por su soporte y colaboración para realizar este trabajo.
Referencias
[1]
H. Müller, N. Michoux, D. Bandon, y A. Geissbuhler. “A Review of Content-based Image Retrieval Systems in
Medical Applications-clinical Benefits and Future Directions”. International Journal of Medical Informatics 73, nº 1,
1–24 (2004).
[2] P. Aggarwal, H.K. Sardana y G. Jindal. “Content Based Medical Image Retrieval: Theory, Gaps and Future
Directions”. International Journal on Graphics, Vision and Image Processing 9, nº 2, 27—37 (2009).
[3] M. Everingham, L. Van Gool, C. K. I. Williams, J. Winn, y A. Zisserman. “The Pascal Visual Object Classes (VOC)
Challenge”. International Journal of Computer Vision 88, nº 2, 303–338 (June 2010).
[4] T. Dean, M. Ruzon, M.Segal, J. Shlens, S. Vijayanarasimhan, y J. Yagnik. “Fast, Accurate Detection of 100,000 Object
Classes on a Single Machine”. In Proceedings of IEEE CVPR Conference (2013).
[5] J. C. Caicedo, y E. Izquierdo. “Combining low-level features for improved classification and retrieval of histology
images”. Transactions on Mass-Data Analysis of Images and Signals 2, nº 1, 68–82 (2010).
[6] J. C. Caicedo, A. Cruz, y F. González. “Histopathology image classification using bag of features and kernel
functions”. Artificial Intelligence in Medicine, 126–135 (2009).
[7] J. Vanegas, J. C. Caicedo, F. González, y E. Romero. “Histology image indexing using a non-negative semantic
embedding”. Medical Content-Based Retrieval for Clinical Decision Support, 80–91 (2012).
[8] A. Cruz-Roa, J. C. Caicedo, y F. A. González. “Visual pattern mining in histology image collections using bag of features”.
Artificial Intelligence in Medicine 52, nº 2, 91–106 (2011).
[9] J. Wang, Y. Li, Y. Zhang, C. Wang, H. Xie, G. Chen, y X. Gao. “Bag-of-features based medical image retrieval via
multiple assignment and visual words weighting”. IEEE transactions on medical imaging 30, nº 11, 1996–2011 (2011).
[10] Sitio Web proyecto Biopool: http://www.biopoolproject.eu/.
[11] J. Eaden, K. Abrams, H. McKay, H. Denley, y J. Mayberry. “Inter-Observer Variation between General and Specialist
Gastrointestinal Pathologists When Grading Dysplasia in Ulcerative Colitis”. The Journal of Pathology 194, nº 2, 152–
157 (2001).
[12] E. M. Voorhees y L. P. Buckland. Proceedings of the Eighteenth Text Retrieval Conference, NIST Special Publication
500-278, 17-20 (2009).
[13] B. Carterette, V. Pavlu, E. Kanoulas, J. A. Aslam, y J. Allan. "If i had a million queries". In Advances in Information
Retrieval, 288-300 (2009).
[14] S. Rodriguez-Vaamonde, L. Torresani y A. Fitzgibbon. “What Can Pictures Tell Us About Web Pages? Improving
Document Search using Images”. Proceedings of the 36th international ACM SIGIR conference, 849-852 (2013).
[15] S. Büttcher, y al. "Reliable information retrieval evaluation with incomplete and biased judgements". Proceedings of the
30th annual international ACM SIGIR conference (2007).