Download Presentación

Procesamiento de
Imágenes Basado en
Periodicidad:
el método y sus ventajas,
avances, y perspectivas
Dr. Georgii Khachaturov
UAM-Azcapotzalco
http://newton.uam.mx/xgeorge/
Comentario histórico
• La idea del método fue
– Inventada y descubierta en unos experimentos
computacionales en 1991 (Khachaturov).
– Fundada teóricamente y publicada por primera
vez en 1995 (Khachaturov).
– Usada para construcción de nuevas estructuras de
datos para representación de objetos en imágenes
en 2004 (Khachaturov, Moncayo-Muños).
– Aplicada para determinación de Flujo Óptico
(Optical Flow) en 2010 (Khachaturov, no publicada
todavía).
Fundamentos teóricos:¿Cómo checar si una
función es periódica?(Khachaturov, 1995)
TP
ω ( f , δ , T , P) = TP1 ∫ f ( x)e
0
−i (1+δ ) x 2Pπ
dx,
• Si f es periódica en [0, TP] con el periodo P, se
espera que |ω| alcanza máximo para δ=0.
• Adicionalmente, para δ=1/T y δ=−1/T se
cumplen
| ω ( f ,1 / T , T , P ) |= 0; | ω ( f , −1 / T , T , P ) |= 0.
¿Cómo una localidad invariante
a desplazamiento genera
una función periódica?
Procesamiento multi-escala basado en periodicidad
genera nuevas estructuras de datos relacionadas a
objetos de imagen
¿Qué informativos son las
estructuras construidas por el
método?
• Imagen original e imagen sintética restaurada
por las estructuras => ver la siguiente
transparencia
¿Que es Flujo Óptico (FO)?
• Flujo Óptico es un campo de vectores que
representa velocidades de cada pixel en su
movimiento de una imagen a otra en una
película
Un ejemplo de Flujo Óptico
•
¿Para que sirve FO?
•
•
•
•
•
•
Compresión de archivos de video
Detección y análisis de movimiento
Sistemas de seguridad
Detección de obstáculos en camino
Medicina
… etc.
Fundamentos de FO
• Ecuación básica de FO (Brightness Constancy
Equation, BCE)
I ( x, y, t ) = I ( x + u, y + v, t + 1)
• Optical Flow Constraint Equation (OFCE)
u
∂I
∂x
+v
∂I
∂y
+
∂I
∂t
=0
Métodos conocidos de
computación de FO
• Métodos diferenciales (Horn and Schunck ,
Lucas and Kanade ) usan OFCE como punto
de pártida;
• “Matching”(Anandan) usan BCE;
• Métodos varacionales (Zimmer et al.;
Werlberger ) OFCE, cálculo variacional;
• Métodos espectrales (Heeger;Fleet and
Jepson ) buscan vector de estimación como
un punto en espacio espectral;
¿Cómo FO induce periodicidad?
Lógica de búsqueda local de FO
basada en periodicidad
1.Input: I(x,y,t); a
location in the image
frame; a priori
domain of allowed
velocities Vr
2. Construct three functions, {ϕ−1(α), ϕ0 (α), ϕ1(α)} , defined on Vr.
Vr
3. Search for extrema: Find inside Vr all minima for
ϕ−1(α) and ϕ1(α) , and all maxima for ϕ0 (α) .
5. Fuse three extrema of
the best combination
into a single estimate
4. Select the best combination of extrema of the three
respective functions: This operation is required if any of the
above functions has several extrema.
Cada vector local de FO se construye como el
punto donde tres funciones especificas
simultaneamente tienen extremos
Propiedades de FO básado en
periodicidad (I)
• Precisión razonablemente alta (para sucesión
de benchmarking “Yosemite”, las características
logradas actualmente (no finales todavía) son
– End-point error 0.16 -> lugar 31 de 60 métodos
– A50 error 0.075 -> lugar de 8 a 14 de 60 métodos
– A75 error 0.13 -> lugar de 8 a 10 de 60 métodos
– A95 error 0.34 -> lugar de 8 a 9 de 60 métodos
Propiedades del método de
computación de FO básado en
periodicidad (II)
• Tolerancia a ruido (¿sin precedentes?)
Consecuencia de tolerancia al ruido: posibilidad de
bajar en cientos veces exposición de captura de
imágenes->
• Abre la posibilidad de desarrollar tecnología de la
tomografía preventiva
• Sistemas de visión nocturna
Propiedades de FO básado en
periodicidad (III)
• Dependencia de características principales de
ruido
Ruido (%)
End-point
A50
error(pix/frame pix/frame
)
A75
pix/frame
A95
pix/frame
0
0.161
0.073
0.133
0.34
10
0.20
0.079
0.161
0.40
20
0.28
0.098
0.20
0.49
Un cuadro de Yosemite
y su Flujo Óptico real
Flujo Óptico real y
encontrado sin ruido
•
Flujo Óptico real y
encontrado para
ruido 10%
Flujo Óptico real y
encontrado para
ruido
20%
•
Conclusión
• Se ha presentado un método “novedoso” de procesamiento
de imágenes basado en periodicidad.
• El método busca argumentos donde tres funciones
simultáneamente alcanzan unos extremos. En ese sentido, el
criterio difiere de todos métodos anteriores que buscan un
solo extremo.
• Para imágenes ordinarios el método permite una
transformación novedosa “imagen-a-estructura de datos”.
Esas estructuras son útiles para análisis semántico de
imágenes.
• Para series de imágenes, el método implica novedosa
construcción de Flujo Óptico
• Tolerancia al ruido del método permite reducir en cientos
veces la exposición de imágenes, lo que abre nuevos
horizontes para aplicaciones en medicina y visión nocturna.
Gracias por su atención
Dr. Georgii Khachaturov
UAM-Azcapotzalco, Departamento de Sistemas
http://newton.uam.mx/xgeorge/