Download PDF, Manual de usuario

ENIT 2007-1012
Tecnologías para la Creación y Gestión Automatizada de Contenidos
Audiovisuales Inteligentes
Manual de utilización del Graphic
Annotation Tool (GAT) para secuencias
de vídeo
i3media No. Identificación: CENIT 2007-1012
Nivel de Confidencialidad: confidencial, restringido a Consorcio i3media y CDTI
Título del documento:
Manual de utilización del Graphic Annotation Tool (GAT) para
secuencias de vídeo
Autor:
Neus Camps i Khristina López
Versión
1
Sumario:
El presente documento presenta el manual necesario para
comprender y utilizar todas las funcionalidades de la herramienta de
segmentació semi-automática y anotación de objetos en una
secuencia de vídeo desarrollada por el GPI de la UPC.
Palabras clave:
2010 E2.2.3.1 Manual de utilización del Graphic
Annotation Tool (GAT)
ENIT 2007-1012
Tabla de contenidos
1 INTRODUCCIÓN.......................................................................................................................3
2 INSTALACIÓN Y EJECUCIÓN DE GAT..................................................................................6
2.1 HERRAMIENTAS DE PROCESADO DE LA IMAGEN Y VÍDEO .......................................................................................6
2.2 INSTALACIÓN DE JAVA.................................................................................................................................6
2.3 EJECUCIÓN DE GAT CON ANT...................................................................................................................6
3 INTERFAZ DE USUARIO.........................................................................................................8
3.1 BARRA DE MENÚS......................................................................................................................................8
3.1.1 Menú Archivo.............................................................................................................................8
3.1.2 Menú Ayuda...............................................................................................................................9
3.2 PANEL DE NAVEGACIÓN SEMÁNTICA..............................................................................................................11
3.2.1 Árbol semántico.......................................................................................................................11
3.2.2 Campo de autocompletación de palabras...............................................................................11
3.3 PERSPECTIVA ANOTADOR DE SECUENCIAS DE VÍDEO.........................................................................................12
3.3.1 Barra de herramientas principal...............................................................................................12
3.3.2 Panel de secuencia de imágenes............................................................................................13
3.3.3 Panel de seleccion del objecto a seguir..................................................................................14
3.3.4 Panel de segmentación interactiva..........................................................................................15
3.4 PERSPECTIVA EXPLORADOR DE INSTANCIAS....................................................................................................17
4 ANOTACIÓN...........................................................................................................................18
4.1 GENERACIÓN DE ONTOLOGÍAS MPEG-7/XML............................................................................................18
4.1.1 Árbol de edición.......................................................................................................................19
4.1.2 Barra de herramientas.............................................................................................................19
4.2 CICLO DE ANOTACIÓN...............................................................................................................................20
4.2.1 Técnicas de segmantació interactiva.......................................................................................23
4.2.1.1 Navegación por el BPT.........................................................................23
4.2.1.2 Navegación avanzada por el BPT..........................................................25
4.3 VISUALIZACIÓN
DE INSTANCIAS
....................................................................................................................26
4.4 ESCRITURA DE ANOTACIONES A DISCO...........................................................................................................26
2010 E2.2.3.1 Manual de utilización del Graphic
Annotation Tool (GAT)
ENIT 2007-1012
1 Introducción
Este documento presenta el manual de usuario necesario para comprender y utilizar todas las
funcionalidades de la herramienta de anotación manual (GAT, Graphic Annotation Tool)
extendida a vídeo y desarrollada por el GPI de la UPC.
La herramienta proporciona una interfaz gráfica que permite la segmentación semi-automática
y la posterior anotación de objetos en movimiento de una secuencia de fotogramas
consecutivos extraídos previamente de un vídeo.
Figura 1: GAT extendido a video
La aplicación necesita la secuencia de imágenes en cualquier formato estándar (JPG, PNG...)
como datos de entrada. La anotación se realiza a partir de una lista pre-definida de palabras
clave (ontología de clases semánticas). Las clases semánticas se asocian a los objetos en
movimiento. Cada clase semántica se caracteriza por una etiqueta de texto y un identificador
numérico. La versión actual permite la lectura de ontologías en formato MPEG-7/XML o OWL
(Ontology Web Language). La interfaz también incluye un editor de ontologías en formato
MPEG-7/XML.
Para un determinado objeto que aparezca en la secuencia de imágenes, la anotación consiste
en la creación de una instancia de clase semántica a escala video. Por ejemplo, si la ontología
contiene la clase semántica “camiseta” y en las imágenes aparecen dos camisetas que son de
interés, dichas camisetas se representarán como “VideoInstance1” y “VideoInstance2”. Si un
mismo objeto aparece en varias escenas, no se crea una instancia para cada escena donde
aparezca. Una instancia a nivel de vídeo siempre hace referencia a un mismo objeto en
movimiento dentro de un vídeo y representa un conjunto de fotogramas agrupados en escenas
que pueden o no contener el objeto. Así, se distingue entre escenas positivas y escenas
negativas. Las escenas positivas son un conjunto de fotogramas que contienen el objeto
semántico, mientras que las negativas son un conjunto de fotogramas que no contienen el
objeto. Al dividir la secuencia en escenas positivas y negativas distinguimos claramente
cuantas veces aparece el objeto en dicha secuencia.
Para cada fotograma de la secuencia se crea también una instancia de la misma clase
semántica, pero a escala imagen. Para los fotogramas que contiene el objeto y que por lo tanto
pertenecen a una escena positiva, se crean instancias positivas, mientras que para los que no
2010 E2.2.3.1 Manual de utilización del Graphic
Annotation Tool (GAT)
ENIT 2007-1012
contienen el objeto se crean instancias negativas. La siguiente figura muestra un ejemplo para
entender el concepto:
Figura 2: Ejemplo de anotación
En el ejemplo la secuencia tiene 5 imágenes. Se ha anotado dos veces el mismo concepto,
obteniendo las instancias ”VideoInstance6” y “VideoInstance12”. Esto significa que en la
secuencia aparecen dos camisetas distintas. La primera camiseta aparece en la primera y la
última imagen, dividiendo la secuencia en tres escenas. ”VideoInstance6” esta representada
por 5 instancias a nivel de imagen: ”Instance1” positiva; ”Instance2”, ”Instance3” e ”Instance4”
negativas; ”Instance3” positiva. La segunda camiseta aparece en las tres primeras imágenes,
dividiendo la secuencia en dos escenas. ”VideoInstance12” esta representada por 5 instancias
a nivel de imagen: ”Instance7”, ”Instance8” e ”Instance9” positivas; ”Instance10” e “Instance11”
negativas.
El archivo de salida de GAT corresponde a una sesión de anotación y también se expresa en
formato MPEG-7/XML. Para cada imagen de la secuencia que contiene el objeto, se
especifican los siguientes datos requeridos por la empresa contratante:
•Ruta de la imagen binaria que representa la máscara del objeto (objeto de color blanco).
•Ruta de la imagen binaria que representa el contorno del objeto (contorno de color blanco).
•Rectángulo que contiene el objeto. En concreto (coordenadas del vértice superior izquierdo y
el vértice inferior derecho del rectángulo).
Desde la interfaz gráfica, también es posible guardar la imagen binaria que representa la
máscara del objeto.
El GAT es una aplicación implementada en Java y su ejecución solo está condicionada a la
instalación de Java en el sistema operativo, que podrá ser MacOSX, Microsoft Windows o
GNU/Linux. En la presente entrega el paquete de distribución está preparado para ejecutar
GAT sobre la plataforma Windows, tanto en versiones de 32 como 64 bits.
Internamente GAT utiliza dos herramientas de procesado de imagen y video también
desarrolladas por el GPI.
Los vídeos que aparecen en este documento son propiedad de TVC, Televisió de Catalunya,
SA, contienen copyright y han sido proporcionados por TVC con finalidad exclusiva de
investigación para el Proyecto i3MEDIA.
2010 E2.2.3.1 Manual de utilización del Graphic
Annotation Tool (GAT)
ENIT 2007-1012
2 Instalación y ejecución de GAT
El paquete de distribución de Gat extendido a secuencias de vídeo consiste en el siguiente
directorio:
Gat
|
+--- COPYRIHT, LICENSE, README //Información básica
|
+--- build.xml
//Archivo de compilación Ant
|
+--- docs
//Manual de usuario
|
+--- lib
//Librarias externas (ficheros *jar)
|
+--- bin
// Classes compiladas de Java (ficheros *class)
|
+--- tools
// Herramientas de procesado de imagen y video (ficheros *exe para
//Windows).
|
+--- install
// Programa para instalar las librerías necesarias para ejecutar los
// ficheros *exe.
2.1 Herramientas de procesado de la imagen y vídeo
Los algoritmos de procesado de la imagen y vídeo se encuentran en el directorio /Gat/tools.
bpt_creation.exe es la herramienta que realiza la segmentación de imágenes en regiones, así
como
su
representación
mediante
un
árbol
jerárquico
de
particiones.
fgseg_movcam_SCGMM.exe es la herramienta que realiza la segmentación del objeto en el
resto de imágenes de la secuencia.
La plataforma Windows requiere de la instalación de la librería ImageMagick para ejecutar
dichas herramientas. Para su instalación, vaya al directorio /Gat/install/, ejecute el fichero
ImageMagick-Installer.exe y siga las instrucciones de instalación. La librería ImageMagick se
instalará en su equipo.
2.2 Instalación de Java
2.3 Ejecución de GAT con ANT
Al entregarse el código fuente compilado de GAT, el programa puede ejecutarse con la
herramienta Apache ANT. Se trata de una herramienta usada en programación para la
realización de tareas mecánicas y repetitivas, normalmente durante la fase de compilación y
construcción. Es similar a Make pero desarrollado en lenguaje Java y requiere la plataforma
Java. Apache ANT tiene la ventaja de no depender del sistema operativo, siendo idónea como
solución multi-plataforma. Además es una herramienta muy usada en la industria.
Para ejecutar GAT con Apache ANT primero debe descargarse e instalar la última versión del
binario disponible en http://ant.apache.org.
2010 E2.2.3.1 Manual de utilización del Graphic
Annotation Tool (GAT)
ENIT 2007-1012
Una vez haya confirmado la correcta instalación de Apache ANT, ejecute el programa con la
siguiente orden:
ant Gat
Véase el punto 3.1 para saber como indicar en GAT la ruta de las herramientas de procesado
de la imagen y video.
2010 E2.2.3.1 Manual de utilización del Graphic
Annotation Tool (GAT)
ENIT 2007-1012
3 Interfaz de usuario
Las Figura 4 y Figura 5 muestran dos capturas de pantalla diferentes de la interfaz de usuario
de GAT para su extensión a video, formada por una barra de menús en el margen superior de
la ventana, una barra de herramientas principal debajo, y un panel central. El panel central
puede contener la perspectiva Anotador de secuencias de vídeo o la perspectiva Explorador
de Instancias.
Figura 3: Ventana principal del interfaz de usuario
3.1 Barra de menús
La barra de menú contiene 3 menús, Archivo, Demos y Ayuda, cada uno con varias opciones.
Las opciones inactivas aparecen en gris.
3.1.1 Menú Archivo
El menú Archivo contiene las opciones para la lectura y escritura de ontologías, además de la
configuración de las preferencias de la aplicación.
Nuevo
Opción para empezar una nueva sesión de anotación. Muestra una ventana para crear o
importar una ontología desde un fichero local o una dirección Web (URL). La opción para crear
una nueva ontología abre el editor de ontologías.
Nuevo
Abrir
Opción que permite seleccionar una un fichero de anotación en el sistema local.
2010 E2.2.3.1 Manual de utilización del Graphic
Annotation Tool (GAT)
ENIT 2007-1012
Abrir
Guardar
Permite guardar la anotación que se está realizando.
Guardar
Preferencias
Esta opción abre una ventana de configuración. Está compuesta por dos pestañas. La primera
pestanya, General, permite cambiar el idioma de la aplicación e indicar el directorio por defecto
de las ventanas Abrir y Guardar fichero. También permite cambiar indicar el modo de trabajo:
local o remoto. En la presenta entrega, solo es posible trabajar en modo local. La segunda
pestaña, Herramientas Externas, permite indicar las rutas a la herramienta de procesado de
imagen (Path to Partiton Tree Builder) y la herramienta de procesado de video (Path to Object
Tracker).
Preferencias
Figura 4: Ventana de preferencias
3.1.2 Menú Ayuda
El contenido del menú Ayuda es Acerca de GAT y Manual del GAT Online.
Acerca de GAT
2010 E2.2.3.1 Manual de utilización del Graphic
Annotation Tool (GAT)
ENIT 2007-1012
Muestra un diálogo que contiene información relacionada con el desarrollo de GAT.
Acerca de GAT
Enlace al Manual de Usuario en el sitio web de GAT
2010 E2.2.3.1 Manual de utilización del Graphic
Annotation Tool (GAT)
ENIT 2007-1012
3.2 Panel de navegación semántica
El Panel de navegación semántica permite la exploración de instancias de clase semántica.
Dicho panel se encuentra en la parte derecha de las perspectivas Anotador de secuencias de
vídeo y Explorador de Instancias. Contiene una barra de herramientas y un campo de
autocompletación de palabras en la parte superior y un panel debajo que contiene el árbol
semántico. Con un clic con el botón derecho sobre el panel aparece un menú desplegable. La
Figura 10 muestra una captura del panel.
Figura 5: Panel de navegación
semántica
3.2.1 Árbol semántico
El árbol semántico muestra los resultados de la sesión de anotación actual. Contiene La raíz
del árbol representa todas las clases contenidas en una ontología y su etiqueta de texto es el
nombre de la ontología (nombre del fichero). Los nodos de segundo nivel representan las
clases semánticas y su etiqueta es el nombre de la clase. Los nodos de tercer nivel
representan instancias.
3.2.2 Campo de autocompletación de palabras
Para una mayor comodidad del usuario, se ha incluido un campo de autocompletación de
palabras que permite hacer búsquedas sobre las clases del árbol. Cada vez que se escribe una
letra se completa automáticamente una palabra de las disponibles que coincida con las letras
escritas. Si existe más de una palabra que se ajusta a las letras escritas, las palabras
disponibles se muestran por ordena alfabético en una lista desplegable. Si no existe ninguna
palabra, se emite un pitido.
2010 E2.2.3.1 Manual de utilización del Graphic
Annotation Tool (GAT)
ENIT 2007-1012
Figura 6: Autocompletación de palabras
Para aceptar una sugerencia apriete el botón Intro en el momento que aparece la sugerencia o
bien selecciónela de la lista. La correspondiente ontología o clase quedará seleccionada en el
árbol. Si no acepta ninguna sugerencia puede continuar con la escritura sin problemas. Las
sugerencias son presentadas en forma de texto sombreado. La Figura 6 muestra un ejemplo de
autocompletación.
3.3 Perspectiva Anotador de secuencias de vídeo
La perspectiva Anotador de secuencias de vídeo permite realizar la segmentación semiautomática y la posterior anotación de un objeto en secuencias imágenes. Está compuesto por
una barra de herramientas en la parte superior y el Panel de navegación semántico en la parte
derecha. La zona central la pueden ocupar tres paneles distintos: Panel de secuencia de
imágenes, Panel de selección del objeto a seguir, Panel de segmentación interactiva.
3.3.1 Barra de herramientas principal
La barra de herramientas contiene los componentes que permiten la selección del área de
soporte. Los botones inactivos aparecen en gris.
Nuevo
Opción para empezar una nueva sesión de anotación. Muestra una ventana para crear o
importar una ontología desde un fichero local o una dirección Web (URL). La opción para crear
una nueva ontología abre el editor de ontologías.
Nuevo
Abrir
2010 E2.2.3.1 Manual de utilización del Graphic
Annotation Tool (GAT)
ENIT 2007-1012
Opción que permite seleccionar una un fichero de anotación en el sistema local.
Abrir
Guardar
Permite guardar la anotación que se está realizando.
Guardar
Editor de Ontologías
Permite abrir el panel de creación de ontologías MPEG-7/XML y modificarlas.
Editor de Ontologías
Añadir Imagen
Permite añadir una o varias imágenes que forman parte de una secuencia de vídeo para ser
anotadas
Añadir imagen
3.3.2 Panel de secuencia de imágenes
Este panel visualiza la secuencia de imágenes a anotar y sus instancias. Es el panel que
aparece por defecto en la zona central.
Figura 7: Perspectiva Vídeo con el panel Secuencia por defecto
2010 E2.2.3.1 Manual de utilización del Graphic
Annotation Tool (GAT)
ENIT 2007-1012
3.3.3 Panel de seleccion del objecto a seguir
Este panel muestra launa imagen previamente seleccionada por el usuario durante el ciclo de
anotación y llamada imagen de partida. En dicho panel el usuario debe marcar el contorno del
objeto deseado dibujando un rectángulo.
Contiene una barra de herramientas en la parte superior y abajo siempre se muestra la imagen
de partida.
Figura 8: Perspectiva Vídeo con el panel Bounding Box
3.3.4 Panel de segmentación interactiva
Este panel permite segmentar el objeto a seguir en la imagen de partida. El objetivo es la
creación de una máscara binaria del objeto a seguir. Para la extracción del objeto se utilizan
técnicas que permiten seleccionar regiones conexas hasta obtener la instancia que mejor se
adapta al objeto deseado.
Contiene una barra de herramientas en la parte superior y abajo siempre se muestra la imagen
de partida.
2010 E2.2.3.1 Manual de utilización del Graphic
Annotation Tool (GAT)
ENIT 2007-1012
Figura 9: Panel Selección Objeto
Botones Aumentar, Disminuir y Tamaño Original
Aumenta, disminuye y devuelve al valor original el tamaño de visualización de la imagen,
respectivamente.
Aumentar
Disminuir
Tamaño original
Barra deslizante Transparencia de la máscara
Cambia la transparencia de la máscara de revestimiento entre el 20% y el 80%.
Transparencia de la máscara
Lista desplegable Color de la máscara
Lista desplegable para seleccionar un color para la máscara de revestimiento. Hay 9 colores
disponibles.
Color de la máscara
Botón Borrar
2010 E2.2.3.1 Manual de utilización del Graphic
Annotation Tool (GAT)
ENIT 2007-1012
Borra el área de soporte seleccionada.
Borrar
Botón Navegación por el BPT
Activa la técnica que permite seleccionar regiones como área de soporte de la instancia.
Navegación por el BPT
Botó Navegación avanzada por el BPT
Activa la técnica mejorada que permite seleccionar regiones como área de soporte de la
instancia.
Navegación avanzada por el BPT
3.4 Perspectiva Explorador de instancias
La perspectiva Explorador de instancias permite revisar todas las instancias de la sesión de
anotación actual. Contiene el Panel de navegación semántica a la derecha, un Panel de
exploración de instancias a escala imagen en la parte central y un Panel de explorador de
instancia a escala vídeo debajo. Seleccionando una clase en el árbol semántico, se muestran
todas sus instancias en el Panel de exploración de instancias a escala vídeo. Se muestra solo
la primera instancia a escala imagen. Al seleccionar una de las instancias, todas las instancias
a escala imagen que la componen se muestran en el Panel exploración de instancias a escala
imagen.
Es posible eliminar una instancia a escala vídeo seleccionando la opción Eliminar en la barra
de herramientas.
2010 E2.2.3.1 Manual de utilización del Graphic
Annotation Tool (GAT)
ENIT 2007-1012
4 Anotación
EL primer paso para empezar a hacer anotaciones es crear un nuevo fichero de anotación
seleccionando el icono Nuevo en la barra de herramientas principal o en el menú Archivo.
Como se ha explicado en la introducción, será necesaria una ontología que describa los
conceptos semánticos que se quieran anotar en las secuencias de vídeo.
GAT permite importar un fichero de ontología del disco local o a partir de una URL, o bien
generar una de nueva.
Figura 10: Ventana Nueva Anotación
Las ontologías importadas pueden tener formato MPEG-7/XML o OWL. Las generadas con
GAT tendrán formato MPEG-7/XML.
4.1 Generación de Ontologías MPEG-7/XML
Escogiendo la opción Generar Nueva Ontología nos aparecerá el panel de la siguiente figura:
2010 E2.2.3.1 Manual de utilización del Graphic
Annotation Tool (GAT)
ENIT 2007-1012
Figura 11: Generación de una nueva ontología
Contiene una barra de herramientas y un árbol de edición.
4.1.1 Árbol de edición
El árbol de edición muestra verticalmente la ontología que se está editando. La raíz del árbol
representa toda la ontología. Los nodos descendientes representan las clases y a su etiqueta
de texto es el nombre de la clase.
Solo se permite la selección de un nodo a la vez. Para seleccionar un nodo haga clic encima
con el botón izquierdo del ratón.
4.1.2 Barra de herramientas
La barra de herramientas contiene los botones para la creación de ontologías en formato
MPEG-7/XML .
2010 E2.2.3.1 Manual de utilización del Graphic
Annotation Tool (GAT)
ENIT 2007-1012
Nueva Clase
Opción activa solo cuando el nodo seleccionada en el árbol es la raíz asociada a la ontología.
Permite añadir una clase a la ontología. Aparece una ventana para introducir su etiqueta de
texto. Añade la clase como un nuevo nodo descendiente de la raíz.
Renombrar Clase
Opción activa solo cuando el nodo seleccionado en el árbol está asociado a una clase
semántica. Permite dar un nombre nuevo a la clase. Aparece una ventana para introducir el
nuevo nombre.
Eliminar clase
Opción activa solo cuando el nodo seleccionada en el árbol representa una clase semántica.
Permite eliminar la clase, eliminado el nodo.
Por último, el panel permite seleccionar un directorio para almacenar el fichero MPEG-7/XML
con la ontología creada.
4.2 Ciclo de anotación
Una vez creada o importada la ontología que define los conceptos semánticos que se
asociaran a los objetos, dichos conceptos se visualizarán en forma de árbol en el panel
derecho de la pantalla.
Seleccione la opción Añadir Imagen de la barra de herramientas principal para seleccionar los
archivos de tipo imagen que formaran parte de la secuencia de vídeo que desea anotar. La
imágenes de visualizarán en miniatura en el panel central (Panel de secuencia de imágenes):
2010 E2.2.3.1 Manual de utilización del Graphic
Annotation Tool (GAT)
ENIT 2007-1012
Figura 12: Panel de secuencia de imágenes y árbol con los conceptos semánticos
El ciclo de anotación es el siguiente:
1)Seleccione en el árbol la clase semántica que desa instanciar.
2)Seleccione la primera y la última de las miniaturas que componen una escena con el objeto a
seguir. Se dibujará un borde del color azul en las miniaturas deseadas.
Figura 13: Selección de una escena que contiene el objeto a seguir
2010 E2.2.3.1 Manual de utilización del Graphic
Annotation Tool (GAT)
ENIT 2007-1012
3)En este punto, debe escoger cual es la mejor imagen de las seleccionadas para extraer el
objeto deseado e inicializar el algoritmo de seguimiento que detectará el objeto en las
imágenes restantes de la escena seleccionada. Haga clic con el botón derecho sobre la imagen
de partida escogida. Se abrirá el Panel de selección del objeto a seguir.
Utilice los botones Amplia y Reduce para ampliar o reducir la imagen respectivamente. Si
desea cambiar la imagen de partida, puede volver al panel anterior con el botón Atrás.
4)Arrastrando el cursor, dibuje el rectángulo que mejor defina el contorno del objeto a seguir.
Haga clic con el botón derecho sobre la imagen para validar dicho rectángulo y abrir el Panel
de segmentación interactiva.
Figura 14: Selección del rectángulo que mejor definie el
contorno del objeto deseado
5)Vaya a la barra de herramientas y escoja una técnica de segmentación interactiva. Sitúe el
cursor sobre la imagen y comience la selección del área de soporte siguiendo los mecanismos
de la técnica escogida. Las técnicas de segmentación interactiva se describen con detalle en el
apartado 5.4.2.
Cuando inicie la selección, la imagen se revestirá con una máscara de color y transparencia
seleccionables des de la barra de herramientas. Seleccione el color y la transparencia más
adecuada según la imagen. Continúe con la selección del área de soporte hasta que se ajusta
a la instancia deseada.
La barra de herramientas incluye el botón Borrar que permite borrar la selección actual y
empezar de nuevo. Si cambia de técnica una vez iniciada la selección, el efecto es el mismo.
La máscara desaparece cuando se empieza de nuevo.
6)Valide la selección con un clic con el botón derecho sobre la imagen. Se volverá al panel
Secuencia, donde ahora se visualizaran también los resultados del algoritmo de seguimiento y
detección de objetos. Para cada fotograma de la escena seleccionada, el objeto detectado
quedará recubierto por una máscara transparente de color blanco.
2010 E2.2.3.1 Manual de utilización del Graphic
Annotation Tool (GAT)
ENIT 2007-1012
Figura 15: Resultados algoritmo de seguimiento y
detección
7)Si la secuencia contiene más escenas con el mismo objeto semántico, vuelva al punto 2.
También vuelva la punto 2 si los resultados no son buenos o cree que pueden mejorar. Hay dos
formas de mejorar el resultado obtenido. La primera, dividir la escena en subescenas. La
segunda, anotar el objeto fotograma por fotograma.
Cuando haya terminado con todas las escenas que contienen el objeto, seleccione el botón
Validar en la barra de herramientas de la parte superior par validar la anotación.
Figura 16: Nueva instancia a escala vídeo
4.2.1 Técnicas de segmantació interactiva
4.2.1.1 Navegación por el BPT
Para activar esta técnica haga clic sobre el botón Navegación por el BPT de la barra de
herramientas. La selección empieza con un clic con el botón izquierdo del ratón sobre un píxels
de la imagen. Después del clic, la región alrededor del pixel se seleccionará poniendo sus
píxels transparentes en la máscara de revestimiento y mostrando así los píxels de la imagen
original. Si la región seleccionada no se ajusta a la instancia deseada, puede seleccionar las
regiones conexas moviendo la rueda del ratón hacia abajo. Con cada movimiento seleccionará
una región conexa.
Las Figuras 9 y 21 muestran el mismo ejemplo con una región inicial seleccionada que después
se expande con el movimiento hacia abajo de la rueda del ratón hasta tener un conjunto
específico de regiones seleccionadas. La expansión de regiones puede crecer hasta ocupar la
imagen completa.
2010 E2.2.3.1 Manual de utilización del Graphic
Annotation Tool (GAT)
ENIT 2007-1012
Figura 17: Región inicial seleccionada
Figura 18: Selección que se ajusta a la instancia deseada
Si las regiones seleccionadas sobrepasan la instancia prevista, el movimiento hacia arriba de la
rueda del ratón permite la deselección de regiones, los píxels de la cuales se revisten con la
máscara. La deselección puede llegar hasta el punto de anclaje seleccionado inicialmente,
mostrando de nuevo toda la imagen revestida con la máscara, sin ninguna región seleccionada.
Es posible la conmutación de región seleccionada a no seleccionada haciendo clic con el botón
izquierdo del ratón sobre uno de sus píxels transparentes. Después del clic los píxels de la
región se revestirán con la máscara.
2010 E2.2.3.1 Manual de utilización del Graphic
Annotation Tool (GAT)
ENIT 2007-1012
4.2.1.2 Navegación avanzada por el BPT
Para activar esta técnica de selección haga clic sobre el el botón Navegación avanzada por el
BPT de la barra de herramientas. Este método es una versión mejorada de la navegación por
el BPT visto en el apartado 5.1.1. Facilita la selección de conjuntos de regiones conexas que
tengan un área en número de píxels muy parecido.
Al mover el cursor por encima de la imagen, la región alrededor de la posición donde se
encuentra el cursor pondrá sus píxels transparentes en la máscara de revestimiento, mostrando
los píxels de la imagen original. Con el movimiento hacia arriba y hacia abajo de la rueda del
ratón podrá mostrar y esconder las regiones conexas respectivamente, con la diferencia que en
este caso las regiones todavía no se tomarán como seleccionadas. Expanda las regiones hasta
tener el área deseada (Figura 19). Una vez definida el área de búsqueda, mueva el cursor fuera
de la región inicial. Las regiones anteriores se esconderán y se mostrara un conjunto nuevo de
regiones alrededor de la nueva posición. Este conjunto tendrá un área parecida a la de
búsqueda. De esta forma. moviendo el cursor por encima de la imagen, se irán mostrando
conjuntos de regiones conexas con un área parecida (Figura 20).
Figura 19: Conjunto de regiones
conexes que definen el área de
búsqueda
Figura 20: Conjunto de regiones
connexes con una àrea similar a la
de búsqueda
Cuando las regiones conexas se ajusten a la instancia o a una parte de la instancia deseada,
haga clic sobre la imagen con el botón izquierdo del ratón para seleccionarlas. Una vez hecha
la selección, el área de búsqueda se mantendrá, de manera que podrá continuar con el
proceso para encontrar más conjuntos de regiones conexas que tengan un tamaño parecido.
En el caso de querer definir una nueva área de búsqueda, con el movimiento hacia arriba y
hacia abajo de la rueda del ratón irá escondiendo regiones hasta tener una sola región, la
2010 E2.2.3.1 Manual de utilización del Graphic
Annotation Tool (GAT)
ENIT 2007-1012
asociada a la posición donde se encuentra el ratón. En este punto, puede volver a empezar con
la expansión de regiones o bien moverse hacia otro punto desde donde empezar la selección.
4.3 Visualización de instancias
El árbol semántico muestra las instancias a nivel de vídeo asociadas a la secuencia. En la
siguiente figura la clase semántica “semarreta rosa” contiene una instancia llamada
“VideoInstance12”. Para visualizar las instancias a nivel de imagen de VideoInstance12,
seleccione el nodo correspondiente en el árbol.
Para cada imagen de la secuencia que contiene el objeto, se ha creado una instancia a nivel de
imagen y positiva donde el objeto es recubierto por una máscara transparente de color verde.
Para las imágenes que no contienen el objeto se han creado instancias a nivel de imagen y
negativas, donde la imagen queda revestida totalmente por una máscara transparente de color
rojo. Las instancias positivas y negativas permiten distinguir claramente las escenas en que
aparece y no aparece el objeto y saber cuantas veces aparece el objeto en la secuencia.
Figura 21: Visualización de instancias
4.4 Escritura de anotaciones a disco
Haga clic sobre el botón Guardar de la barra de herramientas para guardar los resultados de la
sesión de anotación. Si es la primera vez, le aparecerá el diálogo Guardar, permitiéndole
escribir un nombre para el archivo y seleccionar su ubicación en el disco. Haga clic sobre el
botón Guardar como para cambiar el nombre del archivo y su ubicación.
2010 E2.2.3.1 Manual de utilización del Graphic
Annotation Tool (GAT)