Download Sistemas Conversacionales en Español Hablado

Objetivos del Proyecto DIME
Sistemas Conversacionales en
Español Hablado:
Una reflexión desde el proyecto DIME
Dr. Luis A. Pineda
IIMAS, UNAM, México
Mayo, 2006
Construcción
de sistemas conversacionales
– En español hablado
– Multimodales (e.g. Interfaz gráfica, robots
móviles)
Basados en la definición de Modelos de diálogos
Base empírica:
– Fonética & prosodia
– Inf. léxica, sintáctica & semántica
– Inf. pragmática
El Proyecto DIME, DCC-IIMAS, UNAM 2006
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Contenido
Modelos
de diálogos
El estado del arte...
El Corpus DIME
El esquema DIME-DAMSL
Predicción de actos del habla
Reconocimiento de voz
Participantes
Contenido
Modelos
de diálogos
El estado del arte...
El Corpus DIME
El esquema DIME-DAMLS
Predicción de actos del habla
Reconocimiento de voz
Participantes
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Modelos de diálogos
situación conversacional
– Estado informacional
– Orientada hacia una modalidad
– Conjunto de intenciones específicas
– Conjunto de actos del habla que expresan
dichas intenciones
– Conjunto de acciones lingüísticas (actos
retóricos) o motoras que las satisfacen
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Situación conversacional
La
El Proyecto DIME, DCC-IIMAS, UNAM 2006
si-1
SpAct:RhtAct
si
SpAct:RhtAct
si+1
En cada situación sólo un pequeño conjunto
de intenciones es relevante
El Proyecto DIME, DCC-IIMAS, UNAM 2006
1
Situación conversacional
Situación conversacional
Input SpAct
si-1
SpAct:RhtAct
si
SpAct:RhtAct
SpAct:RhtAct
si-1
si+1
si
SpAct:RhtAct
si+1
RhtAct
El Proyecto DIME, DCC-IIMAS, UNAM 2006
El Proyecto DIME, DCC-IIMAS, UNAM 2006
El modelo básico
MD = Sistema Intérprete
Modelo
de la conversación:
– Conjunto de modelos de diálogos
Modelo de diálogo:
– Conjunto de situaciones
– Relaciones entre situaciones: pares acto
del habla y acto retórico
Especificación declarativa a partir del
análisis de la tarea
Modelos de diálogo
(Exp. Reg.)
Acto
del
Habla
Acto
Retórico
Intérprete
Red de transición aumentada
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Generación (acción)
Actos retóricos básicos
(Específicos a la modalidad)
Acto
Retórico
Intérprete
Texto
(acción)
El Proyecto DIME, DCC-IIMAS, UNAM 2006
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Platicando con Golem!
turno
Part.
1
s
2
u
3
s
4
u
5
s
Acto Retórico
Saludo
Presentación
Oferta
- S/N
Texto
Bienvenido
Este es el departamento de ciencias de la
computación
¿Quieres una visita guiada?
Si, por favor
Introducción
El departamento tiene las áreas de inteligencia
artificial, reconocimiento de patrones y lenguajes
de programación
Opción
- abierta
- que
¿Qué área quieres vistar?
Inteligencia
Confirmación
Acto motor
Introducción
Okey, vamos a inteligencia artificial
El robot se desplaza a IA
Esta es el área de inteligencia artificial; podemos
hacer la visita por personal académico, ara o
proyectos
Opción
- abierta
- como ¿Cómo quieres hacer la visita?
El Proyecto DIME, DCC-IIMAS, UNAM 2006
2
Platicando con Golem!
turno
Part.
6
u
7
s
8
u
9
s
Part.
11
s
Por proyectos
12
u
Presentación
En inteligencia artificial se desarrollan los
proyectos DIME y GOLEM
13
s
Elaboración
Las tareas principales son la creación de
prototipos con manejadores de diálogos
inteligentes con entrada y salida hablada en
español, y visión por computadora
Terminamos con proyectos de inteligencia
artificial
¿Quieres seguir visitando inteligencia artificial?
Texto
Por proys
Error
Solicitud- repetición
Notificación
Opción- s/n
10
Platicando con Golem!
turno
Acto Retórico
u
Perdón... No te entendí!
¿Podrías repetirlo?
Okey
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Acto Retórico
Introducción
Texto
Inteligencia artificial tiene personal académico y
áreas
Opción
- abierta
- como Cómo quieres visitar inteligencia artificial
Por áreas
Presentación
Elaboración
Notificación
Opción
- s/n
14
u
15
s
En inteligencia artificial se investiga en sistemas
multimodales inteligentes, gramáticas
computacionales del español, razonamiento
gráfico y creatividad
Y también visión por computadora
Terminamos con área de inteligencia artificial
¿Quieres seguir visitando inteligencia artificial?
no
Notificación
Agradecimiento
Opción
- s/n
Terminamos con inteligencia artificial
Gracias por visitar inteligencia artificial
¿Quieres seguir visitando el departamento?
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Platicando con Golem!
turno
Part.
16
u
17
s
Acto Retórico
Texto
No, gracias
Agradecimiento
Despedida
Gracias por el departamento de ciencias de la
computación
Hasta luego
El Proyecto DIME, DCC-IIMAS, UNAM 2006
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Contenido
Modelos
de diálogos
El estado del arte...
El Corpus DIME
El esquema DIME-DAMSL
Predicción de actos del habla
Reconocimiento de voz
Participantes
El Proyecto DIME, DCC-IIMAS, UNAM 2006
El proyecto PLOW
(James Allen & Lucian
Galescu)
Galescu)
El Proyecto DIME, DCC-IIMAS, UNAM 2006
3
Tipos de Modelos de Diálogo
Modelos de diálogos
predicativos
Proposicional:
– Intenciones concretas
– Interpretación de actos del habla: Claves léxicas &
modelos del lenguaje (e.g. Estocásticos y/o
expresiones Regulares)
Predicativos:
SpAct(H,C):RhtAct(H,C)
f(H,C)
si
– Intenciones específicadas dinámicamente
– La interpretación de actos del habla depende del
discurso (historia) y del contexto (indexical)
El Proyecto DIME, DCC-IIMAS, UNAM 2006
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Interfaz gráfica
Contenido
Modelos
de diálogos
El estado del arte...
El Corpus DIME
El esquema DIME-DAMLS
Predicción de actos del habla
Reconocimiento de voz
Participantes
Home Designer
El Proyecto DIME, DCC-IIMAS, UNAM 2006
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Corpus DIME
15
sujetos
26 diálogos útiles
880 palabras por diálogo
185 elocuciones
115 turnos
14 minutos
1120 palabras (tipos)
Alófonos (T54)
D12, utt3: u: ¿Puedes mover la estufa hacia la izquierda?
El Proyecto DIME, DCC-IIMAS, UNAM 2006
El Proyecto DIME, DCC-IIMAS, UNAM 2006
4
Sílabas fonéticas
Palabras (ortográfica)
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Break indices de ToBI
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Part of Speech (P.O.S.)
El Proyecto DIME, DCC-IIMAS, UNAM 2006
El Proyecto DIME, DCC-IIMAS, UNAM 2006
D12, utt3: u: ¿Puedes mover la estufa hacia la izquierda?
Contenido
Modelos
Etiquetación prosódica con INTSINT
M T
L
H
L
U H
D
B
H
H
L
El Proyecto DIME, DCC-IIMAS, UNAM 2006
de diálogos
El estado del arte...
El Corpus DIME
El esquema DIME-DAMLS
Predicción de actos del habla
Reconocimiento de voz
Participantes
El Proyecto DIME, DCC-IIMAS, UNAM 2006
5
Estructura del diálogo
DIMEDIME-DAMSL
Los
DIME:
– Diálogos Inteligentes Multimodales en
Español
DAMLS:
– Dialog Act Markup in Several Layers
– Se asume que los actos del habla son
diálogos se modelan como una
secuencia de transacciones
Cada transacción involucra dos planos:
– Obligaciones conversacionales
– Conocimiento compartido “Common
ground”:
independientes del contexto de la
transacción!
Acuerdo
Entendimiento
El Proyecto DIME, DCC-IIMAS, UNAM 2006
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Estructura de la transacción
Especificación
de la intención:
– Usuario expresa intención
– Sistema interpreta intención
Satisfacción de la intención:
– Sistema proporciona información o
realiza acción
– Sistema solicita confirmación
– Usuario confirma y acepta acción
Balance de obligaciones
El Proyecto DIME, DCC-IIMAS, UNAM 2006
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Balance de obligaciones
Especificación de intención principal (usuario)
– Crea una obligación (cargo)
Interpretación de la intención (sistema)
– Transacciones de interpretación (pueden ser varias)
– Compromiso (cargo)
Acción principal (sistema):
– Acción multimodal (crédito, crédito)
– Solicitud de confirmación (cargo)
Interpretación de la acción (usuario)
– Multimodal interpretation (visual)
– Action confirmation (cargo)
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Especificación de intención principal (usuario)
– Crea una obligación (cargo)
Interpretación de la intención (sistema)
– Transacciones de interpretación (pueden ser varias)
– Compromiso (cargo)
Acción principal (sistema):
– Acción multimodal (crédito, crédito)
– Solicitud de confirmación (cargo)
Interpretación de la acción (usuario)
– Multimodal interpretation (visual)
– Action confirmation (cargo)
Balance de acuerdo
Especificación de acción principal (sujeto)
– Crea una obligación (cargo)
Intention interpretation (sistema)
– Interpretation transactions (pueden ser muchas)
– Se debe aceptar (crédito)
Main information or action act (sistema):
– Multimodal action (cargo)
– Request action confirmation (cargo)
Action interpretation (sujeto):
– Multimodal interpretation (visual)
– Action acceptance (crédito)
El Proyecto DIME, DCC-IIMAS, UNAM 2006
6
La estructura básica
Balance de obligaciones
Especificación de intención principal (usuario)
– Crea una obligación (cargo)
Interpretación de la intención (sistema)
– Transacciones de interpretación (pueden ser varias)
– Se debe aceptar (crédito)
Acción principal (sistema):
– Acción multimodal (cargo)
– Solicitud de confirmación (cargo)
Interpretación de la acción (usuario)
– Multimodal interpretation (visual)
– Action confirmation (crédito)
Intención principa (usaurio)
– utt25 :
después <sil> me puedes poner <sil> [e]l el
extractor de aire encima de la <sil> de la estufa
Interpretación de la intención (sistema)
Satisfacción de la intención (sistema):
– utt26 : s: okey
– utt27 : s: realiza acción
así está bien ?
Interpretación de la acción (usuario):
– Multimodal interpretation (visual)
– utt28 : u: sí
– utt29 : así está bien
El Proyecto DIME, DCC-IIMAS, UNAM 2006
El Proyecto DIME, DCC-IIMAS, UNAM 2006
La estructura básica
Intención principal (usuario)
DIMEDIME-DAMLS tags
después <sil> me puedes poner <sil> [e]l el
extractor de aire encima de la <sil> de la estufa (dir-accion)
después <sil> me puedes poner <sil> [e]l el (cargo)
extractor de aire encima de la <sil> de la estufa
Interpretación de la intención (sistema)
– utt26 : s: okey (cargo)
Satisfacción de la intención (sistema):
– utt27 : s: realiza acción (crédito, crédito)
así está bien ? (cargo)
Interpretación de la acción (usuario):
– Multimodal interpretation (visual)
– utt28 : u: sí
– utt29 : así está bien (crédito)
Intención principal (usuario)
– utt25 :
– utt25 :
Interpretación de intención (sistema)
– utt26 : s: okey (compromiso)
Satisfacción de la intención (sistema):
– utt27 : <ruido> <no-vocal> (mueve-obj)
así está bien ? (sol-inf)
Interpretación de la acción (usuario):
– Multimodal interpretation (visual)
– utt28 : u: sí
– utt29 :
así está bien (resp)
El Proyecto DIME, DCC-IIMAS, UNAM 2006
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Estructura de acuerdo
Intención principal (usuario)
DIMEDIME-DAMSL tags
– utt25 :
después <sil> me puedes poner <sil> [e]l el
extractor de aire encima de la <sil> de la estufa (cargo)
Interpretación de la intención (sistema)
– utt26 : s: okey (crédito)
Satisfacción de la intención (sistema):
– utt27 : <ruido> <no-vocal> (cargo)
así está bien ? (cargo)
Action interpretation (subject):
Intención principal (sujeto)
– utt25 :
después <sil> me puedes poner <sil> [e]l el
extractor de aire encima de la <sil> de la estufa
Intention interpretation (sistema)
– utt26 : s: okey (acepta 25)
Satisfacción de la intención (sistema):
– utt27 : <ruido> <no-vocal> (afirm)
así está bien ?
Action interpretation (subject):
– Multimodal interpretation (visual)
– Interpretación multimodal (visual)
– utt28 : u: sí
– utt28 : u: sí
– utt29 :
así está bien (crédito (2))
El Proyecto DIME, DCC-IIMAS, UNAM 2006
– utt29 :
así está bien (acepta 27, afirm)
El Proyecto DIME, DCC-IIMAS, UNAM 2006
7
DIMEDIME-DAMSL tags (obligaciones)
48 u
me puedes mover la <sil> la alacena que está <sil> en la
pared de la izquierda hacia arriba del refrigerador ?
49 s
50 u
51
52 s
53
54 u
55 s
<no-vocal> en la pared de la izquierda ?
DIMEDIME-DAMLS tags (acuerdo)
dir-accion
48 u
me puedes mover la <sil> la alacena que está <sil> en la
pared de la izquierda hacia arriba del refrigerador ?
sol-inf
49 s
50 u
51
52 s
53
54 u
55 s
56
57 u
58
<no-vocal> en la pared de la izquierda ?
si
resp 49
ésta
okey
dónde quieres que la ponga ?
sol-inf
arriba del frigobar
resp 53
compromiso
okey
56
<s performs action> ahí está bien ?
57 u
58
si
mueve-obj
sol-inf
si
ésta
afirm
okey
ack
dónde quieres que la ponga ?
afirm
okey
acepta 48
<ruido> (s performs action) ahí está bien ?
ahí está bien
afirm/acepta 56
El Proyecto DIME, DCC-IIMAS, UNAM 2006
DIMEDIME-DAMSL
Contenido
DIME-DAMLS
– Conversación: secuencia de transacciones
– Estructura de la transacción
Especificación de la intención
Satisfacción de la intención
– Balance en los planos de obligaciones y
acuerdo
– Muy metida: Varinia Estrada
Modelos
de diálogos
El estado del arte...
El Corpus DIME
El esquema DIME-DAMLS
Predicción de actos del habla
Sistema de reconocimiento de voz
Participantes
El Proyecto DIME, DCC-IIMAS, UNAM 2006
El Proyecto DIME, DCC-IIMAS, UNAM 2006
DIMEDIME-DAMSL tags (obligaciones)
me puedes mover la <sil> la alacena que está <sil> en la
pared de la izquierda hacia arriba del refrigerador ?
49 s
50 u
51
52 s
53
54 u
55 s
<no-vocal> en la pared de la izquierda ?
56
<s performs action> ahí está bien ?
57 u
58
DIMEDIME-DAMLS tags (acuerdo)
dir-accion
48 u
me puedes mover la <sil> la alacena que está <sil> en la
pared de la izquierda hacia arriba del refrigerador ?
sol-inf
49 s
50 u
51
52 s
53
54 u
55 s
56
57 u
58
<no-vocal> en la pared de la izquierda ?
si
resp 49
ésta
okey
sol-inf
dónde quieres que la ponga ?
resp 53
arriba del frigobar
compromiso
okey
mueve-obj
sol-inf
si
ahí está bien
afirm
si
El Proyecto DIME, DCC-IIMAS, UNAM 2006
48 u
espera 48
arriba del frigobar
resp 56
ahí está bien
espera 48
resp 56
El Proyecto DIME, DCC-IIMAS, UNAM 2006
espera 48
si
ésta
afirm
okey
ack
dónde quieres que la ponga ?
espera 48
arriba del frigobar
afirm
okey
acepta 48
<ruido> (s performs action) ahí está bien ?
afirm
si
ahí está bien
afirm/acepta 56
El Proyecto DIME, DCC-IIMAS, UNAM 2006
8
¿Cómo identificamos el acto del habla?
Predicción de actos del habla
Construcción
Input SpAct
SpAct(H,C):RhtAct(H,C)
f(H,C)
si
de árboles de decisión
Predictores:
– Tonos (INTSINT)
– Duraciones (diferentes unidades)
– Fronteras entre unidades (Break Indices)
Objetivo (Target):
– Etiquetas DIME-DAMSL
Herramientas:
Tesis
CART-Style (J4)
doctoral: Sergio Coria
El Proyecto DIME, DCC-IIMAS, UNAM 2006
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Modelos de diálogos
Sistemas conversacionales
predicativos
Input SpAct
Definición
SpAct(H,C):RhtAct(H,C)
f(H,C)
si
Especificación de situaciones:
– Tipos de actos del habla
– Información léxica (parseo superficial)
– La semántica está dada por los roles y funciones
(atributos y valores) de la situación en la que se
realiza la interpretación
modelos básicos
Aprendizaje
Interpretación
El Proyecto DIME, DCC-IIMAS, UNAM 2006
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Reconocimiento de voz
Contenido
Modelos
de diálogos
El estado del arte...
El Corpus DIME
El esquema DIME-DAMLS
Predicción de actos del habla
Reconocimiento de voz
Participantes
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Es
indispensable contar con tecnología de
reconocimiento de voz:
– Abierta
– Adaptable
Uso
de herramientas tecnológicas de punta
Creación de recursos lingüísticos para cada
lengua
El Proyecto DIME, DCC-IIMAS, UNAM 2006
9
Reconocimiento de voz en el
proyecto DIME
El Corpus DIMEx100
– Creación de modelos acústicos
– Creación de diccionarios de pronunciación
– Creación de modelos de lenguaje
El sistema Sphinx
– Entrenamiento
– Decodificación
– Validación
Corpus DIMEx100
Estructura:
– 100 hablantes
– 5,010 frases diferentes
–50 específicas por hablantes
–10 comunes a los 100 hablantes
– 6,000 *.wav archivos
Coordinación
y control de calidad:
– Hayde Castellanos
El Proyecto DIME, DCC-IIMAS, UNAM 2006
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Niveles de Transcripción
T22:
Fonémas básicos del español (México)
T44:
– T22
– Cierres de oclusivas y africadas sordas
– Aproximantes
– Acentos y paravocales
– Codas silábicas neutralizantes
T54
T56:
T44 + otros alófonos comunes
en la definición de Mexbet de
Javier Cuétara
Basados
El Proyecto DIME, DCC-IIMAS, UNAM 2006
El Proyecto DIME, DCC-IIMAS, UNAM 2006
T44
T22
El Proyecto DIME, DCC-IIMAS, UNAM 2006
El Proyecto DIME, DCC-IIMAS, UNAM 2006
10
Contenido
El Reconocedor para el
español de México
del
Proyecto DIME
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Modelos
de diálogos
estado del arte...
El Corpus DIME
El esquema DIME-DAMLS
Predicción de actos del habla
Reconocimiento de voz
Participantes
El
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Participantes
Coordinador:
Luis Pineda
Participantes:
– Hayde Castellanos, Sergio Coria, Varinia
Estrada, Fernanda López, Ivonne López, Isabel
López, Iván Moreno, Patricia Pérez Pavón
Colaboradores UNAM:
– Javier Cuétara, Carlos Rodríguez
Muchas gracias!
Colaboradores externos:
– James Allen, Joaquím Llisterri, Montserrat
Riera, Ivan Meza, Lucian Galescu, Luis
Villaseñor
Financiamiento:
NSF/CONACyT 39380-U
El Proyecto DIME, DCC-IIMAS, UNAM 2006
El Proyecto DIME, DCC-IIMAS, UNAM 2006
11