Download Procesamiento Práctico del lenguaje Natural

Procesamiento
Práctico
del lenguaje Natural
Capítulo XXIII
Introducción
Este capítulo mostrará qué tanto se
puede avanzar en el mundo del
wumpus mediante el empleo de
técnicas para el intercambio de la
comunicación
XXIII.I Aplicaciones Prácticas
Sistemas que emplean de manera satisfactoria
el lenguaje natural. Estos se concentran en:
Un dominio
Una tarea
Traducción automatizada
Acceso a una base de datos
Recuperación de información
Categorización de textos
Obtención de datos de un texto
Traducción automatizada
Para evitar significados distintos es necesario
conocer:
El idioma del texto original
Propiedades sintácticas de los mensajes
La situación que se esta comunicando
No es posible esperar resultados satisfactorios
en la traducción automatizada sin embargo
dicho traductor podrá acelerar, de dos a
cuatro veces, el trabajo de un traductor
monolingüe sin la necesidad de contar con
el texto original
Acceso a la base de datos
Para acceder a bases de datos que
emplean lenguaje natural es necesario
saber la manera de hacerlo. Las
consultas requieren cierto
conocimiento del diccionario de las
bases de datos
Existen interpretadores de texto para
poder acceder a la información de
dichas bases de datos
Recuperación de información
Consulta: un título y una serie de
palabras claves digitadas por el cliente
posiblemente conectadas por palabras
reservadas (“y”, “o”)
Estas se manejan como un vector de
términos y los documentos se ordenan
de acuerdo a la distancia a la consulta,
mostrándose primero los más
cercanos.
Categorización de textos
Consiste en la clasificación de textos
de acuerdo a diferentes categorías de
la información en las bases de datos
Estas categorías son fijas
Utilizadas generalmente para informes
noticiosos de distintas áreas
Obtención de datos de un texto
Consiste en la obtención de datos de
un texto en línea y deducir de éste
algunas características que se puedan
incorporar a una base de datos
estructurada
XXIII.II
Análisis Gramatical Eficiente
ÁRBOL DE ANÁLISIS
[0,5 S
FN FP ]
(complementador)
Borde incompleto
Borde completo
(Analizador)
(analizador)
[0,2 S
El
0
Símbolo de la gramática
FN FP]
agente
1
[2,5 FN
siente
2
una
3
Vértices
Verbo FP ]
brisa
4
5
Análisis Gramatical Eficiente
Analiza los distintos borde y los
clasifica
Inicializador
Predictor
Analizador
Complementador
Agrupa los distintos bordes
Permite indicar reglas
Empaquetamiento
Para reducir el árbol de análisis
Método:
1º-Modificar el COMPLEMENTADOR de
manera que guarde sus bordes hijos
en un nodo padre
2º- Buscar en la lista de los hijos para
reproducir el árbol
3º- Resolver casos de análisis ambiguos
XXIII.III
Ampliación del Diccionario
La comprensión de un texto consta de
los siguientes pasos
Caracterización
Análisis Morfológico
Consulta del Diccionario
Corrección de errores
Caracterización
Procedimiento mediante el cual la
entrada es fragmentada en diversos
elementos básicos
Palabras
Signos de puntuación
Es necesario determinar el idioma
porque existen diferentes reglas de
puntuación
Análisis Morfológico
El procedimiento consiste en definir una palabra
como prefijos, sufijos y raíces
 Morfología por inflexión: consiste en realizar
cambios en una palabra para adecuarla a un
tipo (ej. la “s” cuando se representa un sustantivo
en plural)
 Morfología por derivación: Consiste en crear
nuevas palabras a partir de otras para
determinar un nuevo tipo (ej. El paso de un
sustantivo a un adjetivo implica cambiar la palabra)
 Composición: Consiste en formar una nueva
palabra mediante la unión de otras dos (ej.
limpiabotas)
Consulta del diccionario
Cuando se buscan sustantivos que no
estén en singular o verbos que no
están en infinitivo es necesario acudir
al diccionario
Localiza en el diccionario una palabra
y entregar una definición
Ejemplo Walked. Generalmente no se
almacena esta palabra sino Walk.
Corrección de errores
Errores de dominio:
1º- Que una palabra no se encuentre en el
diccionario (ej. walked)
2º- Uso de mayúsculas que permiten suponer
que es un nombre propio
3º- Ciertos formatos que permiten identificar
una fecha, hora, numero de un seguro
social, etc.
Errores ortográficos:
4º- Localizar una palabra que se asemeje en
el diccionario a la palabra ingresada
XXIII.IV
Ampliación de la Gramática
Aposición: Conexión de dos frases
nominales entre si (ej. dos sustantivos)
Semántica de intersección: unión de
sustantivos y adjetivos (ej. Wumpus
oloroso )
Determinadores: Son los artículos (ej.
el, la, los, las, un, unos, una, unas)
Ampliación de la Gramática
Frases sustantivas: Reglas a las frases
nominales (ej. La regla de artículo +
sustantivo se actualiza cambiando el
artículo por un determinador e
incluyendo la concordancia de persona
y número)
Cláusulas de complemento: Existen
verbos cuyos complementos
representan cláusulas (frases
verbales)
Ampliación de la Gramática
Cláusulas relativas: Formadas por un
pronombre relativo seguido de una
oración que contenga un espacio vacio
FN (sitio donde deberá aparecer la FN
de encabezado para que la oración
quede completa)
Preguntas
si-no: La respuesta es un si o un no
Interrogativas: (comienzan con un
pronombre) La respuesta es una frase
nominal
XXIII.V Ambigüedad
Los métodos empleados para resolver la
ambigüedad se basan en:
Inferencia lógica
Redes de creencia
Modelos ocultos
Ejemplo: Comí espagueti, albóndigas y
ensalada)
Interpretación: (espagueti y albóndigas)
o (albóndigas y ensalada)
Evidencias
 Sintáctica: ¿Cómo determinar si un
adverbio afecta a un verbo o a otro dentro
de una frase? (ambigüedad que se
resuelve con la evidencia sintáctica)
 Léxica: Muchas palabras pueden tener
varios significador pero el sentido es
diferente (ambigüedad que se resuelve con
la evidencia léxica)
 Semántica: Es más importante la
probabilidad condicional de un contexto
que la probabilidad del sentido de la
palabra
Metonimia
 Consiste en usar un objeto para representar
a otro.
 Para interpretarla es necesario un alto nivel
de ambigüedad
 Hay que definir las clases de metonimia que
pueden presentarse para un objeto
Si el objeto literal y el objeto metonímico son
idénticos entonces no existe metonimia
Metáfora
Es una frase retórica en la cual se
emplea una frase con un determinado
sentido literal para dar a entender otro,
por medio de una analogía
Soluciones
Incorporar todo lo sabido de la
metáfora al diccionario y su sentido
correspondiente (palabra x palabra)
Incluir el conocimiento explícito de
metáforas comunes.
XXIII.VI
Comprensión del discurso
Discurso: es un texto con extensión
superior a una oración. En el figura la
percepción, el análisis, la
desambiguación y la desincorporación
BC’=DISCURSO-COMPRENSION(texto, BC)
BC: Base de conocimiento del escucha
BC’: Base de conocimiento del escucha
después de incorporar el teexto
Comprensión del discurso
Conocimiento:
 General del mundo
 General Sobre la estructura del discurso
coherente
 General Sobre la sintaxis y la semántica
 Específico sobre la situación de que esté
hablándose
 Específico sobre las creencias de los
personajes
 Específico sobre las creencias del hablante
Conclusión
La comunicación presenta numerosos
inconvenientes. Para que exista una
comunicación es necesario que lo que se
expresa sea interpretado y esto último es lo
que implica mayor trabajo.
Existen distintos métodos y estructuras para
volcar todo lo que se conoce en términos de
comunicación pero nunca es suficiente por las
infinitas formas de expresarse que tiene un
humano.
Si bien se han logrado avances importantes no
se puede hablar de una comunicación
absolutamente transparente con los sentidos
originales que el emisor quiere reflejar