Download CAPÍTULO 9 CATEGORIZACIÓN GRAMATICAL

Capítulo 9. Categorización gramatical
CAPÍTULO 9
CATEGORIZACIÓN GRAMATICAL
La categorización gramatical se puede definir como el procedimiento que
produce, para cada palabra, a partir de un diccionario léxico y un conjunto de reglas de
terminaciones y contextuales, una lista de sus posibles categorías, con una descripción
de su género, número y persona. El objetivo final es reducir al mínimo la lista de
categorías asociadas a una palabra: desambigüedad morfo-sintáctica. Lo ideal sería
reducir a uno el número de categorías por palabra.
El problema de la desambiguación léxica consiste en: dado un texto tal que cada
palabra tiene asociada una lista de posibles categorías gramaticales, obtener un texto tal
que cada palabra tenga una sola categoría asociada.
La
rueda
daba
vueltas
artículo/nombre común
nombre común/verbo
verbo
nombre común
=>
La
rueda
daba
vueltas
Ejemplo 9.1 Desambigüación léxica
182
artículo
nombre común
verbo
nombre común
Capítulo 9. Categorización gramatical
texto
SEGMENTACIÓN
Y PRE-PROCESO
palabra
DICCIONARIO
ANÁLISIS
LÉXICO
MORFOLÓGICO
lista de posibles
categorías
REGLAS DE
TERMINACIÓN
CATEGORIZACIÓN
POR REGLAS
REGLAS DE
categoría
CONTEXTO
Figura 9.1 Categorización gramatical
•
CLASIFICACIÓN DE LAS CATEGORÍAS
Un aspecto clave en el análisis morfológico es la definición de las categorías que va
a producir el categorizador. Las gramáticas no se ponen de acuerdo en dar una lista
única de categorías gramaticales, al mezclar criterios morfológicos, sintácticos y
semánticos. Así, en función del criterio empleado, se establecen tres clasificaciones
[López 93]:
1. Criterios morfológicos: categorías variables e invariables.
2. Criterios sintácticos: categorías abiertas (sustantivos, adjetivos y verbos) y
cerradas (artículos, pronombres, preposiciones, conjunciones y adverbios).
3. Criterios semánticos: categorías llenas (con significado léxico) y vacías
(carentes de significado léxico).
183
Capítulo 9. Categorización gramatical
9.1 EL SISTEMA DE CATEGORIZACIÓN 860
El categorizador gramatical actual partió de un sistema basado en categorías
numéricas, es decir, cada categoría gramatical se representaba con un número, por
ejemplo, el 3 para los sustantivos o el 2 para los verbos.
El principal inconveniente de las categorías numéricas era que sólo
proporcionaban información de la clase principal (nombre, pronombre, verbo, adverbio,
adjetivo, artículo, preposición y conjunción) y de la subclase o tipo (por ejemplo, dentro
de la clase pronombre tenemos los siguientes tipos: posesivo, demostrativo, indefinido,
interrogativo, etc.), pero carecían de información de género y número para nombres y
adjetivos, o de tiempo, modo, número y persona para verbos. Esta información es
importante para la desambiguación léxica, ya que permitirá elaborar reglas basadas en
comprobaciones de concordancia. Por ejemplo, un artículo precedido por una palabra
que puede ser sustantivo o verbo, si concuerda en género y número con dicho artículo
será sustantivo, en caso contrario, será verbo.
Las categorías 860 permiten incluir mayor información morfológica, y por esta
razón se pasó del sistema de categorías numéricas al sistema 860.
9.1.1 CATEGORÍAS 860
Una categoría 860 es un conjunto de 10 caracteres, cada uno de ellos con un
significado específico:
1. Clase principal
Se distinguen 10 clases: verbo, nombre, adjetivo, adverbio, pronombre,
preposición, artículo, conjunción, interjección y miscelánea.
2 y 3. Subclase o tipo
Por ejemplo, dentro de la categoría nombre tenemos las subclases común y
propio o dentro de la categoría artículo, definido e indefinido.
4. Tiempo verbal
Presente, pasado (indefinido/participio), pretérito imperfecto, futuro y
gerundio. Esta información sólo se rellena para los verbos.
184
Capítulo 9. Categorización gramatical
5. Modo/Grado
Este carácter proporciona dos tipos de información:
-
Modo para los verbos: infinitivo, indicativo, imperativo, subjuntivo,
condicional y participio.
-
Grado para adjetivos y adverbios: comparativo, superlativo.
6. Persona y número/número
El significado de esta carácter depende de la clase principal:
-
persona y número para verbos
-
número para las restantes clases: singular, plural, neutro o invariable.
7. Locuciones
Este carácter se rellena únicamente cuando la clase principal forma parte de
una locución (preposicional, adverbial, ...)
8. Género
Masculino, femenino, neutro o no género (para los verbos).
9 y 10. Pronombres enclíticos
Únicamente para aquellas formas verbales que incorporen pronombres
enclíticos.
Hay dos signos que tienen un significado especial: el punto, que indica no
especificado y #, que significa no existe.
Palabra
Categoría gramatical
Signficado
soy
V2901T.0..
Verbo ser presente indicativo 3ª persona singular
mesa
N00##S.F##
Nombre común singular femenino
Ejemplo 9.2 Categorías 860
9.1.2 NUEVAS CATEGORÍAS
Durante el proceso de entrenamiento del categorizador nos dimos cuenta de que
el conjunto inicial de categorías 860 era incompleto y de que debíamos aumentar el
número de categorías. La necesidad de introducir nuevas categorías se debe a dos
motivos:
185
Capítulo 9. Categorización gramatical
1. Palabras que no se ajustaban a ninguna de las categorías existentes. Por
ejemplo, puntos suspensivos, fechas y horas.
2. Especialización de categorías. Por ejemplo, combinaciones de letras y
número y números romanos compartían la misma subclase. Con el objeto de
afinar más en la categorización de las palabras decidimos redefinir la
categorías de números, combinaciones de letras y números y números
romanos, definiendo tres subclases distintas:
-
números: adjetivo numeral cardinal (A12). Ejemplos: 27, 12,5.
-
romanos: número romano (M02). Ejemplos: XII, II.
-
combinaciones de letras y números: letras y números (M55). Ejemplos:
87R, C24.
Inicialmente las siglas o acrónimos se incluían en la clase nombre,
distinguiéndose tres subclases: común, propio y acrónimo. Sin embargo nos pareció
más lógico incluir las siglas dentro de la clase miscelánea, junto a abreviaturas y
números romanos y por ello incluimos la subclase sigla dentro de esta clase.
La Tabla 9.1 presenta las nuevas categorías introducidas. En el Anexo A aparece
la lista actual de categorías 860.
Categoría
Clase y subclase
Categoría
Clase y subclase
estar
V301
números con guión
M34
adverbio de lugar
B01
`
M35
todo/a/os/
R03
&&& (fin de frase)
M46
nº romano
M02
letra
M50
sigla
M04
números+letras
M55
=
M25
nº+letras+guiones
M56
...
M31
ambRomano
L00
fechas
M32
ambLetra
L01
horas
M33
Tabla 9.1 Nuevas categorías 860
1
En la versión anterior el verbo estar se categorizaba como V..
186
Capítulo 9. Categorización gramatical
9.2 CATEGORIZACIÓN SIN REGLAS
9.2.1 CATEGORIZACIÓN DE UNIDADES ESPECIALES
Algunas partes de la categorización se realizan en el módulo
de
preprocesamiento, como por ejemplo, las palabras extranjeras, las siglas y los números.
El detector de unidades especiales se ocupa del reconocimiento y categorización de
dichas unidades, de manera que ambas tareas se realizan simultáneamente2.
El detector toma una frase del texto de entrada y la recorre de izquierda a
derecha en busca de unidades especiales y si identifica alguna, le asigna la categoría
correspondiente. En el caso de las unidades especiales no existe ambigüedad léxica sino
que una vez reconocida su categoría es única.
Para el reconocimiento y categorización de algunas unidades, el detector cuenta
con la ayuda de diccionarios especializados3. Estas unidades son: nombres propios,
siglas y abreviaturas.
•
CATEGORIZACIÓN DE PALABRAS CON GUIÓN
El detector de unidades especiales se encarga del reconocimiento y categorización
de palabras unidas por un guión intermedio, por ejemplo, físico-químico, señor/a. De
cara la su categorización gramatical tenemos que distinguir dos tipos:
1. Guiones que se utilizan para expresar género o número. Por ejemplo, señor/a,
chico/s. En estos casos, se busca la palabra que aparece inmediatamente antes
del guión en los diccionarios y si se encuentra, se categoriza el compuesto con la
categoría que aparece en el diccionario pero modificando su género o número
dependiendo del caso concreto. Considérese por ejemplo señor/a. Se busca
señor en los diccionarios, se encuentra como nombre común singular masculino,
se estudia la palabra inmediatamente posterior al guión (a), se determina que es
un sufijo de género y se categoriza señor/a como nombre común singular neutro.
Con chico/s se sigue un procedimiento análogo, pero en este caso al detectar que
2
La definición de las unidades especiales y el funcionamiento del detector se describen en el
Capítulo 5.
3
Los diccionarios especializados que utiliza el sistema se dan en el apartado 6.3 del Capítulo 6.
187
Capítulo 9. Categorización gramatical
el sufijo es de número (s) se categoriza chico/s como nombre común plural
masculino.
2. Guiones que se utilizan para la formación de compuestos. Por ejemplo físicoquímico, fuera/es. Este grupo incluye las palabras unidas por un guión
intermedio que tienen significado de forma independiente. Así, físico y químico
son dos palabras con significado pleno, a deferencia del caso anterior donde a y
s son sufijos.
Dentro de este grupo hemos encontrado las siguientes combinaciones:
a. sustantivo-sustantivo. Ejemplos: ciudad-dormitorio, hombre-mujer.
b. adjetivo-adjetivo. Ejemplos: físico-químico, histórico-artísticos.
c. verbo-verbo. Ejemplos: fuera/es, espulga/expurga.
d. adverbio-adverbio. Ejemplos: arriba/abajo, delante/detrás.
e. preposición-sustantivo, preposición-adjetivo, preposición-verbo. Ejemplos: antesala, sobre-dosis.
Las reglas seguidas para categorizan estos compuestos son:
2.1. Si las dos palabras unidas por el guión son sustantivos, adjetivos o adverbios
(casos a, b y d), el compuesto se categoriza con la misma categoría que la de la
última palabra pues en caso de que haya diferencias de género o número entre
las dos palabras unidas por el guión, la categoría del compuesto coincide con la
de la segunda palabra. Por ejemplo si analizamos histórico-artísticos, histórico
será adjetivo calificativo singular masculino y artísticos, adjetivo calificativo
plural masculino e histórico-artísticos será adjetivo calificativo plural
masculino, categoría que coincide con la de artísticos.
2.2. Si las palabras que forman el compuesto son verbos, el compuesto se categoriza
como verbo, sin especificar el tiempo, modo, persona y número. Por ejemplo,
fuera/es, fuera es 1ª/3ª persona singular del pretérito imperfecto de subjuntivo
del verbo ser o del verbo ir, y es se analizaría como 3ª persona singular del
presente de indicativo del verbo ser y el compuesto se categorizaría
simplemente como verbo.
2.3. Si la primera palabra del compuesto es una preposición, el compuesto se
categoriza con la misma categoría que la segunda palabra. Por ejemplo, antesala como nombre común singular femenino, entre-sacar como infinitivo
verbal.
188
Capítulo 9. Categorización gramatical
Las reglas para la categorización de las palabras con guión son similares a las
expuestas en [Varela 92].
9.2.2 CATEGORIZACIÓN POR DICCIONARIO
Después del preprocesado del texto, la siguiente tarea es realizar para cada
palabra un análisis morfológico; para ello disponemos de un conjunto de diccionarios
léxicos. El diseño del léxico para la categorización gramatical debe buscar un
compromiso entre la memoria ocupada por el léxico y la complejidad del análisis
morfológico.
El análisis se realiza palabra a palabra y consiste en una búsqueda de la misma
en el conjunto de diccionarios considerado4. El resultado del análisis es una lista con
todas las posibles categorías de la palabra bajo estudio.
Este módulo ofrece muy buenos resultados, categorizando la mayor parte de las
palabras del texto procesado. El inconveniente de análisis morfológico es que, dado que
existen palabras que pueden pertenecer a dos o más categorías, no presenta una única
categoría para cada palabra. La determinación de la categoría gramatical definitiva se
lleva a cabo mediante reglas de contexto.
•
CATEGORIZACIÓN DE UN, UNO/S, UNA/S
Ante la posibilidad de categorizar un, uno, una, unos y unas como adjetivo
numeral y como pronombre indefinido, nos hemos decantado por adjetivo numeral
cardinal. Esta decisión se apoya en el artículo 167 de la Gramática de la Lengua
Española [Alarcos 94], según el cual la distinción tradicional entre uno numeral, uno
pronombre indefinido y un, una, unos, unas como artículos indeterminados carece de
justificación. Su comportamiento funcional es unitario y la referencia que efectúan
análoga. No puede ser artículo por cuanto este carece de acento y no es palabra
independiente. Separar, de otra parte, el sentido numeral respecto del indefinido es
innecesario, ya que de todas las maneras se trata de un cuantificador.
4
Los diccionarios que utiliza el programa en su funcionamiento normal, así como el proceso de
búsqueda en ellos se explica en el apartado 6.9 del Capítulo 6.
189
Capítulo 9. Categorización gramatical
9.2.3 EL FICHERO CATEGORIZADO.DEP
Una vez realizado el pre-procesado y el análisis morfológico de una frase, se
escribe cada una de las palabras que la forman junto con la categoría o lista de
categorías asociadas en el fichero categorizado.dep. Este fichero permite evaluar el
módulo de segmentación y la efectividad de la categorización sin reglas (detector de
unidades especiales y análisis morfológico).
La
D00##S.F## N00##S.F## R02##H.F##
política
A11..S.F## N00##S.F##
europea
A11..S.F##
sobre N00##S.M## P00##N.0## V..02H.0..
V..034.0..
la
D00##S.F## N00##S.F## R02##H.F##
competencia N00##S.F##
está V3001H.0..
definida
N00##S.F## V..46S.F..
en
P00##N.0##
sus
A06##..N##
líneas N00##P.F##
generales
A11##P.N##
por
P00##N.0##
los
D00##P.M## R02##T.M##
Tratados
N00##P.M##
de
P00##N.0##
la
D00##S.F## N00##S.F## R02##H.F##
Comunidad N00##S.F##
Ejemplo 9.3 El fichero categorizado.dep
9.3 CATEGORIZACIÓN POR REGLAS
La categorización sin reglas resulta muy eficiente a la hora de asignar categorías a
las palabras, pero deja sin resolver dos problemas:
1. Ambigüedad léxica. Palabras que puede pertenecer a dos o más categorías.
Por ejemplo, poder puede ser nombre común y verbo.
2. Palabras desconocidas para el sistema. A estas palabras no se les asocia
ninguna categoría.
3. Palabra a las que se ha asignado una categoría errónea.
190
Capítulo 9. Categorización gramatical
La categorización por reglas pretende solucionar estos problemas, asignando a
cada palabra su categoría correspondiente. Dentro de la categorización por reglas se
distingue entre reglas de terminaciones y reglas de contexto.
9.3.1 REGLAS DE TERMINACIONES
Las reglas de terminación asignan una categoría en función de la terminación de
la palabra considerada. Estas reglas son muy útiles para la categorización de algunos
sustantivos, adjetivos y adverbios. Por ejemplo, en morfología, la terminación –ble se
utiliza para formar adjetivos (amigable, agradable, saludable), la terminación –mente
para formar adverbios a partir de adjetivos (ansiosamente, serenamente, uniformemente)
y la terminación –ismo para formar sustantivos (socialismo, sensacionalismo,
conformismo).
Por supuesto, hay palabras que no siguen la regla general, por ejemplo, demente
no es un adverbio ni sable un adjetivo. Por esta razón, las reglas de terminación se
aplican únicamente a aquellas palabras que no hayan sido categorizadas por diccionario.
9.3.2 REGLAS DE CONTEXTO
Una vez realizado el análisis morfológico y aplicadas las reglas de terminación,
se puede determinar la categoría de algunas palabras analizando su contexto gramatical.
Estas reglas sirven para resolver problemas de ambigüedad léxica. Un ejemplo de estas
reglas es el siguiente: cuando en el contexto izquierdo de una palabra que puede ser un
sustantivo o un verbo se encuentra un artículo o una preposición, y en el contexto
derecho hay un verbo, la palabra ambigua será un sustantivo.
La función de estas reglas es indicar si en un contexto concreto la palabra
ambigua debe ser categorizada o no, y en caso afirmativo, qué categoría debe asignarse.
El contexto puede referirse a una o varias posiciones anteriores y posteriores al
elemento ambiguo. En general, cuanto mayor sea el contexto analizado, mayor será la
probabilidad de acierto de la regla. La dificultad está en que hay que aplicar las reglas
sobre la lista de posibles categorías. En ocasiones se aplica una regla a una palabra
ambigua considerando un contexto (izquierdo o derecho) y éste también es ambiguo.
Por esta razón es muy importante el orden en que se apliquen las reglas; el mismo
191
Capítulo 9. Categorización gramatical
conjunto de reglas aplicado en distinto orden conduce a resultados distintos. Las reglas
deben ordenarse comenzando por las más restrictivas.
9.3.3 LOS FICHEROS DE REGLAS
•
ADAPTACIÓN DE LOS FICHEROS EXISTENTES
Inicialmente se disponía de tres ficheros de reglas: reglas1, reglas2 y reglas3. Los
dos primeros contenían reglas de terminaciones y de contexto y el último únicamente
reglas de contexto. El nombre de las reglas hace referencia al orden en que se aplican,
orden, que como ya mencionamos antes, es fundamental para la eficiencia de las reglas;
en primer lugar se aplican las reglas1, luego las 2 y por últimos las 3.
La versión anterior del categorizador, basada en categorías numéricas, no disponía
del módulo de preprocesamiento y realizaba un análisis por diccionario mucho más
simple. Como consecuencia, el número de palabras ambiguas y no categorizadas que
llegaban al categorizador por reglas era mucho mayor.
En la versión actual el número de palabras sin categorizar tras el preprocesamiento
y el análisis morfológico es pequeño y muchas reglas carecían de utilidad puesto que las
palabras a las que iban dirigidas se categorizan en alguno de los módulos precedentes.
Por tanto, la primera tarea fue adaptar los ficheros de reglas a la nueva situación,
eliminando reglas que ya no eran necesarias y dividiendo las reglas 1 y 2 en dos partes:
por un lado las reglas de terminación y por otro las contextuales. De esta manera
obtuvimos cinco ficheros: reglas1_1, reglas1_2, reglas2_1, reglas2_2 y reglas3. La
Tabla 9.2 muestra los ficheros de reglas iniciales y los nuevos, así como el número de
reglas que contiene cada uno de ellos.
Reglas iniciales
Reglas actuales
Nombre
Tipo
Nº reglas
Nombre
Tipo
Nº reglas
reglas1
terminación
219
reglas1_1
terminación
117
reglas1_2
contexto
102
reglas2_1
terminación
165
reglas2_2
contexto
84
reglas_3
contexto
36
y contexto
reglas2
terminación
249
y contexto
reglas3
contexto
36
Tabla 9.2 Los ficheros de reglas
192
Capítulo 9. Categorización gramatical
•
REGLAS_0
Los números romanos y las letras se categorizan por reglas de contexto. En el caso
de los números romanos es difícil implementar un detector que ofrezca resultados
aceptables ya que resulta difícil diferenciar algunas siglas y algunos números romanos.
Sin embargo es fácil detectarlos mediante un análisis de contexto debido a que los
números romanos suelen ir antecedidos o precedidos por un conjunto de palabras muy
limitado5. Aprovechando este hecho, decidimos categorizarlos por reglas de contexto.
Con las letras la situación es muy similar. El análisis morfológico no nos permite
distinguir cuando a funciona como preposición (Fue de Madrid a Barcelona) y cuando
como letra (La explicación está en el apartado a del Tomo 2). Sin embargo cuando
funcionan como letras suelen ir acompañadas por un conjunto de palabras clave
(apartado, anexo, letra, grado, etc.) por lo que pueden categorizarse con bastante
acierto con ayuda de reglas contextuales, aunque esto es dependiente del dominio.
Para la categorización de números romanos y letras creamos un nuevo fichero de
reglas: reglas_0. Estas reglas son las primeras que se aplican, inmediatamente después
del análisis morfológico, ya que son reglas para solucionar casos muy concretos.
Además de los números romanos y las letras, se ocupan también de la
categorización de algunas palabras extranjeras muy comunes, como por ejemplo, for,
rue o box. El módulo de preprocesamiento dispone de un detector de palabras
extranjeras que funciona bastante bien6. Pero hay palabras que escapan a este detector
ya que la información morfológica es insuficiente para determinar si se trata de palabras
extranjeras o no, para ello serían necesarios conocimientos más profundos. Para este
conjunto de palabras y debido a que son de uso frecuente, se han elaborado reglas
específicas y se han incluido en reglas_0. El tamaño total de este fichero es de 9 reglas.
•
REGLAS_CRATER
Es un conjunto de 217 reglas de terminación elaboradas dentro del proyecto Crater
[Crater 95] y que utilizaremos para establecer comparaciones con nuestras reglas de
terminaciones (reglas1_1 y reglas2_1).
5
La lista de palabras que suelen ir antes o despúes de un número romano se da en el apartado
5.1.4 del Capítulo 5.
6
Véase Capítulo 5.
193
Capítulo 9. Categorización gramatical
9.3.4 ADAPTACIÓN DEL PROGRAMA
Para el entrenamiento y evaluación del categorizador por reglas es necesario
disponer de texto categorizado y revisado manualmente, de manera que podamos
comparar los resultados del categorizador con dicho texto.
Hasta el momento el programa estaba preparado para la lectura de texto no
categorizado, por lo que fue necesario adaptarlo para que pudiera procesar los dos tipos
de texto (categorizado y sin categorizar). La opción de procesar texto categorizado sólo
tiene sentido cuando se aplican reglas contextuales, ya que es en éste caso cuando debe
compararse la categoría que ofrece como solución el categorizador y la que propone el
texto.
En la actualidad, el programa ofrece la posibilidad de procesar texto
categorizado y sin categorizar, así como la opción de aplicar o no reglas, tanto las de
terminación como las contextuales.
9.3.5 FICHEROS DE DEPURACIÓN
Para el análisis y evaluación del categorizador por reglas utilizamos varios ficheros
que nos proporcionan información sobre el número de reglas aplicadas, de su eficiencia
y de los errores cometidos. Existen tres ficheros de depuración para las reglas:
reglas.lst, errores.dep y resultados.dep.
•
REGLAS.LST
Este fichero ya existía anteriormente y contiene la frase antes y después de aplicar
una regla, de manera que podamos revisar manualmente la efectividad de esa regla en la
frase en la que se aplica.
El nombre de este fichero varía en función de las reglas que se apliquen; por
ejemplo, si se aplican las reglas1_1, el fichero se denomina reglas1_1.lst.
194
Capítulo 9. Categorización gramatical
ANTES DE REGLA 10:
Constituye
V..01H.0..
V..02U.0..
igualmente
B03..N.0##
B21..S.N##
un
A12##S.M## D01##S.M##
poderoso
A11..S.M##
N00##S.M##
factor N00##S.M##
de
P00##N.0##
* progreso
N00##S.M## V..01I.0..
técnico A11..S.M## N00##S.M##
y
C02##N.0##
económico
A11..S.M##
,
M07#######
por
B02###8###
cuanto B02###8###
las
D00##P.F## R02##T.F##
empresas
N00##P.F##
competidoras A11..P.F##
se
R02##..N##
ven
V..01T.0..
V..02U.0..
constantemente
B03..N.0##
B21..S.N##
forzadas
A11..P.F##
V..46P.F..
a
P00##N.0##
innovar
V..00N.0..
.
M06#######
$$$$ M46#######
DESPUES REGLA 10:
Constituye
V..01H.0..
V..02U.0..
igualmente
B03..N.0##
B21..S.N##
un
A12##S.M## D01##S.M##
poderoso
A11..S.M##
N00##S.M##
factor N00##S.M##
de
P00##N.0##
* progreso
N00##S.M##
técnico A11..S.M## N00##S.M##
y
C02##N.0##
económico
A11..S.M##
,
M07#######
por
B02###8###
cuanto B02###8###
las
D00##P.F## R02##T.F##
empresas
N00##P.F##
competidoras A11..P.F##
se
R02##..N##
ven
V..01T.0..
V..02U.0..
constantemente
B03..N.0##
B21..S.N##
forzadas
A11..P.F##
V..46P.F..
a
P00##N.0##
innovar
V..00N.0..
.
M06#######
$$$$ M46#######
Ejemplo 9.4 El fichero reglas.lst
195
Capítulo 9. Categorización gramatical
•
ERRORES.DEP
Este fichero contiene los errores cometidos al aplicar una reglas de contexto.
Cuando se aplica una regla contexto a una frase concreta, se compara la categoría que
asigna el categorizador por reglas con la solución que ofrece el texto categorizado
manualmente y en caso de que haya discrepancias entre ambas se escribe la regla
aplicada, el contexto en el que se aplica, la categoría que propone el categorizador y la
que propone el texto.
El objetivo de este fichero es poder evaluar por qué falla la regla, o bien, si se trata
de un error del texto con el que se compara.
REGLA 14:
Comisión
europea
ha
solicitado
a
los
países
N00##S.M## correcta: V0846S.M..
Ejemplo 9.5 El fichero errores.dep
•
RESULTADOS.DEP
Proporciona información sobre el número total de reglas aplicadas, qué reglas se
aplican, número de veces que se aplica y número de veces que falla cada regla. El
formato de este fichero es el siguiente:
Regla aplicada
Nº veces que se aplica
Nº veces que falla
Reglas 3
REGLA 7: 724 51 0.070442
REGLA 10: 1522 147 0.096583
REGLA 13: 7
0 0.000000
REGLA 14: 145 96 0.662069
Número total de reglas aplicadas: 6494
Errores en las reglas: 1032 0.158916
Número medio de categorías/palabra con categoria
Antes de aplicar las reglas: 1.501219
Después de aplicar las reglas: 1.258914
Ejemplo 9.6 El fichero resultados.dep
196
Error cometido
Capítulo 9. Categorización gramatical
9.4 RESULTADOS DEL CATEGORIZADOR GRAMATICAL
9.4.1 CATEGORIZACIÓN SIN REGLAS
TEXTOS 860
Palabras categorizadas
Nº medio
Total
Porcentaje (%)
categorías/palabra
Corpus 1
41563
99.92
1.51
Corpus 2
38354
99.94
1.51
Corpus 3
41383
99.68
1.49
Corpus 4
39507
99.93
1.50
Corpus 5
38102
99.93
1.50
Corpus 6
38605
99.93
1.51
Corpus 7
40883
99.96
1.50
Media
39767
99.90
1.50
Tabla 9.3 Resultados del categorizador sin reglas
TEXTOS
Palabras categorizadas
Nº medio
EL MUNDO
Total
Porcentaje (%)7
categorías/palabra
Año 1994
2176988
97.26
2.05
Año 1995
2204251
97.36
2.07
Media
2190619
97.31
2.06
Tabla 9.4 Resultados del categorizador sin reglas
(Datos medios mensuales)
Los resultados de la categorización sin reglas son buenos, con más de un 97 %
de texto categorizado, tanto en los artículos de El Mundo como en los Textos 860. El
hecho de que en El Mundo el porcentaje sea algo inferior se debe a que en los Textos
7
Porcentaje sobre el número total de palabras procesadas
197
Capítulo 9. Categorización gramatical
860 la mayor parte del vocabulario es conocido para el sistema. Los diccionarios del
proyecto 860 incluyen el vocabulario más frecuente de los corpus.
El número medio de categorías por palabra también es superior en El Mundo; la
razón está en que los Textos 860 han sido revisados manualmente y además tratan sobre
temas concretos, mientras que los artículos de El Mundo tratan un amplio abanico de
temas (economía, deportes, cultura, sucesos, etc.) y aparecen más registros idiomáticos
(culto, técnico, vulgar, ...).
El número medio de categorías por palabra de los textos de El Mundo puede
parecer elevado si lo comparamos con otros sistemas; por ejemplo, en el categorizador
desarrollado por J. Chanod y P. Tapanainen [Chanod 95] el número medio de categorías
por palabra es 1.64. Sin embargo las condiciones de trabajo de ambos sistemas distintas.
Su corpus de evaluación es más pequeño (5752 palabras frente a las más de 2250000
palabras que hay en un mes de El Mundo) y son artículos económicos, mientras que
nosotros procesamos artículos de todo tipo. Sin embargo, si comparamos estos
resultados con los obtenidos para los Textos 860, nuestro sistema ofrece mejores
resultados. En este caso las condiciones de comparación están más equiparadas en
cuanto al corpus evaluado, aunque nuestros corpus siguen conteniendo mayor número
de palabras.
•
RECALL
Los datos anteriores se refieren al porcentaje de texto categorizado pero no nos
sirven para evaluar la eficiencia del categorizador por reglas, para ello necesitamos
conocer el porcentaje de texto correctamente categorizado. Esta información la
proporciona el Recall, que se define como el número de veces que la categoría correcta
está en la lista de posibles categorías asociada a una palabra. Es decir, ¿se encuentra la
solución correcta entre la lista de categorías?
Para medir el Recall es necesario procesar texto categorizado manualmente, por eso
los datos de Recall se dan únicamente para los Textos 860. Se procesa el texto, y la
salida del categorizador (fichero categorizado.dep) se compara con el resultado de la
categorización manual. El Recall se calcula sumando el número de veces en que la
solución correcta se encuentra entre las que propone el categorizador. En este cálculo
se dan por válidas las siguientes situaciones:
198
Capítulo 9. Categorización gramatical
1. La solución correcta es un nombre propio extranjero y entre las soluciones que
propone el categorizador está la de nombre propio o viceversa. La justificación está
en que los Textos 860 no siguen un criterio uniforme a la hora de categorizar los
nombres propios extranjeros, unas veces les asignan la categoría nombre propio y
otras la de palabra extranjera8
2. La categoría correcta es sustantivo y en la lista propuesta se encuentra la de adjetivo
calificativo o viceversa. Las reglas de contexto se encargarán posteriormente de
categorizar correctamente nombres y adjetivos calificativos.
El Recall obtenido los siete Corpus de Entrenamiento se muestra en la siguiente
Tabla:
Corpus1 Corpus2 Corpus3 Corpus4 Corpus5 Corpus6 Corpus7 Media
Recall
99.44 % 99.50 % 99.01 % 99.34 % 99.45 % 99.50 % 99.54 % 99.40 %
Tabla 9.5 Recall
9.4.2 CATEGORIZACIÓN POR REGLAS
El objetivo de la categorización por reglas es mejorar el número medio de
categorías por palabra, es decir, la desambigüedad léxica y categorizar las palabras que
faltan tras el análisis morfológico, manteniendo el Recall obtenido anteriormente.
La primera prueba que realizamos fue aplicar cada una de las reglas a un corpus
y estudiar qué ocurría con el Recall. Como referencia tomamos el Corpus1. El resultado
fue que las reglas de terminación (reglas1_1 y reglas2_1) mantenían e incluso
mejoraban el Recall, mientras que las reglas de contexto, a excepción de las reglas_0,
(reglas1_2, reglas2_2 y reglas_3) lo empeoran considerablemente. De estas últimas, las
que menos estropeaban el Recall eran las reglas_3. La Tabla 9.6 presenta los resultados
obtenidos en esta prueba.
8
Véase Capítulo 8.
199
Capítulo 9. Categorización gramatical
CORPUS 1
Recall
Error cometido por las reglas
categorizador sin reglas
99.44 %
-
reglas_0
99.51 %
-
reglas1_1
99.49 %
-
reglas1_2
93.60 %
40.70 %
reglas2_1
99.41 %
-
reglas2_2
96.47 %
39.40 %
reglas_3
97.99 %
14.36 %
Tabla 9.6 Recall para el Corpus 1
•
REGLAS_0
Como era de esperar las reglas_0 ofrecen buenos resultados ya que han sido
diseñadas para categorizar casos concretos en los que el analizador morfológico era
insuficiente. A continuación se muestra el Recall antes y después de aplicar estas reglas
al corpus de Entrenamiento (Textos 860) y la mejora conseguida, definida como la
diferencia de Recall antes y después de aplicar las reglas.
Mejora = Recall después de reglas – Recall antes de reglas
Corpus 1 Corpus 2 Corpus 3 Corpus 4 Corpus 5 Corpus 6 Corpus 7
sin reglas 99.44 %
99.50 %
99.01 %
99.34 %
99.45 %
99.50 %
99.54 %
reglas_0
99.51 %
99.55 %
99.11 %
99.42 %
99.52 %
99.56 %
99.59 %
Mejora
0.07 %
0.05 %
0.10 %
0.08 %
0.07 %
0.06 %
0.05 %
Tabla 9.7 Recall antes y después de aplicar reglas_0
•
REGLAS DE TERMINACIÓN
La prueba realizada con el Corpus1 nos sirvió para comprobar que las reglas de
terminación mantenían el Recall pero, debido a que la mayor parte del vocabulario de
200
Capítulo 9. Categorización gramatical
los Textos 860 es conocido para el sistema, no nos dice nada sobre la efectividad de
estas reglas, entre otras cosas porque apenas se aplican.
Para estudiar la eficiencia de las reglas de terminación utilizamos el diccionario
Dinámico correspondiente a un mes del periódico El Mundo (abril 1994). El diccionario
Dinámico, como ya se explicó en el Capítulo 6, contiene las palabras desconocidas para
el sistema: palabras nuevas y errores tipográficos. A este corpus de 6920 palabras le
aplicamos las reglas_crater reglas1_1 y reglas2_1 y analizamos los resultados.
1. REGLAS_CRATER
Como conclusión general podemos decir que funcionan bien, categorizando
6831 de las 6920 palabras. Son muy ambiguas ya que muchas palabras las
categoriza como nombre común y adjetivo calificativo, por ejemplo, arbolitos,
elevalunas, paragolpes, con lo que el Recall es bueno, pero la precisión no.
Donde más errores comete es con los verbos y palabras extranjeras. En el caso
de los verbos, unas veces categoriza como verbos palabras que no lo son, por
ejemplo, elaboradísimo, telefamoso; y otras veces deja verbos sin categorizar, por
ejemplo, necesitabamos, la categoriza como sustantivo y adjetivo calificativo o
llevandose como sustantivo.
Muchas palabras extranjeras las categoriza como verbos: center, designer,
mater.
Por otro lado debemos aclarar que los diccionarios que usamos son distintos a
los del proyecto Crater.
Total
Categorizadas
Correctas
Error (%)
Verbos
243
246
87
64.2
Palabras extranjeras
225
225
190
15.55
Tabla 9.8 Resultados de las reglas_crater en verbos y palabras extranjeras
2. REGLAS1_1
Categorizan 2202 de las 6920 palabras del corpus evaluado, el 31.82 %. El
principal problema de estas reglas es que son muy ambiguas, categorizan muchas
palabras como sustantivo y adjetivo calificativo y deberían asignar solamente una de
201
Capítulo 9. Categorización gramatical
las dos categorías. Por ejemplo antisocialismo. En morfología la terminación –ismo
se utiliza para la formación de nombres. Las reglas deberían categorizar la palabra
como sustantivo y no como sustantivo y adjetivo. Esto hace que el Recall sea bueno
pero la precisión no, aumentando el número medio de categorías por palabra
innecesariamente.
Otro inconveniente es que tienen en cuenta la tilde pero no el acento. Por
ejemplo, categorizan hipnotizante como verbo. Para que una palabra que termina en
–ante sea verbo debe ser esdrújula o sobreesdrújula y sin embargo la palabra
considerada es llana. Considérese también el caso de huesped. Las reglas la
categorizan como verbo; una palabra terminada en –ed será imperativo verbal si es
aguda y huesped es llana. Estos errores podrían corregirse incorporando a las reglas
información sobre acentuación.
Por otra parte, observamos que faltan reglas para algunas terminaciones que dan
lugar a nombres y adjetivos, como por ejemplo: -ito (abuelita, corderito), -ólogo
(autólogo, podológo), -oma (linfoma, melanoma), -azo (muletazo, manaza). Al
carecer de reglas para estas terminaciones, el sistema suele fallar ya que les asigna la
categoría verbo.
Al igual que ocurría con las reglas_crater, donde más errores cometen las
reglas1_1 es con los verbos y las palabras extranjeras. Las reglas para los gerundios
son las que mejor funcionan (dentro del grupo de reglas verbales), aunque fallan
cuando se aplican a los ordinales, así decimosegundo lo categoriza como gerundio.
Sin embargo hay que resaltar que cuando se hicieron estas reglas no había un
conjugador verbal y por eso tenían que arriesgar, para intentar categorizar el mayor
número posible de palabras. Ahora, con el conjugador verbal, apenas quedan verbos
sin categorizar y las reglas de verbos se aplican a palabras que no lo son, por eso
fallan.
Total
Categorizadas
Correctas
Error (%)
Verbos
641
641
240
37.44
Palabras extranjeras
103
103
52
49.51
Tabla 9.9 Resultados de las reglas1_1 en verbos y palabras extranjeras
202
Capítulo 9. Categorización gramatical
Hay que destacar el buen funcionamiento de las reglas con los adverbios
acabados en –mente (experimentalmente, instintivamente), con los adjetivos
acabados en –ísimo (famosísimas, finísimo) y con los sustantivos terminados en –
ión (felación, expansión). Debido a la gran cantidad de palabras que responden a
estos patrones en el corpus, estas terminaciones son muy productivas en castellano,
y las reglas1_1 presentan una alta eficiencia.
A continuación, eliminamos del fichero reglas1_1 todas aquellas destinadas a
categorizar verbos, tanto formas finitas como infinitivos, gerundios y participios,
pasando de las 117 reglas iniciales a un conjunto de 77 reglas, y realizamos una
segunda prueba sobre un Corpus distinto: el diccionario Dinámico correspondiente a
diciembre de 1994, formado por 7011 palabras. Los resultados obtenidos fueron
bastante buenos; con este conjunto de 77 reglas categorizamos 1739 de las 7011
palabras, el 24.80 %, y de esas 1739, 20 no las evaluamos por tratarse de errores
tipográficos (por ejemplo, caracterica, governo, nismo). De las 1719 palabras
consideradas, 1698 las categoriza correctamente, lo que significa que el porcentaje
de error es del 1.22 %. Este nuevo conjunto de 77 reglas ofrece muy buenos
resultados desde el punto de vista del Recall, pero siguen teniendo el problema de
ambigüedad, ya que muchas palabras las categorizan como sustantivo y adjetivo.
Nuevas reglas1_1
Total
Categorizadas9
Correctas
Error10
7011
1719
1698
1.22 %
Tabla 9.10 Resultados del nuevo fichero reglas1_1
3. REGLAS2_1
Se encargan de categorizar, sobre todo, nombres comunes y adjetivos, aunque
también hay algunas reglas para formas verbales. Categorizan 2069 de las 6920
palabras que componen el Corpus considerado para la comparación de los tres
ficheros de reglas de terminaciones (diccionario Dinámico de abril de 1994), es
decir, el 29.90 %. De las 2069 palabras categorizadas, 4 son errores tipográficos
9
Palabras categorizadas sin considerar errores tipográficos.
10
Porcentaje sobre el número total de palabras categorizadas.
203
Capítulo 9. Categorización gramatical
(por ejemplo, afiliacioón, pildora, versioón), por los que sólo consideramos 2065
palabras, de las cuales, 1849 están correctamente categorizadas. Es decir, el error
cometido por las reglas2_1 es del 10.46 %.
reglas2_1
Total
Categorizadas11
Correctas
Error12
6920
2065
1849
10.46 %
Tabla 9.11 Resultados de las reglas2_1
La principal causa de error son los diminutivos, ya que considerando únicamente
la terminación de una palabra es difícil deducir si se trata de un sustantivo o de un
adjetivo. Consideremos, por ejemplo, la terminación -ita. Unas veces da lugar a
adjetivos: morenita, enterita, y otras a nombres: abuelita, ramita. Una posible
solución sería asignar a estas palabras la doble categoría sustantivo/adjetivo
calificativo. De esta manera aumentaría el Recall, pero a cambio disminuiría la
Precisión al aumentar el número de categorías por palabra.
De los tres ficheros de reglas evaluados (reglas_crater, reglas1_1 y reglas2_1),
son las menos ambiguas, ya que cuando se aplican a una palabra, le asignan una
única categoría; en consecuencia, la Precisión es muy buena.
Por último debemos mencionar que hemos encontrado casos en los que se
aplican reglas a palabras mal escritas o mal tildadas y sin embargo aciertan. Por
ejemplo: agüjero13 (sustantivo), alcadía (sustantivo), disminuído (participio).
•
REGLAS_3
De los tres ficheros de reglas contextuales reglas1_2, reglas2_1 y reglas_3, éstas
últimas son las que ofrecen mejores resultados en el sentido de que son las que menos
empeoran el Recall. La tabla 9.12 muestra el Recall antes y después de aplicar reglas_3
al corpus de Entrenamiento.
11
Palabras categorizadas sin considerar errores tipográficos.
12
Porcentaje sobre el número total de palabras categorizadas.
13
Entre paréntesis figura la categoría que asignan las reglas a la palabra considerada.
204
Capítulo 9. Categorización gramatical
Corpus 1 Corpus 2 Corpus 3 Corpus 4 Corpus 5 Corpus 6 Corpus 7
sin reglas 99.44 %
99.50 %
99.01 %
99.34 %
99.45 %
99.50 %
99.54 %
reglas_3
98.03 %
97.64 %
97.92 %
97.99 %
98.14 %
98.13 %
97.99 %
Tabla 9.12 Recall antes y después de aplicar reglas_3
Para estudiar qué reglas fallan y por qué motivo, analizamos los ficheros
errores.dep y resultados.dep del Corpus 1. El porcentaje de error al aplicar las reglas_3
es del 14.37 %. Las 35 reglas que componen este fichero pueden dividirse en seis
grupos:
1. Reglas que no se aplican nunca: 6
2. Reglas que aciertan siempre: 6
3. Reglas que fallan siempre: 3
4. Reglas que aciertan más de un 80 % : 6
5. Reglas que fallan más de un 80 % : 3
6. Reglas que están en un caso intermedio : 11
La eficiencia de las reglas podría mejorarse trabajando en tres frentes:
-
Resolver el problema de ambigüedad léxica de algunas palabras de uso
frecuente. Se trata de palabras que tienen una categoría claramente
preferente: entre, dicho, para, sobre, entre o una, y que si no se
categorizan correctamente en un primer momento hacen que las reglas
fallen sistemáticamente. Asignando a estas palabras su categoría
definitiva desde el comienzo se evitarían muchos errores y aumentaría
satisfactoriamente la eficiencia de las reglas.
-
Completando reglas. Algunas reglas están incompletas, para que su
aplicación
fuera
correcta
deberían
hacerse
más
restrictivas.
Consideremos, por ejemplo, la siguiente regla: cuando en el contexto
izquierdo de una palabra que puede ser un sustantivo o un verbo se
encuentra un determinante, una preposición, una contracción o una
preposición seguida por un determinante, la palabra ambigua será un
205
Capítulo 9. Categorización gramatical
sustantivo. La regla es correcta pero incompleta, le falta la condición de
que la palabra ambigua no sea nombre propio.
-
Analizando un contexto (izquierdo y derecho) más amplio. Muchas
reglas fallan porque consideran el contexto izquierdo pero no el derecho
o viceversa. En general, cuanto mayor sea el contexto analizado mayor
será la probabilidad de fallo de la regla.
Por último debemos comentar que estas reglas fueron diseñadas para aplicarse
después de reglas1 y reglas2 y por eso pueden parecer incompletas, además estaban
pensadas para resolver problemas concretos que surgían tras la aplicación de los dos
ficheros de reglas anteriores. Ahora bien, trabajando estas reglas en los puntos indicados
anteriormente creemos que podrían conseguirse buenos resultados, ya que el error no es
demasiado elevado (inferior al 15 %) y disminuyen apreciablemente el número medio
de categorías por palabras, consiguiendo un valor del 1.3. La Tabla 9.13 muestra el
número medio de categorías por palabra antes y después de aplicar reglas_3.
Sin reglas
Reglas_3
Error cometido por las reglas
Corpus 1
1.51
1.26
14.36 %
Corpus 2
1.51
1.26
14.79 %
Corpus 3
1.49
1.26
15.06 %
Corpus 4
1.50
1.25
15.12 %
Corpus 5
1.50
1.26
14.94 %
Corpus 6
1.51
1.26
14.99 %
Corpus 7
1.51
1.26
14.74 %
Tabla 9.13 Número medio de categorías por palabra antes y después de aplicar reglas_3
Para finalizar este apartado, debemos destacar que los ficheros de reglas
utilizados ya existían y lo único que hemos hecho es hacer distintas pruebas para
evaluar su utilidad.
206
Capítulo 9. Categorización gramatical
9.5 EVALUACIÓN DEL CATEGORIZADOR
Para la evaluación del categorizador utilizamos el corpus Eval14 formado por
38152 palabras categorizadas manualmente. Los resultados obtenidos en la
categorización sin reglas y tras aplicar reglas_0 y reglas_3 se recogen en la siguiente
Tabla:
Recall (%)
Nº medio
Error cometido
categorías/palabra
por las reglas (%)
sin reglas
99.24
1.50
-
reglas_0
99.48
1.50
0
reglas_3
97.87
1.26
15. 89
Tabla 9.14 Evaluación del categorizador
El categorizador sin reglas y con las reglas_0 ofrece buenos resultados, con un
99.94 % de palabras categorizadas y un Recall del 99.48 %.
9.6 COMPARACIÓN CON OTROS SISTEMAS
Con el objetivo de evaluar los resultados obtenidos por nuestro categorizador,
vamos a compararlos con los obtenidos por otros tres sistemas: el conversor texto-voz
de Telefónica [Castejón 97], el categorizador desarrollado por J. Chanod y P.
Tapanainen [Chanod 95] y el categorizador para el español basado en la teoría de Eric
Brill [Stathis 98]. En la Tabla 9.15 presentamos los resultados de estos tres
categorizadores.
14
Véase apartado 8.2 del Capítulo 8.
207
Capítulo 9. Categorización gramatical
Categorizador
Telefónica
Chanod & Tapanainen
Stathis
Tamaño del corpus
(nº de palabras)
Palabras
categorizadas
Nº medio
categorías/palabras
10168
5762
117542
97 %
98.7 %
99.33 %
1
1
1
Tabla 9.15 Resultados de otros categorizadores
•
EL CATEGORIZADOR DE TELÉFONICA
El categorizador de Telefónica tiene una precisión del 97 %. Este resultados no es
comparabale con los de nuestro sistema ya que, por un lado hace referencia a la
precisión y no al Recall y por otra parte, las condiciones de funcionamiento son
diferentes en cuanto al número de palabras evaluado, el tipo de texto procesado y el
conjunto de categorías empleado.
Telefónica utiliza un conjunto de 36 categorías mientras que en nuestro caso el
número de categorías es muy superior, considerando clase y subclase, existen 48
categorías distintias15. Por otra parte, el categorizador de Telefónica no distingue entre
nombres comunes y adjetivos calificativos ya que, en su opinión, complicaría mucho la
tarea y no tendría ninguna utilidad.
•
EL CATEGORIZADOR DE CHANOD & TAPANAINEN
Estos autores han desarrollado un categorizador para el francés y ofrecen resultados
no solo de precisión sino también sobre el porcentaje de texto categorizado en el análisis
morfológico, un 99.97 %. Este dato sí es comparable con los resultados de nuestro
categorizador sin reglas: 99.48 %. En este punto, su sistema tiene un número medio de
categorías de palabras del 1.64, que es ligeramente superior al nuestro: 1.5. Teniendo en
cuenta que el tamaño de nuestro corpus de evaluación es mayor, nuestro sistema obtiene
muy buenos resultados. En este caso desconocemos la lista de categorías empleada por
Chanod & Tapanainen.
15
La lista de categorías que utiliza el programa se da el Anexo A.
208
Capítulo 9. Categorización gramatical
Recall
Nº medio categorías/palabra
Chanod & Tapanainen
99.97 %
1.64
Nuestro categorizador
99.48 %
1.50
Tabla 9.16 Comparación de resultados con Chanod & Tapanainen
•
EL CATEGORIZADOR DE BRILL ADAPTADO
Este categorizador está basado en la teoría de errores guiados de Eric Brill16. El
sistema utiliza un conjunto de 60 categorías, bastante similar, en número y tipo de
categorías empleadas, al nuestro y realiza pruebas en dos corpus distintos: el primero
está formado por 117542 palabras y el segundo por 370163. El porcentaje de texto
categorizado es similar al nuestro. Ahora bien, debemos destacar que esta adaptación
del categorizador de Brill procesa textos muy poco ambiguos mientras que nuestro
corpus de evaluación incluye textos de tres tipos distintos: legislativos, documentos de
la Comunidad Europea y periodísticos. Cuando al categorizador de Stathis
se le
presenta texto un poco más ambiguo empeoran ligeramente los resultados,
disminuyendo el Recall y aumentando el número medio de categorías por palabra. Esta
es la explicación de la diferencia de resultados que aparecen en la Tabla 9.17; el Corpus
1 es menos ambiguo que el Corpus2 y por eso los resultados obtenidos son mejores.
Precisión
Corpus 1
Tamaño del corpus
(nº de palabras)
117542
99.33 %
Tasa de ambigüedad
del corpus
1.59
Corpus 2
370162
98.38 %
1.63
Tabla 9.17 Resultados del categorizador de Stathis
16
Para una descripción más detallada del categorizador de Stathis y Juan Manuel Montero y de
la teoría de Eric Brill puede consultarse el Capítulo 2.
209
Capítulo 9. Categorización gramatical
210
Capítulo 9. Categorización gramatical
CAPÍTULO 9 CATEGORIZACIÓN GRAMATICAL .........................................182
9.1 EL SISTEMA DE CATEGORIZACIÓN 860 ................................................184
9.1.1 CATEGORÍAS 860.................................................................................184
9.1.2 NUEVAS CATEGORÍAS ........................................................................185
9.2 CATEGORIZACIÓN SIN REGLAS .............................................................187
9.2.1 CATEGORIZACIÓN DE UNIDADES ESPECIALES..............................187
9.2.2 CATEGORIZACIÓN POR DICCIONARIO ............................................189
9.2.3 EL FICHERO CATEGORIZADO.DEP...................................................190
9.3 CATEGORIZACIÓN POR REGLAS ............................................................190
9.3.1 REGLAS DE TERMINACIONES............................................................191
9.3.2 REGLAS DE CONTEXTO......................................................................191
9.3.3 LOS FICHEROS DE REGLAS ...............................................................192
9.3.4 ADAPTACIÓN DEL PROGRAMA .........................................................194
9.3.5 FICHEROS DE DEPURACIÓN.............................................................194
9.4 RESULTADOS DEL CATEGORIZADOR GRAMATICAL.........................197
9.4.1 CATEGORIZACIÓN SIN REGLAS.........................................................197
TEXTOS 860 ...........................................................................................................197
9.4.2 CATEGORIZACIÓN POR REGLAS.......................................................199
9.5 EVALUACIÓN DEL CATEGORIZADOR ...................................................207
9.6 COMPARACIÓN CON OTROS SISTEMAS................................................207
195