1
Download capítulo 5 preprocesamiento - Grupo de Tecnología del Habla
Document related concepts
Transcript
Capítulo 5. Preprocesamiento CAPÍTULO 5 PREPROCESAMIENTO La función del Preprocesador es convertir el texto de entrada (secuencia de caracteres) a un formato adecuado para su tratamiento por el resto de los módulos del conversor texto-voz, especialmente el de Análisis Lingüístico. El Preprocesador es el único que trata de forma directa con el texto de entrada, el resto de los módulos parten de los resultados por él generados. Queremos resaltar que en todo momento consideramos texto correctamente escrito, y que los posibles fallos del sistema debidos a errores tipográficos (palabras mal escritas, sin acentuar, frases escritas sin espacios en blanco entre las palabras, ...) no son computables a la hora de evaluar el sistema. Las principales funciones del pre-procesado de textos se presentan esquemáticamente en la Figura 5.1 A la descripción detallada de cada una de ellas irá dedicado este capítulo. 49 Capítulo 5. Preprocesamiento Texto segmentación frase Detección y tratamiento de unidades especiales números, fechas, horas, y romanos nombres propios y compuestos abreviaturas y siglas preparación de las categorías de cada palabra Figura 5.1. Principales funciones del Preprocesado 5.1 SEGMENTACIÓN Proporcionar unidades para el análisis lingüístico es el cometido de la segmentación. La primera tarea consiste en delimitar dentro del texto la unidad de trabajo para el resto de los módulos de análisis. En nuestro caso, coincidiendo con la mayoría de los conversores texto-voz actuales, la unidad elegida es la frase. Hemos decidido que el final de frase viene marcada por uno de los siguientes signos: - cierre de interrogación ( ? ) - cierre de exclamación ( ! ) - puntos suspensivos - final de párrafo ( ¶ ) - punto fin de frase seguido por una palabra que comience por letra mayúscula o por nada (final del texto). 50 Capítulo 5. Preprocesamiento De esta manera, el sistema comprende el texto de entrada como una sucesión de frases que irá procesando secuencialmente. A continuación, el preprocesador reconoce y aísla las diferentes palabras que componen la frase. Inicialmente se realiza una separación ciega por los espacios en blanco y, a partir de ella, se separan palabras y signos de puntuación. Los signos ortográficos se consideran suficientemente importantes como para formar una unidad independiente con su propia categoría gramatical. Esta segunda separación es bastante laboriosa ya que implica resolver importantes ambigüedades, por ejemplo, determinar si un punto es fin de frase o si forma parte de una expresión numérica o una abreviatura. En el primer caso, fin de frase, lo consideramos como una unidad independiente y por lo tanto, debe aparecer aislado, mientras que en el segundo no puede separarse ya que forma parte del conjunto y todo él es una unidad. Por tanto, la división de una frase en las distintas palabras que la forma no es una tarea trivial, sino que requiere un cuidadoso tratamiento. En nuestro sistema cada frase forma una única estructura de datos delimitada por una marca de comienzo y otra de fin de frase. Definimos los comienzos y finales de frase de la siguiente forma: • COMIENZOS DE FRASE Consideramos comienzos de frase: - signos ortográficos: ¿, ¡, (, “ , «, seguidos de una palabra que empiece por letra mayúscula. - palabras que comiencen por letra mayúscula y vayan antecedidos por un signo de final de frase o por nada (comienzo de texto). • FINALES DE FRASE Como delimitadores de frase utilizamos los signos de final de interrogación ( ? ), exclamación ( ! ), puntos suspensivos ( ... ) y el punto siempre que no forme parte de abreviaturas o nombres propios. En el caso de expresiones numéricas o de siglas se estudia si el punto es final de frase o forma parte de la palabra. El error cometido por no considerar finales de frase válidos las abreviaturas es del 0.066%, evaluado sobre 10544 frases. 51 Capítulo 5. Preprocesamiento La determinación de las palabras que componen la frase se lleva a cabo en dos fases. La primera utiliza como separador de palabras los espacios en blanco. La segunda fase comprueba si el resultado de la primera separación contiene signos ortográficos. En caso afirmativo, estudia si se trata de signos ambiguos (puntos, comas, guiones, puntos suspensivos) o de signos de interrogación, exclamación, puntos y comas. En este último caso el proceso termina con la separación palabra-signo, resultando dos unidades independientes. Los signos ortográficos ambiguos requieren un tratamiento más complejo. En primer lugar hay que estudiar si se trata de signos de puntuación o forman parte de expresiones numéricas (ej. 11.3 litros, 2,03 metros, 12.546,7 ), fechas (ej. día 21.09.92, fecha 28.06.94, domingo 28.08.1994 ), siglas (ej. U.S.A, S.O.S, S.A ) o abreviaturas (ej. pág., min., etc. ). Algunas de estas unidades pueden reconocerse por tener una estructura regular, como es el caso de los números o las fechas. Otro signo interesante es el de los puntos suspensivos. Dada la alta variabilidad con que pueden venir representados, consideraremos puntos suspensivos secuencias de dos, tres o más puntos seguidos, sin espacios en blanco entre sí. Una vez aislados, hay que determinar si funcionan como limitadores de frases o como un signo ortográfico dentro de la frase. Por ejemplo, en la frase: La publicación del libro está prevista para el próximo verano, pero un «duende de imprenta» acaba de filtrar a la prensa el más jugoso de sus capítulos: una tórrida escena de amor entre una espía alemana y el jefe de personal de la Casa Blanca... funciona como limitador , mientras que en esta otra: Patalea, protesta... pero nada, no ha sido capaz de detener esta producción. funciona como signo ortográfico dentro de la frase. Algunas de sus funciones principales son [Castro 99]: a) marcar interrupciones en un discurso: Y así seguimos hasta que... En fin, hasta que ganamos. 52 Capítulo 5. Preprocesamiento b) Indicar una pausa que precede a una sorpresa para el lector: Y cuando llegó él, apareció... ¡su esposa! c) Expresar emoción, titubeo, expectación, etc.: Sí... claro... buf, qué horror. d) Omitir datos que se creen conocidos por el lector dentro de una enumeración: Son abundantes los topónimos árabes en América: Guadalupe, Guadalajara... e) Sustituir palabras o fragmentos de palabras que el autor no quiere mencionar: El maldito ... siempre estaba fastidiándonos. Los puntos suspensivos pueden ir acompañados de otros signos, a excepción del punto. Asimismo, si se cita un texto en el que se omiten algunos fragmentos, deberán incluirse puntos suspensivos entre corchetes. Si una frase comienza por puntos suspensivos porque se omite intencionadamente el comienzo, los puntos deben ir seguidos de un espacio. La combinación de puntos suspensivos con etcétera es redundante y debe evitarse. Ejemplos Las principales etnias negras —bantúes, masais, hutus...— llegaron después. ¿Debería divorciarme?... ¡No tires, me vas a romper la ...! Sobre el siglo XVI [...] los flamencos [...] admitieron la superioridad comercial. ... a la orilla del mar, por fin. Un signo ortográfico especialmente importante en la segmentación del texto es el guión. Este elemento puede desempeñar múltiples funciones; ser usado como paréntesis (ej. “¿Es Navarra –como usted sostiene- «una nacionalidad» histórica?” o “La decisión del presidente sudafricano –aunque esperada- suscitó ayer un enorme revuelo en todo el espectro político del país.”), como continuador al final de una línea (en los textos periodísticos con los que trabajamos no hemos encontrado ningún guión que desempeñe esta función), para la formación de palabras compuestas (ej. físico-químico, franco-alemanes, ex-cargo), siglas (ej. Tele-5, TV-3, PSE-PSOE ), abreviaturas (ej. carretera N-III, m/s, km/h), fechas (ej. 31-12-88, 23-3-1992, 14-9-1980 ). 53 Capítulo 5. Preprocesamiento Para ilustrar el funcionamiento del bloque de segmentación, veamos un ejemplo: • Texto de entrada: El doctor Faraco merece felicitación pública. En esta España de tantas campañas sanitarias, donde a todos nos quieren quitar del tabaco, nadie habla del mal ejemplo de salud dental que dan muchos políticos, con la boca poco menos que cayéndoseles a pedazos. Quizá como la odontología, salvo las extracciones dentarias, no está incluida en la Seguridad Social, no quiere el Ministerio de Sanidad poner la miel en los labios de lo que la mayoría de los españoles se tienen que pagar de su bolsillo o con cargo a la iguala sanitaria privada, como es la siempre más que dolorosa factura del dentista. Se ve que González, que antes no era precisamente ejemplo de higiene bucal, tiene la dentadura mejor cuidada desde que Faraco es el encargado de la bodeguilla estomatológica. • Segmentación en frases: Frase1. El doctor Faraco merece felicitación pública. Frase2. En esta España de tantas campañas sanitarias, donde a todos nos quieren quitar del tabaco, nadie habla del mal ejemplo de salud dental que dan muchos políticos, con la boca poco menos que cayéndoseles a pedazos. Frase3. Quizá como la odontología, salvo las extracciones dentarias, no está incluida en la Seguridad Social, no quiere el Ministerio de Sanidad poner la miel en los labios de lo que la mayoría de los españoles se tienen que pagar de su bolsillo o con cargo a la iguala sanitaria privada, como es la siempre más que dolorosa factura del dentista. Frase 4. Se ve que González, que antes no era precisamente ejemplo de higiene bucal, tiene la dentadura mejor cuidada desde que Faraco es el encargado de la bodeguilla estomatológica. 54 Capítulo 5. Preprocesamiento • División de las frases en palabras: Frase: Según el ex gobernador, había dado órdenes a Manuel de la Concha para que no invirtiera en bancos, ya que era incompatible con su condición de máximo responsable del banco emisor. Tras la división: [Según] [el] [ex] [gobernador] [,] [había] [dado] [órdenes] [a] [Manuel] [de] [la] [Concha] [para] [que] [no] [invirtiera] [en] [bancos] [,] [ya] [que] [era] [incompatible] [con] [su] [condición] [de] [máximo] [responsable] [del] [banco] [emisor] [.] 5.2 DETECCIÓN DE UNIDADES ESPECIALES Tras delimitar la frase y las diferentes palabras que la componen, el siguiente paso es detectar unidades que requieren un procesado especial: números, fechas, horas, abreviaturas, nombres propios, números romanos, ... Esta tarea es necesaria para la correcta y completa categorización de la frase y en definitiva para su correcta lectura. Para que el sistema pueda detectar estas unidades especiales tiene que saber qué es lo que debe reconocer. Por lo tanto, lo primero es definir cada uno de los casos a reconocer. 5.2.1 • DEFINICIÓN DE UNIDADES ABREVIATURAS La abreviatura se forma de una sola letra o de una sola palabra y no se puede pronunciar en la mayor parte de los casos: cta., cuenta; sta., señorita. Tienen flexión de género: Sr., Sra., ntro., ntra., y de número; si están constituidas por una sola letra, normalmente ésta se duplica para indicar el plural: de c.f., ff.cc. (ferrocarriles). Si la abreviatura es de un tiempo verbal no admite forma plural; así, v. (véase o véanse). Cuando la abreviatura termina en consonante, el plural se forma añadiendo el morfema 55 Capítulo 5. Preprocesamiento –es: de gral., grales.; Sr., Sres. Aunque hay algunas excepciones: Ud., Uds.; pág., págs.; o vol., vols. Cuando la abreviatura termina en vocal, el plural se forma añadiendole una –s: de Sra., Sras.; Itre., Itres. Las abreviaturas llevan punto y cuando van seguidas van separadas por espacio: p. ej., (por ejemplo). Después del punto admiten cualquier signo de puntuación, excepto otro punto. Es imposible sujetar a números y reglas fijas y constantes las abreviaturas, habiendo libertad para convenir en cuantas sean necesarias y oportunas. No obstante, la costumbre si ha consagrado algunas abreviaturas de uso común, incluidas en una lista por la Real Academia Española en el Esbozo de una nueva gramática de la lengua española. De acuerdo con la Academia y con todos los lingüistas, las abreviaturas terminan en punto y tienen flexiones de género y número. Sin embargo, algunas abreviaturas aprobadas en 1949 por la asamblea general de la Unión Internacional de Física son consideradas como símbolos, cuando se trata de medidas del sistema métrico decimal; se escriben sin punto y son invariables, es decir van siempre en singular: cl (centilitro/s), cm (centímetro/s). Con los símbolos es imposible la regla de empezar con mayúscula la primera letra después de punto. Por ejemplo, dl es abreviatura de decilitro; si hubiéramos puesto Dl, esta no sería la abreviatura de decilitro, sino la de decalitro. Es importante observar que mientras que las abreviaturas que tratamos en este texto, pertenecen a la lengua española, los símbolos del sistema métrico son una convención internacional y su grafía es, por lo tanto, la misma en todas las lenguas que utilicen el alfabeto latino. La Real Academia no establece la diferencia entre las abreviaturas y los símbolos. La lista se titula Abreviaturas que más comúnmente se usan en castellano; a pesar de ello, faltan símbolos tan comúnmente usados como km (kilómetro); figura el símbolo m. (minuto/s), en cambio no figura el de hora ni el de metro. Desconocemos cuál es el criterio de la Academia con respecto a c.c. (centímetro/s cúbico/s), en lugar de c c; y algo semejante ocurre con pta. (peseta), que en la lista anterior tiene dos plurales: ptas., pts. (pesetas). El símbolo pta (peseta/s) forma parte del sistema métrico decimal, y así es reconocido internacionalmente, no es necesario el punto ni la forma plural, ya que suele ir precedido por un número [EFE 99]. De acuerdo con lo expuesto anteriormente, para la detección de la abreviaturas, el sistema comprueba que se trata de palabras terminadas en punto, no escritas 56 Capítulo 5. Preprocesamiento completamente en mayúsculas y seguidas de una palabra escrita en minúsculas. Se admiten tres posibles formatos: - palabras escritas en minúsculas y terminadas en punto. Ejemplos: min., ej., etc. - palabras cuya primera letra es mayúscula, el resto son minúsculas y acaban en punto. Ejemplos: Pág., Sr., Cap.. - letra + punto + letra. Ejemplos: a.m, V.O, c.c. Posteriormente un módulo se encarga de su expansión. • SIGLAS Las siglas, al igual que las abreviaturas, se reconocen vía expresión regular. Se distinguen tres casos: - palabras de entre dos y cinco letras escritas en mayúsculas. Ejemplos: PP, ETA, PSOE. La decisión de limitar el tamaño de las siglas de dos a cinco letras se debe a que palabras de una letra y de más de cinco no son fiables1. - palabras con el formato “mayúscula + punto “. Ejemplos: U.S.A, C.E.E, S.A. - palabras de la forma “mayúscula + número”. Ejemplos: U2, C15, CD4. Para el caso de las siglas se reduce la variabilidad tipográfica admitiendo un único formato (palabra con todas sus letras en mayúsculas) con el propósito de facilitar su tratamiento posterior. En el mismo proceso de reconocimiento se quitan los puntos, en el caso de que los tengan. Así, si en el texto de entrada aparece U.S.A, se convierte en USA. Posteriormente un módulo se encarga de su expansión, al igual que en el caso de las abreviaturas. • NÚMEROS Conjuntos de dígitos que responden a una de las siguientes estructuras: - uno o más dígitos del 0 al 9. Ejemplos: 25, 795, 3204. - uno o más dígitos del 0 al 9 seguidos por una coma y uno o más dígitos del 0 al 9 (formato decimal español). Ejemplos: 2,06, 87,3, 52,270. - Grupos de tres dígitos del 0 al 9 separados por puntos. El primer grupo puede constar de 1, 2 ó 3 dígitos. El punto se utiliza para indicar unidades, decenas, 1 En el apartado 5.2.4 de este Capítulo se justifica esta decisión. 57 Capítulo 5. Preprocesamiento centenas de mil, de millar ... El último grupo puede ir seguido de una coma y uno o más dígitos del 0 al 9. Ejemplos: 1.200, 360.000, 40.020. Los dos últimos formatos coinciden con lo expuesto por en [Oroz 99] sobre la forma de escribir los números. En los números, la coma se utiliza solamente para separar la parte entera de la parte decimal. Para facilitar la lectura, los números pueden estar divididos en grupos de tres cifras (a partir de la coma, si hay alguna): estos grupos no se separan jamás por puntos ni comas. La separación en grupos no se utiliza para los números de cuatro cifras que designan un año. Además hemos aceptado dentro de este grupo número cuyo primer dígito es una l, ya que hemos observado que algunos autores utilizan dicha letra en lugar del 1 (error tipográfico). Ejemplos: el l2 de junio, (l927-l936), año l939. • FECHAS Conjuntos de números que presentan uno de los siguientes formatos: - día-mes-año o día/mes/año: número del 1 al 31 + (-, /) + número del 1 al 12 + (-. /) + grupo de 1 a 4 dígitos del 0 al 9. Ejemplos: 21-02-94, 21-06-94, 26/7/94. - día.mes.año: número del 1 al 31 + . + número del 1 al 12 + . + grupo de 1 a 4 dígitos del 0 al 9. En un principio no considerábamos este formato pero durante la fase de entrenamiento decidimos incluirlo. Ejemplos: 28.12.94, 24.11.1994, 04.12.84. - día-mes o día/mes: el formato es el mismo que el anterior suprimiendo la parte correspondiente al año (el grupo final de dígitos). No hemos encontrado ningún caso con este formato. - Mismo formato que los anteriores pero con el mes escrito con números romanos. Ejemplos: 31-XII-1987, 18-II-1995, 9-I-1990. - Mismo formato que los anteriores pero el mes aparece escrito con letras. En este caso se comprobará que la palabra se corresponde con un mes (enero, febrero... diciembre). Ejemplos: 1-marzo-1995, 7-enero-1995, 25-noviembre-1991. El orden normal en nuestro idioma es día + mes + año, tanto si se escribe todo con letras como si se combina números y letras, o sólo números. En países donde coexistan varios formatos de hora o donde la influencia de otro idioma sea grande, puede ser 58 Capítulo 5. Preprocesamiento recomendable escribir los meses en números romanos. Los nombres de los meses –igual que los de las estaciones y los días de la semana- se escriben en minúsculas [Castro 99]. • HORAS Dos o tres grupos de dígitos separados por dos puntos (:) con la siguiente estructura: - hora : minuto : segundo. Número del 0 al 23 + : + número del 0 al 59 + : + número del 0 al 59. Ejemplos: 11:24:54, 1:13:10, 12:38:35. - hora : minuto. Número del 0 al 23 + : + número del 0 al 59. Ejemplos: 19:30, 21:38, 12:51. - Khora.minuto. K + número del 0 al 23 + . + número del 0 al 59. Ejemplos: K22.00 h., K23.30 h., K13.00 h. Este formato horario aparece en los artículos de Televisión para indicar la hora y cadena de emisión de un determinado programa, por ejemplo: El programa de Cousteau también muestra imágenes insólitas de la isla. K22.00 h. La 2¶, En el espacio también se ofrece una entrevista con la actriz Rosa María Sardá y el director Fernando Colomo. K22.30 h. A 3¶. En algunos países hispanohablantes se emplea el sistema estadounidense (p.m y a.m) y, en otros, el sistema de veinticuatro horas. En cualquier caso, las horas no pueden separarse con comas, pues no son cifras decimales sino sexagesimales. El iso emplea los dos puntos para separar las horas y este es el criterio adoptado por nosotros. • NÚMEROS ROMANOS Determinadas combinaciones de las siguientes letras escritas en mayúsculas: I, V, X, L, C, D y M. Ejemplos: siglo XIX, II Guerra Mundial, IV Asamblea Federal. El detector comprueba que sea una combinación válida, así VV ó LMX no serían considerados números romanos. • NOMBRES PROPIOS Palabras que empiecen por mayúscula y las demás letras sean minúsculas. Ejemplos: España, Rodríguez, Cristina. Cuando un nombre propio aparece al comienzo de una frase, si no está en alguno de los diccionarios de nombres propios no se considera como tal. El error cometido por esta decisión es del 2.7%, evaluado sobre 10544 frases. 59 Capítulo 5. Preprocesamiento • COMPUESTOS Distinguimos los siguientes casos: 1. Nombres propios Grupos de dos o más palabras que se caracterizan porque cada una de ellas comienza por mayúscula y las demás letras son minúsculas. Ejemplos: El Corte Inglés, Semana Santa, Ramón Mendoza. 2. Nombres propios con abreviatura Igual que el caso anterior pero al menos una de las palabras que forman el compuesto es de la forma “mayúscula + punto”. Ejemplos: Luis R. Manzanares, César V.A, O. Menocal. 3. Compuestos con de/del Grupos de tres o más palabras entre las que aparece la partícula “de” o “del”. Se contemplan dos casos: - Una o más palabras cuya primera letra es mayúscula y las restantes son minúsculas + de/del + palabras que empiecen por mayúscula y las demás letras sean minúsculas. Ejemplos: Ministerio del Interior, Instituto Nacional de Estadística, Comunidad de Madrid. - Una o más palabras cuya primera letra es mayúscula y las demás son minúsculas + de + la/los/las + una o más palabras que comienzan por mayúscula. Ejemplos: Congreso de los Diputados, Ricardo de la Cierva, Instituto Nacional de la Seguridad Social. 4. Compuestos con guión Grupos de dos o más palabras que se caracterizan por estar unidas por un guión y empezar por letra mayúscula. Ejemplos: Díaz-Ambrona, Ruíz-Giménez, Castilla-León. • FIRMAS DE AUTORES Nombres propios escritos en mayúsculas. Se distinguen dos casos: 1. Sin abreviatura Ejemplos: ANTONIO GARCIA-TREVIJANO, JUAN DELIBES. 60 ANTONIO JIMENEZ ALVAREZ, Capítulo 5. Preprocesamiento 2. Con abreviatura Ejemplos: LUIS G . CAVIEDES, P.BLASCO/B.MUÑOZ, F.BERMEJO. Estos nombres corresponden a artículos firmados por parte de sus autores. Veamos dos ejemplos concretos: Ejemplo1 La burla sardónica de González¶ Sr. Director:¶ Tras recibir a los señores Carlos Lage y José Luis Rodríguez, enviados de Castro, el señor don Felipe González, presidente [...] ¿O es que no interesa la libertad de Cuba? ¿Será, tal vez, éste el quid de la cuestión?¶ OFELIA G. MENOCAL¶ Ejemplo 2 Se suele decir que a los italianos les falta el valor en la guerra y les sobra el talento en la política. [...] Y si lo abandona, en favor de la fórmula política Berlusconi, empezará en Italia el conflicto social que amenaza el retorno al Estado liberal.¶ ANTONIO GARCIA-TREVIJANO es abogado y escritor.¶ • TITULOS Palabras escritas en mayúsculas que dan nombre al artículo. Distinguimos dos casos: - Una o varias palabras escritas en mayúsculas + . + -. Ejemplos: DESPILFARRO.-, LONDRES.-, PROPIEDADES EN ESPAÑA . -. - Grupos de palabras escritos en mayúsculas cuya primera palabra no es un nombre propio. Ejemplos: LA FISCAL SIN PIEDAD, TENIS PALERMO, BASTIONES DE PODER. A continuación figuran dos ejemplos para clarificar más a lo que nos estamos refiriendo: 61 Capítulo 5. Preprocesamiento Ejemplo 1 TEXTO : El Príncipe Eduardo de Inglaterra se casará en julio¶ LONDRES.- El Príncipe Eduardo, hijo menor de la Reina de Inglaterra, se casará a finales del próximo mes de julio o a principios de agosto, según la prensa británica, que asegura que los preparativos para el enlace se encuentran muy avanzados. Ejemplo 2 No parece que los guerristas vayan a consentir la maniobra, ni que quieran perder una de sus todavía plazas fuertes.¶ BASTIONES DE PODER En Canarias, tras la pérdida del Gobierno a manos de la coalición nacionalista, Jerónimo Saavedra recibió el premio de un Ministerio. • COMBINACIONES DE LETRAS, NÚMEROS, NÚMEROS ROMANOS Y GUIONES Los casos contemplados son los siguientes: - Mayúscula + - + número. Ejemplos: A-3, F-18, M-30. - Mayúscula + / + número. Ejemplos: A/310, K/5104 . - Mayúscula + - + número romano. Ejemplos: N-VI, N-III . - Letra + - + palabra. Ejemplos: e-mail, T-shirt, M-Technic. - letra + / + palabra. Ejemplos: y/o, c/Gabelas, B/C. • GUIONES ( -, / ) Los guiones encontrados en el texto cumplen las siguientes funciones: - Formación de palabras compuestas. Ejemplos: contencioso-administrativo, hombre-máquina, castellano-manchego. - Siglas. Ejemplos: A3-TV, SOMA-FIE-UGT, TV-3. - Abreviaturas. Ejemplos: kg./cm2, km/hora, pts./metro. - Expresar género y número. Ejemplos: querido/a, los/las, lectores/as. 62 Capítulo 5. Preprocesamiento - Paréntesis. Ejemplos: Rocha –según declaración de otra de las inculpadas- había ingresado dos días antes del 28 de septiembre la cantidad de 243.000 pesos”, “Los gatos –blancos o negros- siguen relamiéndose. • GUIONES DOBLES ( -- ) Expresiones o frases en las que aparezcan dos guiones seguidos. Ejemplos: Dos años de AVE--Se cumplen dos años de AVE, que es lo único que queda de [...], BERLIN.- El Bundestag -Parlamento alemán-- aprobó ayer por tan sólo 7 votos de ventaja la controvertida ley [...]. • PALABRAS SIN VOCALES Palabras que no contienen ninguna vocal, tanto acentuada como sin acentuar. Ejemplos: m2, SPf66, Cds. • %, #, &, @, $ Ejemplos: - 60%, 2,25% . - #El Ecofín no sabe cómo financiar la red de infraestructuras¶ - rock & rol, AT&T, Plaza & Janés. - [email protected], tó[email protected]. - Gil $¶ Andrijasevic $$$¶ Gudelj $$¶ Cambios: J.Aguirre por Vicente en el min.77 $¶ Salva por Ratkovic en el min.86 $¶ El signo & es una duda común entre los profesionales que trabajan con el idioma. Su nombre es español es et, pues es una deformación gráfica del vocablo latino er. En inglés se denomina ampersand, como deformación de and per se and. Se pronuncia Y, pues a tal conjunción sustituye. No es cierto que sea un símbolo inglés, ya que del latín pasó a muchos idiomas, incluido el español, aunque su uso en nuestra lengua es superfluo pues no resulta económico (a diferencia de otros idiomas) ya que la conjunción Y tiene una grafía breve y sencilla. Según Buonocore, «la traducción del 63 Capítulo 5. Preprocesamiento signo & es y, and, et, und, etc., según el idioma sea el español, inglés, francés [o latín] o alemán». En textos españoles antiguos pueden hallarse la forma &c o & cétera [Castro 99]. • PALABRAS CON CARACTERES ESPECIALES ( ¨, ‘ , ç, ^) Ejemplos: - Citroën, Tannhäuser, Maitre. - Ornella d`Orazzi, L`Oreal, Fouquet`s. - Barça, força, François. - Château, tête, Côte-d»Or. 5.2.2 EL DETECTOR DE UNIDADES ESPECIALES El módulo encargado del reconocimiento de las unidades definidas en el apartado anterior recibe como entrada una frase donde las palabras y signos ortográficos están claramente definidos, es decir, la salida del módulo de segmentación. El detector de unidades especiales va recorriendo la frase, palabra por palabra, comprobando si se ajustan a alguna de las definiciones anteriores. Cada palabra lleva asociado un código o rasgo; se trata de un conjunto de 64 bytes, aunque nosotros solo utilizamos 32, para indicar si se trata de una unidad especial o no, y en caso afirmativo, de qué unidad concreta se trata. Por ejemplo, una abreviatura tendrá un ‘1’ en el byte 1, mientras que una hora tendrá un ‘1’ en el byte 31. Algunos de estos rasgos no son excluyentes entre sí; así una palabra puede ser número romano y fin de frase, por ejemplo XXI: Personajes del mundo de la política y de las artes acudieron a esta cita, que desbordó todas las previsiones de los responsables del Club Siglo XXI. o comienzo de frase y abreviatura (bytes 0 y 1 a ‘1’), por ejemplo Pág.: Nirvana era uno de los grupos de rock más representativos de los años 90. Pág. 81¶ 64 Capítulo 5. Preprocesamiento Si la palabra analizada no se corresponde con ninguna unidad especial, tendrá un ‘0’ en todos los bytes de su rasgo. De manera que leyendo este campo se puede saber si se trata de una unidad especial o de una palabra normal, y distinguir el tipo de unidad especial en cuestión. Nuestro detector de unidades se implementa como un autómata finito reconocedor de secuencias regulares, libres de errores tipográficos. Para realizar su tarea cuenta con la ayuda de un conjunto de diccionarios2, tanto generales como específicos (siglas, abreviaturas, nombres, etc.). La categorización de las unidades especiales se realiza según se van reconociendo. En consecuencia, el detector realiza una doble labor: identificar las unidades especiales que hay en la frase, y una vez detectadas, les asigna la categoría gramatical correspondiente. Además existe un fichero de depuración para cada unidad especial con su mismo nombre. Cuando el detector reconoce una abreviatura, por ejemplo, la marca con el rasgo NUM_RASGO_ABREVIATURA, es decir, pone a ‘1’ el byte 1 y la escribe en el fichero abreviaturas.dep. 5.2.3 LOS RASGOS En un principio definimos 29 rasgos (bytes 0-28). Sin embargo, durante el proceso de entrenamiento decidimos variar el conjunto inicial introduciendo nuevos rasgos y cambiando otros ya existentes. La Tabla 5.1 muestra el conjunto inicial de rasgos. Los rasgos cambiados fueron: - NUM_RASGO_SIGLA12. Este rasgo desapareció debido a que decidimos no considerar como siglas aquellas palabras de una sola letra mayúscula, y las de dos letras las agrupamos dentro del rasgo NUM_RASGO_SIGLA. - NUM_RASGO_SIGLA_DUDA. Por otra parte, definimos 5 nuevos rasgos: - NUM_RASGO_COMPUESTO860: Compuestos cuya primera palabra en un nombre propio. 2 Ver Capítulo 6. 65 Capítulo 5. Preprocesamiento - NUM_RASGO_COMPUESTO_DUDA: Compuestos cuya primera palabra es desconocida para el sistema o es una forma verbal. - NUM_RASGO_COMP_ABREVIA_M: Nombres propios con abreviatura escritos en mayúsculas. - NUM_RASGO_SIGNO_ESPECIAL: %, #, &, @, $ y palabras que contienen alguno de los siguientes signos: ¨, ‘, `, ^, ç. - NUM_RASGO_LETRA: Letras mayúsculas y minúsculas seguidas de un ‘)’o un punto. El conjunto final consta de 32 rasgos (bytes 0-31) y se muestra en la Tabla 5.2. RASGO NÚMERO RASGO NÚMERO NUM_RASGO_COMIENZO 0 NUM_RASGO_NUMERO 14 NUM_RASGO_ABREVIATURA 1 NUM_RASGO_NUMERO_ERROR 15 NUM_RASGO_ABREVIA_DUDA 2 NUM_RASGO_NUMERO_GUION 16 NUM_RASGO_SIGLAOK 3 NUM_RASGO_TITULO 17 NUM_RASGO_SIGLA12 4 NUM_RASGO_FIRMA 18 NUM_RASGO_SIGLA 5 NUM_RASGO_FIRMA_DUDA 19 NUM_RASGO_PROPIOS 6 NUM_RASGO_ESPECIAL 20 NUM_RASGO_PROPIOS_DUDA 7 NUM_RASGO_HORA 21 NUM_RASGO_COMPUESTO 8 NUM_RASGO_NO_HORA 22 NUM_RASGO_COMPUESTO_D 9 NUM_RASGO_FECHA 23 NUM_RASGO_COMP_ABREVIA 10 NUM_RASGO_FECHA_LETRA 24 NUM_RASGO_GUION 11 NUM_RASGO_NO_FECHA 25 NUM_RASGO_ROMANO 12 NUM_RASGO_LNUMERO 26 NUM_RASGO_ROMANO_DUDA 13 Tabla 5.1. Rasgos iniciales para la caracterización de las unidades especiales 66 Capítulo 5. Preprocesamiento RASGO NÚMERO RASGO NÚMERO NUM_RASGO_COMIENZO 0 NUM_RASGO_NUMERO 16 NUM_RASGO_ABREVIATURA 1 NUM_RASGO_NUMERO_ERROR 17 NUM_RASGO_ABREVIA_DUDA 2 NUM_RASGO_NUMERO_GUION 18 NUM_RASGO_SIGLAOK 3 NUM_RASGO_TITULO 19 NUM_RASGO_SIGLA 4 NUM_RASGO_FIRMA 20 NUM_RASGO_PROPIOS 5 NUM_RASGO_FIRMA_DUDA 21 NUM_RASGO_PROPIOS_DUDA 6 NUM_RASGO_ESPECIAL 22 NUM_RASGO_COMPUESTO860 7 NUM_RASGO_HORA 23 NUM_RASGO_COMPUESTO 8 NUM_RASGO_NO_HORA 24 NUM_RASGO_COMP_DUDA 9 NUM_RASGO_FECHA 25 NUM_RASGO_COMPUESTO_D 10 NUM_RASGO_FECHA_LETRA 26 NUM_RASGO_COMP_ABREVIA 11 NUM_RASGO_NO_FECHA 27 NUM_RASGO_COMP_ ABREVIA_M NUM_RASGO_GUION 12 NUM_RASGO_SIGNO_ESPECIAL 28 13 NUM_RASGO_SIN_VOCALES 29 NUM_RASGO_ROMANO 14 NUM_RASGO_LETRA 30 NUM_RASGO_ROMANO_DUDA 15 NUM_RASGO_LNUMERO 31 Tabla 5.2. Rasgos finales empleados para la caracterización de unidades especiales 5.2.4 FICHEROS DE DEPURACIÓN Cada unidad especial reconocida por el detector se escribe en un fichero de depuración de manera que posteriormente se pueda evaluar el porcentaje de acierto del detector. También permiten sacar diccionarios específicos, por ejemplo, de siglas o nombres propios o completar los ya existentes. Hay 46 ficheros de depuración, ya que muchas unidades llevan asociados dos ficheros, por ejemplo para el caso de las horas, las que se ajustan a alguno de los formatos válidos se escriben en el fichero horas.dep y las que no en dos_puntos.dep. Lo mismo ocurre para los números, los números romanos y las fechas. Por otra parte, para los nombres propios también existen dos ficheros: propios.dep, cuando se encuentra en alguno de los diccionarios de nombres propios, y propios_duda.dep para los candidatos a nombres propios, aquellas palabras que 67 Capítulo 5. Preprocesamiento cumplen la definición de nombre propio pero no se encuentran en ninguno de los diccionarios de nombres propios. En este segundo grupo tenemos, además de los nombres propios, las firmas y las abreviaturas. Las siglas y los compuestos forman un caso especial ya que hay 5 ficheros de depuración para acrónimos: siglas2.dep, siglas_números.dep, siglas.dep y siglas_duda.dep, y siglas_ok.dep, 6 para los compuestos: compuestos860.dep, compuestos.dep, compuestos_duda.dep, compuestos_d.dep, comp_abrevia.dep y comp_abrevia_M.dep. Además los comienzos y finales de frase, los verbos y las formas verbales con pronombre enclítico también tienen su correspondiente fichero de depuración. Todas las unidades especiales detectadas, así como el número de artículos, frases, palabras procesadas se resumen en el fichero resultados.dep. La Tabla 5.3 presenta los ficheros de depuración existentes así como la unidad especial a la que se asocian. • COMIENZOS En este fichero se escriben todos los comienzos de frase. Hemos hecho un estudio de qué palabras para saber cuáles son las más habituales. Si analizamos los textos del periódico EL MUNDO, los comienzos de frase que más se repiten son 3: - « - Según (0.71 %) - ¿ - P (0.38 %) - R (0.35 %) - # (0.27 %) (1.93 %) (0.59 %) P y R son, respectivamente, las abreviaturas de Pregunta y Respuesta, utilizadas en los artículos de entrevista. El símbolo # se utiliza para indicar el comienzo de título de un artículo, por ejemplo: #Elecciones: los deseos y la realidad¶. 3 Datos correspondientes a los comienzos de frase de un año. 68 Capítulo 5. Preprocesamiento Fichero de depuración Unidad especial Fichero de depuración Unidad especial Abreviaturas Abreviaturas Propios_duda Nombres propios Abrevia_duda Abreviaturas Compuestos860 Nombres propios Siglas1 Siglas Compuestos Compuestos Siglas2 Siglas Compuestos_duda Compuestos Siglas_numeros Siglas Compuestos_d Compuestos Siglas_ok Siglas Comp_abrevia Compuestos de/del Siglas Siglas Comp_abrevia_M Siglas_duda Siglas Guiones Compuestos con abreviatura Guiones Letras Letras Guiones_dobles Guiones_dobles Palabras_conSigno Palabras con caracteres especiales ( ¨, ‘ , ç, ^) Firmas con abreviatura Firmas de autores Casos_especiales Numeros Combinaciones de letras, números y guiones Números Firmas Lnumero Números Firmas_duda Numeros_error Números Títulos Numeros_guion Números Signos_especiales Títulos %, #, &, @, $ Romanos Números romanos Sin_vocales Palabras sin vocales Romanos_duda Números romanos Comienzos - Fechas Fechas Finales - Fechas_letra Fechas Verbos - No_fechas Fechas Encliticos - Horas Horas Verbos_conPrefijo - Horas_k Horas Palabras_conPrefijo - Dos_puntos Horas Erratas - Resultados - Propios Nombres propios Tabla 5.3. Ficheros de depuración 69 Capítulo 5. Preprocesamiento Dentro de las palabras, sin considerar los signos de puntuación, tenemos: - Según (0.71 %) - Pese (0.22 %) - Esta (0.19 %) - Este (0.16 %) - Así (0.15 %) En cuanto a los textos860 los comienzos de frase más frecuentes son: - La (10.38 %) - El (7.48 %) - En (4.97 %) - Los (4.42 %) - Las (2.78 %) Dentro de los signos de puntuación, los que aparecen con mayor frecuencia son: - ( (0.56 %) - ¿ (0.56 %) - - (0.40 %) - “ (0.30 %) En este tipo de textos los signos de puntuación son menos frecuentes al comienzo de frase que en los textos periodísticos de EL MUNDO, aunque el signo ‘¿’ aparece en ambos. Por el contrario, si nos referimos a las palabras, en los textos860 se repiten más los comienzos de frase, mientras que en EL MUNDO hay más variedad, lo cual parece lógico puesto que los primeros son textos sobre temas específicos; sin embargo los artículos de EL MUNDO tratan temas de todo tipo. Desde el punto de vista morfológico podemos decir que los comienzos de frase más habituales son, por este orden: artículos (26.46%), sustantivos (14.94%) y preposiciones (13.36%). Mientras que abreviaturas (0 %), siglas (0.37 %) y números romanos (0.83 %) son los menos frecuentes. La siguiente Tabla presenta todos los resultados obtenidos, en %, sobre un total de 10544 frases. 70 Capítulo 5. Preprocesamiento Signos puntuación Sustantivos 1.45 14.94 Nombres propios Artículos 2.70 26.46 Pronombres 3.30 Preposiciones 13.36 Conjunciones 4.41 Adjetivos 5.01 Verbos 8.23 Adverbios 7.62 Números 8.55 Números romanos 0.83 Siglas 0.37 Abreviaturas 0 Tabla 5.4. Distribución de comienzos de frase desde el punto de vista morfológico. Signos de puntuación “ ¿ ¡ (, {, [ 20.92 38.56 1.96 38.56 Tabla 5.5. Distribución de los signos de puntuación que son comienzos de frase. Porcentaje sobre el total de signos de puntuación encontrados. • FINALES En este fichero se escriben las palabras que acompañan a los terminadores de frase; por ejemplo, si la frase acaba en punto, se escribe la palabra anterior al punto. Al igual que en el caso de los comienzos, hemos hecho un estudio de los finales de frase que se repiten con mayor frecuencia. Si analizamos los textos del periódico EL MUNDO, los finales de frase que más se repiten son 4: - » (1.02 %) - ) (0.70 %) - nada (0.59 %) - Madrid (0.54 %) - París (0.53 %) 4 Datos correspondientes a los finales de frase de un año. 71 Capítulo 5. Preprocesamiento Aparentemente existe una contradicción entre el número de ‘«’ (apertura) y ‘»’ (cierre), sin embargo los datos son correctos ya que, algunas veces ‘«’ es comienzo de frase pero ’»’ no es fin de frase. Por ejemplo: ... para incentivar la imposición de multas. «Dinero negro», en definitiva. En cuanto a los textos860 los finales de frase más frecuentes son: - ) (4.13 %) - 1 (3.82 %) - 2 (2.67 %) - 3 (1.55 %) - Comunidad (1.46 %) Considerando únicamente palabras: - Comunidad (1.46 %) - Miembros (1.18 %) - Comisión (0.72 %) - Europeas (0.60 %) - años (0.45 %) Como vemos el paréntesis (cierre) aparece en ambos casos y también debemos destacar la frecuente aparición de nombres propios finalizando frases. Desde el punto de vista morfológico podemos decir que los finales de frase más frecuentes son: sustantivos (38.19 %), números (17.58 %) y nombres propios (6.8 %). Por el contrario, artículos (0 %), conjunciones (0.019 %) y preposiciones (0.028 %) son los menos frecuentes. La siguiente Tabla presenta todos los resultados obtenidos, en %, sobre un total de 10544 frases. 72 Capítulo 5. Preprocesamiento Sustantivos 38.19 Siglas 1.66 Números 17.58 Números romanos 1.24 Nombres propios 6.80 Pronombres 0.73 Verbos 5.87 Abreviaturas 0.07 Signos de puntuación 5.36 Conjunciones 0.02 Adjetivos 2.05 Artículos 0 Tabla 5.6. Distribución de finales de frase desde el punto de vista morfológico. La Tabla 5.7 muestra la distribución de los signos de puntuación finales de frase encontrados en los textos860. Signos de puntuación “ ? ! ), }, ] 13.45 8.67 0.53 77.34 Tabla 5.7. Distribución de los signos de puntuación finales de frase. Porcentaje sobre el total de signos de puntuación encontrados. • ABREVIATURAS Este fichero contiene las abreviaturas que aparecen en el texto procesado y que se encuentran en el diccionario de abreviaturas. Ejemplos: etc., km/h, seg. • ABREVIA_DUDA Palabras que cumplen la definición de abreviatura y que no se encuentran en el diccionario de abreviaturas. Este fichero nos ha permitido ampliar nuestro diccionario de abreviaturas con otras que no teníamos: a.m, c.c, ms, p.p, upm, v.gr, www. • SIGLAS1 Contiene todos los monosílabos escritos en mayúscula que aparecen en el texto. Dada la alta tasa de error de este fichero decidimos considerar siglas aquellas palabras escritas en mayúsculas que tuvieran como mínimo dos letras. 73 Capítulo 5. Preprocesamiento La siguiente Tabla muestra los monosílabos encontrados en este fichero y su distribución en %: A 41.64 H 0.16 P 10.00 U 0.08 B 0.93 J 0.47 Q 0.03 W 0.04 E 1.19 K 0.21 R 9.63 Y 25.49 F 0.39 N 0.35 S 0.32 Z 0.10 G 0.34 O 8.32 T 0.30 Tabla 5.8. Distribución de los monosílabos encontrados en “Siglas1.dep” (%). La aparición de dichas palabras en el texto puede agruparse en los siguientes casos: - comienzos de frase. Las palabras que cumplen esta función son: A, E, O, P e Y. Ejemplos: A pesar de que dos de cada tres personas en el Reino Unido ...”, “Y que suene, por fin, la hora de la verdad.¶. - expresiones numéricas: 150 A y 150 B, 2º B, Inta-300 B. - letras: apartado A, proteínas G, Ediciones Z, Athletic B. - nombres propios extranjeros: O` Neal, O»Brien, AT&T Corporation. La versión actual del programa no separa los nombres con apóstrofe sino que los trata como una unidad. - letras: T de trabajo, K de kilómetro, con P mayúscula. - entrevistas: P.- ¿Cómo accedió a la contratación con Osakidetza si tenía deudas con Hacienda?¶ R.- Creo recordar que la empresa en el año 90 tenía una deuda con la Hacienda vasca de aproximadamente 8.500 pesetas. ¶. - títulos: La francesa Dyane Kurys vuelve a sus historias de amistad femenina en A la folie, Concluyó elogiando el periodismo americano al modo en que Capote lo había reactivado en A sangre fría. - fechas: 27 E, 23 F, 12 J. - expresiones extranjeras: “If I ever loose my faith in you de Sting”, Get A Grip , “A whole new world de la películo Aladdin”. - comienzo de títulos de los artículos: ”N Televisión regional unida en consorcio con otras televisiones autonómicas/regionales.”, “K Comienza el juicio por corrupción contra el ex ministro italiano de Exteriores Gianni de Michelis¶”. 74 Capítulo 5. Preprocesamiento - errores tipográficos: “E l hecho de que Luis Mazzantini enamorase...”, “ S e hacen llamar las «Chicas de la Abstinencia». • SIGLAS2 Palabras bisílabas escritas en mayúsculas. A partir de este fichero formamos un diccionario de siglas de dos letras: “Siglas2.ord”. • SIGLAS_OK Palabras que se ajustan a la definición de siglas y tienen uno de los siguientes formatos: - Mayúscula + . + Mayúscula. Ejemplo: U.S.A - Mayúsculas + . + Mayúscula. Ejemplo: CC.OO Los errores encontrados en este fichero se pueden dividir en varios grupos: - Mayúscula + . + nombre propio: A.Martín, M.SEGOVIA. - Mayúscula + . + número: A.4, A.000, U.60. Para las siglas con números hemos creado otro fichero de depuración: “Siglas_números.dep”. - P, R + . + - + Mayúscula: R.-Su importancia es vital., P.-En consecuencia nada de federalismo.¶ - P, R + . + - + ¿ + Mayúscula: P.-¿Debe hacer las maletas Scalfaro, como dicen los «liguistas»?¶ • SIGLAS Palabras que tienen de 3 a 5 letras, cumplen la definición de siglas y se encuentran en el diccionario de siglas o en ningún diccionario. La decisión de limitar el tamaño de letras de las siglas fue tomada tras analizar este fichero de depuración. Sin restricción de tamaño, el error cometido era del 26.9 %. Limitando el tamaño máximo a 5 letras el error era de 2.23 % , lo que significa una reducción del error del 91.45 %. En este caso sólo evaluamos las siglas no encontradas en ningún diccionario. A partir de este fichero hemos sacado un diccionario de siglas: "SiglasEM.ord". • SIGLAS_DUDA Palabras de 3 a 5 letras que cumplen la definición de siglas y se encuentran en algún diccionario exceptuando el de siglas. Este fichero de depuración junto con el de 75 Capítulo 5. Preprocesamiento Siglas.dep nos ha servido para ampliar nuestros diccionarios de siglas con un nuevo diccionario: “SiglasEM.ord”. • SIGLAS_NÚMEROS Palabras de la forma: mayúsculas + números. Los casos encontrados se pueden agrupar de la siguiente forma: - cadenas de televisión: A3, TV3, TVE1. - modelos de automóviles y aviones: Audi A6, Porsche C32, aviones de transporte C212 . - categorias y clases deportivas: categoría GT2, clase W60. - grupos musicales y sinfonías: U2, UB40, Requiem en re menor K.626 de Mozart. - Miscelánea que va desde tipos de folios e impresos (DIN A4, impreso F1) hasta servicios secretos (servicios secretos del MI5 Y MI6), pasando por conceptos relacionados con la medicina y la biología (El gen es el denominado B7, proteínas humanas de «bandera blanca»: la CD46 y CD59, el núcleo intersticial del hipotálamo 3 (INAH3, en sus siglas inglesas)), nombres de asociaciones ((logia masónica criminal) Propaganda P2 ). • CASOS_ESPECIALES En este fichero se escriben combinaciones de letras, números, números romanos y guiones. El contenido de este fichero se pueden resumir como sigue: - modelos de automóviles, aviones, tanques: Lancia Y-10 Selectronic, tanques T-555, cazas F-16 Falcons. - matrículas: M-1277-KB, B-8498-JL, C-4894-BF. - siglas: K-Tel, A-3, G-7. - abreviaturas: s/n, k/h. - carreteras, autovías, autopistas: M-40, A-49, N-VI, C-1313. - nombres extranjeros: Musa A-Sabah, Giovanni D/Averrazano. - nombres de calles: C/San Bernardo, C/Prado, C/Preciados. - y/o: nacionalidad y/o raza, olor y/o sabor, familiares y/o amigos. - líneas de metro y ferrocarril: línea C-1 de cercanías, líneas C-3 de Sevilla, C-2 de Málaga y C-9 de Madrid. - separación de letras o sílabas: E-u-r-o-d-i-p-u-t-a-d-o, c-a-d-e-n-c-i-a, a-ce-le-ra. 76 Capítulo 5. Preprocesamiento • NÚMEROS Contiene todos los números encontrados en el texto que se ajustan a uno de los formatos numéricos definidos5. • NÚMEROS_ERROR Este fichero recoge las expresiones numéricas que no se ajustan a ninguno de los formatos definidos. El tamaño de este fichero es unas 75 veces menor que el de numeros.dep. El contenido de este fichero se puede agrupar en los siguientes casos: - horas: las 21.30 horas, las 9.15 del día..., las 17.00 horas. - fechas: fecha 31.03.95, día 4.12.83, sábado 4.03.95. Este formato fue después aceptado como válido para las fechas, por lo que ya no se incluyen en este fichero de depuración sino en fechas.dep. - artículos jurídicos: artículo 394.4 del Código Penal, La Constitución española en su artículo 149.1.21ª señala... - tiempos de deportes: 58.71 segundos, Adriano Baffi (ITA/Mapei) 5h24.27. - porcentajes: 29.5 %, 89.2 %. - modelos y marcas de vehículos: motor 1.4 Energy, Daily 40.8 Chasis Cabina, Laguna 2.0 RT. - números de teléfono: 91.3848558, 900.19.10.10, 442.25.26. - emisoras de radio: el 91.0 del dial. - clasificaciones deportivas: el indio Visvanathan Arnaud, de 24 años, segundo en la clasificación internacional; el ruso Vladimir Kramnik (18,4º) y el estadounidense de origen soviético Gata Kamsky, (19,6º). - formato decimal con punto en lugar de coma: 1.90 de estatura, 229.3 km/h, 11.6 litros. • LNUMERO Expresiones numéricas que cambian el 1 por la letra l. En total hemos encontrado 239 casos. El 59 % corresponden a años (l985, l993). El 41 % restante se reparte entre números (l00.000 millones, l50 personajes), fechas (l9 de enero, l4 de julio), siglas 5 Ver apartado 5.2.1 de este Capítulo. 77 Capítulo 5. Preprocesamiento (Diario l6), decretos (Decreto l85/l985), tiempos en deportes (l2:55.30, 11,6 seg.), porcentajes (12%, 100%). • ROMANOS Números romanos de más de una letra que no se encuentran entre los casos peligrosos. Se comprueba que el número romano no se encuentra entre los siguientes: IC, IIII, LL, LCI, LDL, VV, VCC, XM, DD, DC, DIM, XXXX, CLM, CDC, CID, CCMM, CCCC. Analizando este fichero hemos ampliado nuestra lista de combinaciones no válidas con casos como: LLL, MX. Los errores cometidos se deben en su mayor parte a que no se trata de números romanos sino de siglas, por ejemplo: CCII, MX, LM. Para los números romanos es muy difícil elaborar una lista que abarque todas las combinaciones no válidas. • ROMANOS_DUDA Números romanos de una letra y combinaciones peligrosas, por ejemplo VI, que puede ser tanto número romano como pasado del verbo ver. A partir de este fichero hemos elaborado una lista con palabras que acompañan a un número romano: Anteriores al número romano artículo anexo capítulo fase grupo legión nacional sala siglo tramo verso Posteriores al número romano aniversario asamblea bandera campeonato carrera centenario concurso conferencia cumbre curso división edición encuentro exposición festival flota milla muestra mundial premio república reunión semana seminario 78 Capítulo 5. Preprocesamiento congreso convenio convocatoria cuerpo • foro grupo guerra jornadas simposio simposium torneo trofeo FECHAS Las fechas que aparecen en los textos periodísticos procesados y que se ajustan a alguno de los formatos definidos son de tres tipos: - día + mes + año: 18-3-64, 18-01-1995, 27/1/10. - día + mes en número romano + año: 18/II/1995, 9-I-1990, 15-IV-1994. Inicialmente este último caso no lo considerábamos pero tras analizar el fichero de fechas no válidas los incluimos. • NO_FECHAS Las expresiones que combinan números y guiones y no cumplen la definición de fechas se recogen en este fichero, cuyo contenido puede agruparse en: - enumeraciones: 1-Decirle que la quiero.¶ 2-Abrazarla.¶ 3-Besarla.¶ 4-Mandarle flores.¶ - órdenes y sumarios judiciales: la orden queda registrada con el número 2913/91, En este caso la orden lleva el número 2502/91, El sumario 13/85 fue sobreseído por la Audiencia Nacional. - cuentas bancarias: 0030/1028/15/010128727, 0182/2370/41/00119500004. - fechas clave: 27-E, 6-J, 23-F. Este nuevo formato de fechas se ha incluido en el fichero de depuración Fechas_letra.dep. - periodos de tiempo: curso 94-95, período 1994-1998 , marzo 94-marzo 93. - expresiones racionales: 2/3 se pronunciaron a favor y 1/3 en contra, un retroceso de 2/3 en los últimos 15 años. - resultados deportivos: por 7-5, 4-6 y 6-1, 9/14 en tiros de campo, 87-87 en el marcador. - números de teléfono: 91-470-24-63, 906-300300, 900-21.10.65. - porcentajes: 4-4.5%, 2%-2.5%. 79 Capítulo 5. Preprocesamiento - fechas con número romano: 10-XII-87, 14-VI-88. Este nuevo formato de fechas se admite ahora como válido y se escriben en el fichero Fechas.dep. - matriculas de vehiculos: Madrid 7236-OK, Madrid 2867-ND. - leyes y decretos: ley 37/1984, Decreto 2.244/79. - separador de cantidades: 80.000-100.000 millones, 7.6/8.1 litros, 1.280/1.245 kilos. - miscelánea donde aparecen desde modelos de aviones (Boeing 737/300) hasta títulos de libros ( su último libro, Doisneau 40-44), números de fax (fax 21-25-54), indicaciones de lugares (sala 1-2-9-3 del edificio de la universidad alcalaína), tensión arterial (tensión arterial: 12-6). • FECHAS_LETRA Fechas con el formato: - día + mes + año. Ejemplo: 7-enero-1995, 16-diciembre-1991. - día + abreviatura del mes + año. Ejemplo: 23-Feb-94, 2-ene-94. • HORAS Contiene todas las expresiones horarias que cumplen la definición dada para las horas. • HORAS_K Expresiones horarias que llevan una K delante. Ejemplo: K18.30, K2.00. Los errores cometidos se deben a expresiones que no llevan ningún punto intermedio: K10, K4D, K20. • DOS_PUNTOS En este fichero se escriben todas las expresiones numéricas que contienen ‘:’ y no se ajustan a ninguno de los formatos horarios válidos. El contenido de este fichero es siempre del mismo tipo: tiempos en competiciones deportivas. Ejemplos: 15 Arsenio González (MAP) a 1:16, 500 c.c: 1.Michael Doohan (AUS/Honda) 46:10.991, 1 ONCE 112h.12:14. 80 Capítulo 5. Preprocesamiento • PROPIOS Palabras que cumplen la definición de nombre propio y se encuentran en alguno de los diccionarios de nombres propios. En un principio aceptábamos como nombre propio cualquier palabra que comenzara por letra mayúscula y el resto fueran minúsculas. Con esta definición el error cometido era muy elevado (41,43 %). Los errores se debían a palabras que pueden funcionar como nombres propios y como: - sustantivos: Bienvenida, Concha, León. - verbos: Van, Hay, Leo. - adjetivos: Alto, Bravo, Rico. - adverbios: Cerca, Nada, No. - preposiciones: Ante, Contra, Para. Tras analizar el fichero de depuración Propios.dep llegamos a la conclusión de que los comienzos de frase y las palabras escritas en mayúsculas antecedidas por un signo ortográfico comienzo de frase, por ejemplo ¿, tampoco eran fiables, por lo que decidimos no considerarlas. El error cometido por imponer estas condiciones es del 2.77%; 2.7% para el caso de nombre propio comienzo de frase y 0.066 % para el de signo ortográfico comienzo de frase seguido de nombre propio. Aceptamos este error de partida y estudiamos el porcentaje de aciertos del sistema con esta definición más restrictiva de nombre propio. En este caso obtuvimos un error del 1.11 %, que sumado al 2.77 % nos da un error total del 3.88%. Esta nueva tasa de error representa una mejora sustancial con respecto a la situación inicial. • PROPIOS_DUDA En este fichero aparecen las palabras que empiezan por mayúscula, no son comienzos de frase y no se encuentran en ninguno de los diccionarios de nombres propios. Los errores cometidos en este fichero responden a los siguientes tipos: - interjecciones: Ah, Bah, Uf. - abreviaturas sin punto: Arg, Ath, Mr. - siglas no escritas en mayúsculas: Cds, Ph, Rh. - palabras con números: Aa2, Hoyo2, Us3. 81 Capítulo 5. Preprocesamiento • COMPUESTOS860 Conjuntos de palabras que se ajustan a la definición de compuestos y cuya primera palabra se encuentra en alguno de los diccionarios de nombres propios. En este caso encontramos tres tipos de errores: - nombre propio + M: Abel M, Antonio Mata M. Esta M aparece siempre al final de una línea, por lo que parece ser un terminador o separador de líneas. - falsos compuestos: Ortiz Si, Media Italia amaneció ayer[...], Mañana Bossi se entrivistará [...]. - compuestos cuya primera palabra no forma parte del compuesto: Para Juan Barranco, Con Woody Allen, Pero Ernesto Cisnero. • COMPUESTOS Grupos de palabras que cumplen la definición de compuesto y cuya primera palabra se encuentra en alguno de los diccionarios exceptuando los de nombres propios y verbos. Los errores en este fichero se deben a: - conjuntos de palabras que cumplen la definición de compuesto pero que realmente no lo son: De Antonio González, En Kigali, El Real Madrid. - falta de signos de puntuación: Audiencia Nacional Carlos Bueren ha decidido[...], miembro de Fuerza Italia Michele Stornello no tenía [...]. • COMPUESTOS_DUDA Compuestos cuya primera palabra no se encuentra en ningún diccionario o es una forma verbal. Los errores cometidos se pueden clasificar de la siguiente forma: - nombre propio + M: Joao Pinto M, Dertycia M. Como ya indicamos anteriormente esta “M” es un separador de frases. - falsos compuestos: Junio-1985 Firma, Octubre-1984 El, Lp Uncle Meat. - falta de signos de puntuación: Olot Ningún dato [...], Unzue Martagón Diego Ferreira Soler Marcos Rafa Paz Simeone Moya Sucker Linde Cambios: [...]. Este último caso nos llevó a limitar la longitud del compuesto. Revisando este fichero decidimos que cuatro era la longitud máxima permitida para una compuesto. 82 Capítulo 5. Preprocesamiento • COMPUESTOS_D Entre los errores encontrados figuran: - compuestos cuya primera palabra no forma parte del compuesto: Para Alicia de Larrocha, La Feria de Sevilla, General Asensio de Palma. - falsos compuestos: Miles de Vallecanos, Oviedo-Athletic de Bilbao, Los de Madrid. • COMP_ABREVIA Hemos encontrado los siguientes errores en este fichero: - compuestos con abreviatura escritos en mayúsculas: A. INTERNACIONAL, L.AOJEDA. - compuestos sin abreviatura que son finales de frase: Auditorio Nacional., Viernes Santo., Sinead O,Connor. - Preguntas y respuestas: P.-Usted es un histórico del Partido Socialista., R.-No, no me lo imagino y no pienso en esa posibilidad. • COMP_ABREVIA_M Nombres propios escritos en mayúscula y con abreviatura. En este fichero los errores encontrados son: - preguntas y respuestas: P.-El PSOE de Andalucía ha dicho [...], R.-El PP tiene en sus filas a defensores de la democracia [...]. • FIRMAS, FIRMAS_DUDA, TITULOS Estos tres ficheros de depuración no los vamos a evaluar ya que no son objeto de nuestro estudio. • GUIONES Se han encontrados los siguientes casos: 1. Palabras compuestas Pares de palabras unidas por un guión intermedio y escritas en minúsculas. Ejemplos: físico-químico, ante-sala, anglo-irlandés. 83 Capítulo 5. Preprocesamiento 2. Siglas Conjuntos de palabras escritas en mayúsculas y números unidos por un guión intermedio. Ejemplos: CSI-CSIF, PSE-EE, TVE-1. 3. Género y número Para indicar masculino/femenino o singular/plural. Ejemplos: señor/a, chicos/as, querido/os. 4. Antítesis y juegos de palabras Ejemplos: arriba/abajo, hombre-mujer, sólido-líquido, espulga/expurga, paso-peso, magnate/mangante, desmadra/desmanda. 5. Paréntesis Ejemplos: Estaría hecho una pena –dije-. ¿Es Navarra –como usted sostiene- «una nacionalidad» histórica? La decisión del presidente sudafricano –aunque esperada- suscitó ayer un enorme revuelo en todo el espectro político del país. • GUIONES_DOBLES El contenido de este fichero puede clasificarse en: 1. Separador de frases La Policía les acusa de la muerte de un vagabundo ebrio en una salida del metro de Moscú -- La responsabilidad recaerá sobre la madre, una alcohólica que ha sido declarada enferma mental¶ 2. Paréntesis La Seguridad Social --como el Estado-- no puede quebrar, a no ser que la economía en su conjunto se hunda; 84 Capítulo 5. Preprocesamiento 3. Direcciones de correo electrónico http://www.yahoo.com http://www.offcampus.es/elmundo.campus http://simo.sei.es 4. Entrevistas RESPUESTA.--Es un momento complejo. Lo imprevisible puede ser el más común de los denominadores. 5. Separador título-texto TIEMPO DE IMPUNIDAD.--Esta misma semana, portavoces de KAS (Koordinadora Abertzale Sozialista) y de Herri Batasuna (HB) advertían a los dirigentes del Partido Nacionalista Vasco (PNV) y de la Ertzaintza (Policía Autónoma vasca) que «el tiempo de la impunidad ha pasado».¶ 6. Separador texto-firma del autor Este concepto empresarial ha sentado una negativa cultura de relaciones laborales.--Amelia Fernández de Gorostiza. Madrid¶ 7. Errores tipográficos Ejemplos: mansión—fortaleza. Nos gustaría comentar un último caso, la combinación de ambos guiones: /-. Ejemplo: Declara el poema Ciénagas: De la turba han sacado el esqueleto/del Gran Alce Irlandés/y lo han puesto en exposición/-una asombrosa jaula ¶ 85 Capítulo 5. Preprocesamiento • SIGNOS_ESPECIALES La siguiente Tabla resume los signos encontrados en el corpus de entrenamiento: Carácter 1994 1995 Total $ 13787 92 13816 % 24950 23577 48527 & 712 761 1473 # 230 10166 10396 @ - 2 2 Tabla 5.9. Signos especiales encontrados en el Corpus de Entrenamiento (EL MUNDO) • PALABRAS_CONSIGNO Palabras que contienen alguno de los siguites signos: ^, ¨, `, ç. Se distinguen los siguientes casos: - nombres propios: Château, François, Barça, Weizsäcker. - nombres comunes: garçon, calçadas, cançó. - palabras extranjeras: infâme, commenç, prêt-a-porter, laïcité. - siglas: FPLÖ, SPÖ, ÖVP. - vocales acentuadas: 2 ó 3%, monte á la dehesa. - errores tipográficos: veinte é ocho. • SIN_VOCALES El contenido de este fichero puede agruparse como sigue: - abreviaturas: Sr, pm, km, s.c, m.73, nº, Gª. - Siglas: Cds, BSkyB, PSdG, SPf66. - Letras: ll, ch, rr. - Combinaciones de letras y números: c6, d4, cd4. - Errores tipográficos: m¡n, ls Policía, con cl sector guerrista, Clasificacion trs el primer recorrido. 86 Capítulo 5. Preprocesamiento • VERBOS, ENCLÍTICOS, PALABRAS_CONPREFIJO, VERBOS_CONPREFIJO Estos ficheros de depuración se estudiarán más adelante en el Capítulo 7. • ERRATAS Cuando la longitud supera los 80 caracteres (longitud máxima permitida para una palabra) lo escribimos en este fichero de depuración y no procesamos esa frase. Hemos encontrado dos casos: • LAJOVENKATRINAGIBSONSECONVIERTEENELCENTRODELOSPRO BLEMASDELOSHABITANTESDE«ELPARAISO»¶ (julio 1994). • Vera,exsecretariodeEstado;Corcuera,exministrodelInterior;yRoldán,exdirector generaldelaGuardiaCivil,enunafotodearchivo.¶ (octubre 1994). • RESULTADOS Es el fichero donde se sacan todos los datos obtenidos por el programa. Tiene la siguiente estructura: - fecha y hora de comienzo del programa. - Datos generales: número de artículos, frases y palabras procesadas. - Información sobre verbos: número de formas verbales encontradas, enclíticos y verbos con prefijo. - Datos de las unidades especiales detectadas. Además del número total de unidades reconocidas, para cada uno de los casos se sacan, por este orden, tres informaciones: número total, porcentaje sobre el número de palabras procesadas y porcentaje sobre el número total de unidades especiales detectadas (en tanto por uno). - Datos de categorización: palabras categorizadas (número total y tanto por uno), número medio de categorías por palabra categorizada, unidades especiales no categorizadas (número total y tanto por uno). En este caso todos los porcentajes son sobre número total de palabras procesadas. - Datos sobre los terminadores de frase: puntos finales, fin de párrafo, puntos suspensivos, finales de interrogación y finales de exclamación ( tanto por uno sobre el total de frases procesadas). - Fecha y hora de finalización del programa y tiempo de ejecución en segundos. 87 Capítulo 5. Preprocesamiento A continuación se muestra un ejemplo de este fichero: Fecha y Hora de comienzo del programa: Fri Jul 09 21:23:58 1999 Artículos procesados: 4093 Frases: 82860 Palabras: 2209374 Comienzos: 82860 0.037504 Finales: 82860 0.037504 Nº de palabras del diccDinamico: 6920 0.003132 Verbos: 433142 0.196047 Verbos con enclíticos: 4662 0.002110 Verbos con encliticos/Número Verbos: 0.010763 Excepciones detectadas(total): 174562 0.079010 Caracteres especiales {&,$,@,#}: 3892 0.001762 Palabras con signos especiales {^,`,´,¨}: 176 0.000080 Abreviaturas: 513 0.000232 Candidatos a Abreviaturas: 4 0.000002 Siglas_OK: 395 0.000179 Siglas con una letra: 6205 0.002808 Siglas con dos letras: 1976 0.000894 Candidatos a Siglas: 9156 0.004144 Siglas dudosas: 2695 0.001220 Palabras sin vocales: 1426 0.000645 Nombres Propios: 46555 0.021072 Candidatos a Nombres Propios: 19213 0.008696 Compuestos860: 25227 0.011418 Compuestos: 6457 0.002923 Candidatos a Compuestos: 5505 0.002492 Compuestos con de/del: 10286 0.004656 Compuestos con guion: 2511 0.001137 Dobles guiones: 1 0.000000 Nombres Propios con Abreviatura: 441 0.000200 Firmas de autores: 724 0.000328 Firmas de autores con abreviatura: 280 0.000127 Candidatos a Firmas: 187 0.000085 Candidatos a Titulos: 2070 0.000937 Números: 25402 0.011497 Números erróneos: 272 0.000123 Números con guión: 0 0.000000 Números Romanos: 390 0.000177 Candidatos a Numeros Romanos: 1169 0.000529 Combinaciones de letras, números y guiones: 165 0.000075 Horas: 540 0.000244 Formato horario incorrecto: 81 0.000037 Fechas: 4 0.000002 Fechas incorrectas: 1646 0.000745 Fechas con formato extraño: 41 0.000019 Fechas con letra: 0 0.000000 Locuciones Locuciones Locuciones Locuciones Locuciones de de de de de dos palabras: 27197 0.012310 tres palabras: 8790 0.003979 cuatro palabras: 615 0.000278 cinco palabras: 28 0.000013 seis palabras: 2 0.000001 Palabras Categorizadas: 2147285 0.971897 Número medio de categorías/palabra con categoria: 2.053538 Fecha y Hora de finalización del programa: Sat Jul 10 03:40:25 1999 Tiempo de ejecución(seg): 22587.0 88 Capítulo 5. Preprocesamiento • ESTRUCTURA DE LOS FICHEROS DE DEPURACIÓN Cuando el detector identifica una unidad especial la escribe en el correspondiente fichero de depuración junto con información sobre la categoría gramatical, si la ha encontrado o no en algún diccionario y el contexto en el que aparece. Cada unidad detectada representa una línea del fichero y todas las líneas tienen la siguiente estructura: unidad especial • categoría encontrada o no en diccionario nombre del diccionario contexto unidad especial Se escribe la unidad especial detectada (sigla, abreviatura, número, ...) . En el caso de los compuestos, hay una o varias líneas para cada palabra del compuesto en función de si solo tiene una categoría gramatical o hay varias posibles. • categoría En este campo se escribe la categoría gramatical correspondiente a la unidad especial o ########## si no se sabe con seguridad que categoría asignarle. Algunas unidades pueden pertenecer a varias categorías a la vez. Por ejemplo las palabras que forman un compuesto, en ese caso se escribe la lista de posibles categorías. • encontrada o no en diccionario Se escribe 0 ó 1 dependiendo de si la unidad considerada se ha encontrado en algún diccionario o no. • nombre del diccionario Si la unidad no se ha encontrado en ningún diccionario se escribe (null), en caso contrario se escribe el nombre de diccionario o los nombres en el caso de encontrarse en varios. • contexto Se escriben por este orden: la palabra precedente, la unidad especial y las dos palabras siguientes. Si la unidad detectada es final de frase sólo aparecerá como palabra siguiente el punto. A continuación se presentan algunos ejemplos: 89 Capítulo 5. Preprocesamiento 1. Siglas.dep PSOE M04####### 1 UHF ########## 0 siglas860.ord (null) ->del PSOE . ->antigua UHF de los 2. Compuestos.dep Congreso N00##S.M## Judío A11..S.M## Mundial A11..S.N## Unidad N00##S.F## Central A11..S.N## Central N00##S.N## Operativa A11..S.F## 1 1 1 1 1 1 1 860.ord drae.ord 860.ord ->el Congreso Judío Mundial . ->el Congreso Judío Mundial . ->el Congreso Judío Mundial . 860.ord ->la Unidad Central Operativa de la drae.ord ->la Unidad Central Operativa de la 860.ord ->la Unidad Central Operativa de la 860.ord ->la Unidad Central Operativa de la 5.3 RESULTADOS DEL MÓDULO DE PREPROCESAMIENTO 5.3.1 SEGMENTACIÓN 1994 1995 Total Artículos 4086 3958 4022 Frases 85997 91042 88519 2238564 2264090 2251327 Palabras Tabla 5.6. Resultados de la segmentación (datos mensuales medios) Finales de frase % . 48.08 ¶ 50.09 ? 1.26 ! 0.21 ... 0.36 Tabla 5.7. Terminadores de frase 90 Capítulo 5. Preprocesamiento 5.3.2 EL DETECTOR DE UNIDADES ESPECIALES Unidad especial %, #, &, @, $ Palabras_conSigno Abreviaturas Abrevia_duda Siglas_ok Siglas1 Siglas2 Siglas Siglas_duda Sin_vocales Propios Propios_duda Compuestos860 Compuestos Compuestos_duda Compuestos_d Comp_guion Comp_abrevia Numeros L_numero Numeros_error Romanos Romanos_duda Horas Horas_k Dos_puntos Fechas No_fechas Combinaciones letras, numeros y guiones Guiones_dobles Firmas Firmas_abrevia Firmas_duda Titulos Año 1994 0.1480 0.0098 0.0079 0.00042 0.0168 0.02596 0.1023 0.4162 0.1316 0.0364 2.0943 0.8376 1.0809 0.2806 0.2510 0.4681 0.1100 0.0197 1.1763 0.00056 0.0163 0.0170 0.0331 0.0329 0.0021 0.0150 0.00032 0.0477 Año 1995 0.1267 0.0125 0.0192 0.00055 0.0089 0.2504 0.1088 0.3673 0.1289 0.0259 2.0051 0.8303 1.0549 0.3046 0.2413 0.4518 0.1280 0.0162 1.1385 0.00034 0.0284 0.0163 0.0209 0.0266 0.00042 0.0260 0.00029 0.0467 Total 0.1373 0.0111 0.0135 0.00048 0.0128 0.2512 0.1055 0.3917 0.1302 0.0321 2.0497 0.8339 1.0679 0.2926 0.2461 0.4599 0.1190 0.0179 1.1574 0.00045 0.0223 0.0166 0.0270 0.0297 0.0013 0.0205 0.00031 0.0472 0.0082 0.0088 0.0085 0.000025 0.0307 0.0127 0.0104 0.0912 0.000081 0.0257 0.0071 0.0094 0.0880 0.000053 0.0282 0.0099 0.0099 0.0896 Tabla 5.8. Porcentaje de unidades especiales reconocidas por el detector sobre el total de palabras del texto (datos mensuales medios) 91 Capítulo 5. Preprocesamiento Unidad especial %, #, &, @, $ Palabras_conSigno Abreviaturas Abrevia_duda Siglas_ok Siglas1 Siglas2 Siglas Siglas_duda Sin_vocales Propios Propios_duda Compuestos860 Compuestos Compuestos_duda Compuestos_d Comp_guion Comp_abrevia Numeros L_numero Numeros_error Romanos Romanos_duda Horas Horas_k Dos_puntos Fechas No_fechas Combinaciones letras, numeros y guiones Guiones_dobles Firmas Firmas_abrevia Firmas_duda Titulos Año 1994 1.93 0.13 0.24 0.0036 0.19 3.31 1.37 5.38 1.67 0.46 27.24 10.87 14.06 2.66 3.27 6.11 1.41 0.23 15.23 0.0056 0.21 0.22 0.42 0.39 0.027 0.031 0.0024 0.61 Año 1995 1.71 0.17 0.26 0.0074 0.11 3.32 1.58 4.92 1.74 0.34 26.80 11.19 14.12 4.18 3.22 6.09 1.72 0.22 15.32 0.0034 0.38 0.22 0.28 0.36 0.042 0.098 0.0042 0.63 Total 1.81 0.15 0.25 0.0055 0.15 3.32 1.48 5.15 1.71 0.40 27.02 11.03 14.10 3.92 3.24 6.10 1.56 0.23 15.26 0.0045 0.29 0.22 0.35 0.37 0.035 0.064 0.0033 0.62 0.087 0.12 0.11 0.0032 0.40 0.11 0.14 1.19 0.0081 0.34 0.15 0.12 1.19 0.0022 0.37 0.13 0.13 1.19 Tabla 5.9. Porcentaje de unidades especiales sobre el total de unidades especiales reconocidas (datos mensuales medios) 92 Capítulo 5. Preprocesamiento 5.4 EVALUACIÓN 5.4.1 SEGMENTACIÓN Para evaluar el error cometido en el proceso de segmentación seleccionamos 20 textos aleatoriamente y comprobamos el porcentaje de aciertos. La tasa de error obtenida fue del 4.76 %. En total encontramos 16 errores, de los cuales, 4 eran debidos a siglas , 2 a abreviaturas y 4 a números fin de frase. Los 6 restantes eran errores propios del programa. A continuación intentamos mejorar el porcentaje de aciertos tratando el problema de los números final de frase, de manera que el segmentador evalúe si se trata de un número más un punto final de frase, o bien el punto forma parte de la expresión numérica y no es un final de frase. Realizamos una segunda evaluación, con otro conjunto de 20 textos elegidos aleatoriamente. Esta vez la tasa de error fue del 1.38 %. Los errores cometidos se debían en su mayor parte a siglas final de frase. De un total de 7 errores, 5 eran por siglas fin de frase y 2 eran errores del programa. Siguiendo un procedimiento análogo al de los números fin de frase, intentamos nuevamente disminuir la tasa de error. En esta tercera evaluación, conseguimos una tasa de error del 0.42 %. La Tabla 5.10 resume los resultados obtenidos en las tres pruebas. Nº total frases Frases correctas Acierto (%) Tasa error (%) 1ª Prueba 336 320 95.24 4.76 2ª Prueba 508 501 98.62 1.38 3ª Prueba 479 477 99.58 0.42 Tabla 5.10. Resultados de la segmentación de frases Las clasificaciones deportivas son la parte que mayor dificultad plantea al segmentador. Aquí caben múltiples opciones, para ilustrar la que hemos elegido presentamos a continuación dos ejemplos: 93 Capítulo 5. Preprocesamiento Ejemplo 1 • Texto de entrada: 7ª ETAPA¶ Charleroi - Lieja / 203 kms.¶ .¶ VENCEDOR: Johan Bruyneel (ONCE).¶ SPRINTS ESPECIALES: Kilómetro 40: Abdoujaparov (6 segundos), Jalabert (4) y Stephens (2).¶ Kilómetro 134: Kasputis (6), Den Bakker (4), Laurent (2).¶ Kilómetro 174,5: Jalabert (6), Abdoujaparov (4), Rijs (2).¶ ABANDONOS: Kirsipú (fuera de control), Nelson Rodríguez, Dotti, Blijlevens.¶ .¶ LIDER: Johan Bruyneel (ONCE).¶ • Tras la segmentación6: 7ª ETAPA Charleroi - Lieja / 203 kms . $$$$ . $$$$ VENCEDOR : Johan Bruyneel ( ONCE ) . $$$$ SPRINTS ESPECIALES : Kilómetro 40 : Abdoujaparov ( 6 segundos ) , Jalabert ( 4 ) y Stephens ( 2 ) . $$$$ Kilómetro 134 : Kasputis ( 6 ) , Den Bakker ( 4 ) , Laurent ( 2 ) . $$$$ Kilómetro 174,5 : Jalabert ( 6 ) , Abdoujaparov ( 4 ) , Rijs ( 2 ) . $$$$ ABANDONOS : Kirsipú ( fuera de control ) , Nelson Rodríguez , Dotti , Blijlevens . $$$$ . $$$$ LIDER : Johan Bruyneel ( ONCE ) . $$$$ 6 El símbolo $$$$ es un separador de frases. 94 Capítulo 5. Preprocesamiento Ejemplo2 • Texto de entrada: ZResultados¶ Semifinales individuales: Carlos Costa (ESP, 6) a Alex Corretja (ESP) por 6-3 y 6-3. Richard Krajicek (HOL, 7) a Ronald Agenor (HAI) por 6-4 y 6-2.¶ Semifinales de dobles: Yevgeni Kafelnikov-David Rikl (RUS-RCH) a Jan Appel-Peter Nyborg (SUE) por 4-6, 7-6 (7-5) y 6-4. Jim Courier-Javier Sánchez (USA-ESP) a Lars Johnson-Francisco Montana (SUE-USA), 2-6, 7-6 (7-4) y 6-4.¶ • Tras la segmentación: ZResultados $$$$ Semifinales individuales : Carlos Costa ( ESP , 6 ) a Alex Corretja ( ESP ) por 6-3 y 6-3 . Richard Krajicek ( HOL , 7 ) a Ronald Agenor ( HAI ) por 6-4 y 6-2 . $$$$ Semifinales de dobles : Yevgeni Kafelnikov-David Rikl ( RUS - RCH ) a Jan Appel-Peter Nyborg ( SUE ) por 4-6 , 7-6 ( 7 - 5 ) y 6-4 . Jim Courier-Javier Sánchez ( USA - ESP ) a Lars Johnson-Francisco Montana ( SUE - USA ) , 2-6 , 7-6 ( 7 - 4 ) y 6-4 . $$$$ También nos gustaría indicar el criterio adoptado para los títulos de los artículos. En este caso, el título se considera parte de la frase y después, durante la división de la frase en palabras, se aisla como una unidad y se escribe en el fichero titulos.dep. Veamos un ejemplo: 95 Capítulo 5. Preprocesamiento • Texto de entrada: #Pérez-Reverte vende un millón de ejemplares¶ .¶ MADRID.- El escritor Arturo Pérez-Reverte ha vendido en cuatro años un millón de ejemplares en todo el mundo, según informaron fuentes de la editorial Alfaguara. En España, la novela La tabla de Flandes ya lleva veinte ediciones en Alfaguara Hispánica, sin contar con las dos ediciones en Alfaguara Extra y la edición en castellano que Random House publicó en Estados Unidos. • Tras la segmentación: # Pérez-Reverte vende un millón de ejemplares $$$$ . $$$$ MADRID . - El escritor Arturo Pérez-Reverte ha vendido en cuatro años un millón de ejemplares en todo el mundo , según informaron fuentes de la editorial Alfaguara . $$$$ En España , la novela La tabla de Flandes ya lleva veinte ediciones en Alfaguara Hispánica , sin contar con las dos ediciones en Alfaguara Extra y la edición en castellano que Random House publicó en Estados Unidos . $$$$ Como podemos comprobar MADRID.- no se considera una frase independiente, sino que forma parte de la siguiente. Esto es debido a que el ‘.-‘ no se considera un terminador de frase. 96 Capítulo 5. Preprocesamiento 5.4.2 DETECCIÓN DE UNIDADES ESPECIALES Para la evaluación del detector de unidades especiales revisamos manualmente los ficheros de depuración con el fin de determinar el error cometido. Los ficheros evaluados han sido: Siglas_OK Compuestos_D Siglas Comp_abrevia Propios Comp_abrevia_M Propios_duda Romanos Compuestos860 Romanos_duda Compuestos Guiones dobles Compuestos_duda Horas_K Los ficheros Numeros, Numeros_guion, L_numero, Fechas, Horas y Abreviaturas.dep tienen un porcentaje de acierto del 100 %. La siguiente Tabla muestra los resultados obtenidos: Unidad especial Total Acietos Error (%) Siglas_OK 2087 1801 11.58 Siglas 6965 6881 2.23 Propios 5957 5891 1.11 Propios_duda 4867 4831 0.74 Compuestos860 1690 1652 2.25 Compuestos 2121 1939 8.58 Compuestos_duda 1558 1529 1.80 Compuestos_D 2115 1979 6.43 Comp_abrevia 6868 6124 10.83 Romanos 2102 1850 11.99 Guiones_dobles 2037 1801 11.58 Horas_K 350 340 2.86 Tabla 5.11 Porcentaje de error en la detección de unidades especiales 97 Capítulo 5. Preprocesamiento 5.5 LOCUCIONES Las locuciones son conjuntos de dos o más palabras que funcionan como elemento oracional y cuyo sentido unitario no se justifica, sin más, como suma del significado normal de los componentes. Las locuciones se clasifican según el papel que desempeñan; por ejemplo, las locuciones adverbiales son las que hacen oficio de adverbio, las conjuntivas las hacen oficio de conjunción, etc. Debido a que funcionan como una unidad dentro de la frase disponemos de un detector de locuciones que se encarga de su identificación y categorización. La longitud mínima de una locución es de dos palabras y la máxima que admitimos es seis. El funcionamiento del detector de locuciones es el siguiente: dada una frase, la va recorriendo de principio a fin comprobando si contiene locuciones, comenzando por las de seis palabras y terminando por las de dos. Para saber si el conjunto de palabras considerado es una locución o no cuenta con la ayuda de los diccionarios de locuciones7. Por ejemplo para comprobar si una frase contiene locuciones de cinco palabras, el detector va agrupando las palabras que componen la frase de cinco en cinco, busca cada uno de esos grupos en el diccionario Locuc5.ord y si lo encuentra, categoriza cada una de las palabras con la categoría que aparece en el diccionario. Solo consideramos locuciones aquellas que se encuentran en alguno de los diccionarios específicos, si el grupo considerado no se encuentra en el correspondiente diccionario de locuciones no será reconocido como tal. Antes de la búsqueda en el diccionario, es necesario que el grupo de palabras bajo estudio tenga la misma estructura que las palabras que componen los diccionarios de locuciones. En estos diccionarios las palabras que forman una locución están unidas por guiones bajos, mientras que en la frase, las palabras están separadas por espacios en blanco, sin ningún tipo de unión. El detector va formando grupos de un determinado número de palabras, uniéndolas entre sí por guiones bajos y una vez así, se procede a su búsqueda en el diccionario correspondiente. En la frase seguirán apareciendo aisladas, la unión con guiones bajos es únicamente para la búsqueda en los diccionarios. 7 Los diccionarios de locuciones que utiliza el programa se describen en el Capítulo 6. 98 Capítulo 5. Preprocesamiento Los diccionarios de locuciones extranjeras (English_guiones1.ord, French_guiones1.ord, etc.8) tienen este mismo formato. El procedimiento de búsqueda en dichos diccionarios es el descrito anteriormente. En el funcionamiento normal del programa no se cargan diccionarios extranjeros9 y por tanto no se realiza la búsqueda de locuciones extranjeras. 5.5.1 FICHERO DE DEPURACIÓN Es el fichero de depuración de las locuciones encontradas en el texto de entrada. No existe un fichero para las locuciones de dos palabras, otro para las de tres, etc. sino que todas ellas se recogen en un único fichero. Presenta un formato diferente al del resto de ficheros en la parte final, ya que en este caso en lugar de sacar el contexto en el que aparece la palabra clave se saca la frase donde se encuentra la locución reconocida: Locución junto_con Categoría frase P..##.60## -> Lo cual , junto con la inauguración de nuevos tramos de autovía , se ha traducido en el descenso del número de accidentes ( 3.600 durante el último año frente a los 3.800 de 1992 ) . al_frente_de P..##.60## -> Será su primera visita oficial a España desde que Ejemplo del fichero locuciones.dep 8 9 Véase apartado 6.5 del Capítulo 6. En el Capítulo 6, apartado 6.12, se justifica la decisión de no cargar los diccionarios extranjeros. 99 Capítulo 5. Preprocesamiento 5.5.2 RESULTADOS DEL DETECTOR DE LOCUCIONES Locuciones 2 palabras 3 palabras 4 palabras 5 palabras 6 palabras Año 1994 2.46 0.798 0.0564 0.0036 0.000050 Año 1995 2.46 0.788 0.0534 0.0034 0.000084 Total 2.46 0.792 0.0548 0.0035 0.000066 Tabla 5.12 Resultados del detector de locuciones Porcentajes sobre el número total de palabras procesadas (Datos medios mensuales) Como podemos comprobar las locuciones más utilizadas son las de dos palabras mientras que las de seis son las menos usadas. Sin embargo, hay que tener en cuenta que a medida que aumenta el número de palabras de la locución disminuye el tamaño de los diccionarios10, así disponemos de 893 locuciones de dos palabras, frente a las 5 del diccionario Locuc6.ord. 5.5.3 EVALUACIÓN Con el fin de determinar el porcentaje de error cometido en las locuciones, revisamos manualmente el fichero de depuración locuciones.dep. Los errores encontrados se deben a grupos de palabras que en determinadas frases no funcionan como locuciones, aunque en otras sí lo sean y se trata siempre de locuciones de dos palabras. En las locuciones de tres o más palabras, el sistema acierta siempre. Consideremos el caso de puesto_que. En la frase: Sanidad no iniciará ninguna campaña de vacunación puesto que no cree que entre dentro de sus competencias. puesto_que funciona como locución conjuntiva, sin embargo en esta otra frase: 10 En la Tabla 6.2 del Capítulo 6 figura el tamaño de los diccionarios de Locuciones. 100 Capítulo 5. Preprocesamiento Juan no era la persona idónea para cubrir el puesto que tenía asignado, por eso le cambiaron de sección. puesto y que no forman una unidad, sino que puesto funciona como sustantivo y que es el pronombre que introduce la oración de relativo que tenía asignado. Como conclusión general podemos deducir que cuanto mayor es el tamaño de la locución (número de palabras que la forman) menor es la probabilidad de error. La Tabla 5.13 recoge los resultados de la evaluación, todos los errores encontrados se deben a locuciones de dos palabras. Total Correctas Error (%) Locuciones 602 586 2.66 Locuciones de dos palabras 347 331 4.61 Tabla 5.13 Porcentaje de error en las locuciones 5.5.4 LOCUCIONES MÁS UTILIZADAS EN EL CORPUS DE ENTRENAMIENTO Locuciones Frecuencia absoluta Locuciones Frecuencia absoluta lo_que 3219 ya_que 565 para_que 1013 antes_de 588 después_de 965 más_que 497 sin_embargo 849 sobre_todo 349 más_de 746 a_través_de 324 Tabla 5.14 Locuciones más frecuentes en 12 meses (Datos medios mensuales) 101 Capítulo 5. Preprocesamiento Como muestra la Tabla 5.14, las locuciones más utilizadas son las de dos palabras. Las siguientes Tablas pretenden dar una idea del uso de las locuciones de tres, cuatro, cinco y seis palabras. Parece que existen una relación entre la longitud de la locución y su frecuencia de uso, de manera que, cuanto mayor es la longitud de la locución, menor es su utilización en los textos periodísticos evaluados. Locuciones de 3 palabras a_través_de Frecuencia absoluta 324 Locuciones de 4 palabras a_lo_largo_de Frecuencia absoluta 128 a_partir_de 268 a_pesar_de_que 112 a_pesar_de 375 con_el_fin_de 77 Tabla 5.15 Locuciones de tres y cuatro palabras más utilizadas en 12 meses (Datos medios mensuales) Locuciones de 5 palabras al_fin_y_al_cabo Frecuencia absoluta 28 Locuciones de 6 palabras al_fin_y_a_la_postre Frecuencia absoluta 0.67 a_las_primeras_de_cambio 3 es_por_esto_por_lo_que 0.33 al_pie_de_la_letra 4 un_día_sí_y_otro_no 0.25 Tabla 5.16 Locuciones de cinco y seis palabras más utilizadas en 12 meses (Datos medios mensuales) 5.6 EL DETECTOR DE PALABRAS EXTRANJERAS Para completar el módulo de Preprocesamiento hemos incluido un detector de palabras y nombres propios extranjeros, que se encarga de su reconocimiento y categorización gramatical. 102 Capítulo 5. Preprocesamiento El funcionamiento del detector de palabras extranjeras11 se basa en tres conceptos: 1. Silabicación de las palabras. Se hace la división en sílabas de la palabra considerada y se estudia cada una de las sílabas resultantes, de manera que si se encuentra una combinación de consonantes no permitida en castellano, la palabra será extranjera. Por ejemplo, en castellano puede aparecer la combinación ns al final de una sílaba (ins-ta-lar), pero no la combinación ng (ma-king). Ejemplos de palabras extranjeras detectadas por este método son: fans, light, Becklund, Steward. 2. Doble consonante. Palabras que repiten la misma consonante dos o más veces seguidas, a excepción de c , l , n y r; así, acción, llave, innovación y arrastrar contienen dos veces la misma consonante y son palabras castellanas. Ejemplos de palabras extranjeras que contienen doble consonate: Massi, Bisset, homme, mezzogiornos. 3. Palabras que contienen ‘y’. Para que una palabra que contiene una ‘y’ sea extranjera, dicha letra no debe ir en posición inicial ni entre dos vocales. En inglés muchas palabras terminan en ‘y’; en estos casos el detector da buenos resultados pero es necesario comprobar que realmente se trata de una palabra extranjera porque rey o Godoy acaban en ‘y’, y, sin embargo, no son extranjeras. Ejemplos de palabras extranjeras reconocidas: Beverly, Corey, bye, rallye. Cuando una palabra es reconocida como extranjera, se marca con el rasgo NUM_RASGO_EXTRANJERA o NUM_PROPIO_EXTRANJERO, según se trate de una palabra común o de un nombre propio, se le asigna la categoría extranjero 12 y se 11 En este apartado utilizaremos la denominación de palabras extranjeras para referirnos a sustantivos, adjetivos, nombres propios, etc. extranjeros. 12 En el Anexo A figura la lista de categorías que utiliza el programa. 103 Capítulo 5. Preprocesamiento escribe en el correspondiente fichero de depuración: extranjeras.dep o propios_extranjeros.dep. El formato de estos ficheros es el mismo que el de los restantes ficheros de depuración; dicho formato se describe en el apartado 5.2.4 de este Capítulo. Para evaluar el detector de palabras extranjeras hemos revisado manualmente el contenido de ambos ficheros de depuración, los resultados obtenidos se muestran en la siguiente Tabla: Total Aciertos Error (%) Palabras extranjeras 128 127 0.78 Propios extranjeros 1129 1122 0.62 Tabla 5.17 Porcentaje de error en la detección de palabras extranjeras 104 Capítulo 5. Preprocesamiento CAPÍTULO 5 PREPROCESAMIENTO................................................................49 5.1 SEGMENTACIÓN ................................................................................................50 5.2 DETECCIÓN DE UNIDADES ESPECIALES ...............................................................55 5.2.1 definición de unidades..............................................................................55 5.2.2 EL DETECTOR DE UNIDADES ESPECIALES .......................................64 5.2.3 LOS RASGOS...........................................................................................65 5.2.4 ficheros de depuración .............................................................................67 5.3 RESULTADOS DEL MÓDULO DE PREPROCESAMIENTO.......................90 5.3.1 SEGMENTACIÓN....................................................................................90 5.3.2 EL DETECTOR DE UNIDADES ESPECIALES .......................................91 5.4 EVALUACIÓN ...............................................................................................93 5.4.1 SEGMENTACIÓN....................................................................................93 5.4.2 DETECCIÓN DE UNIDADES ESPECIALES...........................................97 5.5 LOCUCIONES ................................................................................................98 5.5.1 FICHERO DE DEPURACIÓN.................................................................99 5.5.2 RESULTADOS DEL DETECTOR DE LOCUCIONES............................100 5.5.3 evaluación..............................................................................................100 5.5.4 locuCiones más utilizadas en el corpus de entrenamiento.......................101 5.6 EL DETECTOR DE PALABRAS EXTRANJERAS......................................102 49
