Download Modelo Conexionista De Representación Del

Modelo Conexionista de Representacion del Conocimiento para el Desarrollo de la
Comprensión Local de Abstract de Investigacion
Adán Alberto Gómez Salgado
Grupo de investigación EdupMedia, Departamento de Informática,
Institución Educativa Cristóbal Colón
Universidad de Córdoba
Montería, Colombia
[email protected]
RESUMEN
El más elemental de los procesos de la comprensión lectora es el discernimiento de las
proposiciones del texto. A dichas proposiciones se las considera las “unidades de
significado” y son una afirmación abstracta acerca de una persona u objeto. Las unidades
de significado junto al acceso léxico son considerados aspectos primordiales de la
comprensión local de textos y se realizan de forma automática en la lectura fluida. El
modelado computacional de estas unidades de significado es el problema tratado en la
presente investigación. Para lograrlo se describe una propuesta conexionista modular
para el modelado de abstracts de investigación. La validación del modelo se llevó a cabo
en dos fases. Se inició con el desarrollo de un sistema ejercitador que fue evaluado por
expertos y luego se realizó una prueba de tipo post-test, donde se obtuvieron resultados
favorables con los estudiantes.
Palabras Claves: Comprension lectora, redes neuronales artificiales (RNA),
perceptrón, Sistema conexionista modular (SCM), Inteligencia artificial.
ABSTRACT
The most basic process of reading comprehension is the understanding of the
propositions of the text. To these propositions are considered "units of meaning" and are
abstract statements about a person or object. The units of meaning, together with lexical
access are considered micro-processes of intelligence and are performed automatically in
fluent reading. The computational modeling of these units of meaning is the problem
discussed in this article. In which describes a modular connectionist proposal for modeling
of investigation abstracts. To validate the model have been two phases. Beginning with
the development of a system exerciser that was evaluated by experts and then followed a
type test pre-test post-test, where we obtained favorable results with students.
Keywords: Reading comprehension, artificial neural networks
perceptron, modular connectionist system (SCM), Artificial intelligence.
(ANN),
INTRODUCCIÓN
La comprensión es un componente del proceso lector, en la cual se distinguen dos
niveles [1]:
El nivel más elemental es la comprensión de las proposiciones del texto. A las
proposiciones se las considera las “unidades de significado” y son una afirmación
abstracta acerca de una persona u objeto. La comprensión de las proposiciones se
realiza a partir de la conjunción de los elementos textuales (información proporcionada
por texto mismo) y de los elementos subjetivos (conocimientos previos). Este primer nivel,
junto al acceso léxico son considerados aspectos primordiales de la comprensión local de
textos y se realizan de forma automática en la lectura fluida y es el problema tratado en
este artículo.
Por otra parte el nivel superior de la comprensión es el de la integración de la información
suministrada por el texto. Consiste en ligar unas proposiciones con otras para formar
una representación coherente de lo que se está leyendo como un todo. Este nivel es
consciente y no automático y está considerado como un macroproceso.
El presente artículo tiene como objetivo presentar el modelado conexionista de abstracts
de investigación que facilite el desarrollo de comprensión lectora local de los mismos.
Para lo anterior se utilizó el enfoque de las redes neuronales artificiales debido a que su
estructura ofrece ventajas con respecto a otros paradigmas con relación al problema
estudiado. Para el desarrollo del modelo se siguió una metodología clásica de estudio del
problema de descomposición de sus partes y enriquecimiento con revisión de material
bibliográfico de actualidad. Seguido se planteó el modelo y se realizaron pruebas para
validarlo.
El artículo cuenta con una estructura donde inicialmente se presentan los referentes
teóricos que sustentan la propuesta. Luego se describe el modelo conexionista
fundamentado en redes neuronales modulares y se realizan una serie de validaciones
basadas en el diseño de un sistema ejercitador que analiza los patrones discursivos de la
estructura proposicional de una serie de abstracts científicos. Finalmente se exponen las
conclusiones del trabajo.
1. MARCO TEÓRICO
1.1. MODELOS CONEXIONISTAS
Según Feldman [2], El Conexionismo es un concepto amplio visto como una forma de
hacer teoría a causa a una variedad de instrumentos metodológicos enfocados a la
simulación de la cognición humana. Los modelos conexionistas poseen un elemento
común y es que el procesamiento ocurre sobre poblaciones amplias de unidades de
procesamiento muy simples (de inspiración pseudoneuronal) que interactúan entre sí
mediante conexiones que las relacionan. Todas las unidades de la red vienen definidas
por el nivel de activación y están expresadas cuantitativamente, así mismo toda la
conexión está determinada por un valor de fuerza del peso o trazo de la conexión,
también expresado de manera cuantitativa. Cada unidad tiene como tarea única calcular
la activación recibida de las unidades vecinas en base a los pesos de las conexiones que
las asocian y a través de una función aplicada sobre la entrada (input), computar la salida
(ouput) que envía a las unidades con las que se encuentra relacionada. La anterior
interacción producirá la modificación constante de las conexiones de la red (p.e., Hinto,
en prensa; Massaro, 1989; McClelland, 1988; o Smolensky, 1988, para revisiones
teóricas citado en [3]).
El Conexionismo asume que la Cognición ocurre mediante la continua interacción
en paralelo de tales elementos, frente al procesamiento serial protegido por los
modelos clásicos de simulación de la cognición humana. Se catalogará dentro del
área de la computación conocida como Redes Neuronales, o denominada como
enfoque PDP (de Pararell Distributed Processing con relación al título de los
volúmenes de McClelland, and de PDP group, 1986).
1.2. RED NEURONAL
Las redes de neuronas artificiales (RNA) son sistemas informáticos compuestos de
múltiples unidades básicas llamadas neuronas. Las neuronas se encuentran
interconectadas entre sí con el fin de producir un estímulo de salida basado en una serie
de entradas que se procesan de forma automática Lo anterior se logra por medio de un
algoritmo de aprendizaje utilizado para entrenar la red [4]. Es un sistema similar a la
forma en que trabaja el sistema nervioso de los animales.
1.3. MODELAMIENTO CONEXIONISTA DE ABSTRACTS DE INVESTIGACION
De acuerdo a Kaplan (1994) y Bolívar (1996) citados en [5], las comunidades científicas
internacionales recomiendan una estructura básica para los abstracts de investigaciones
científicas conformadas por las secciones: Introducción, Metodología, Resultados y
Conclusiones. Este esquema es denominado la estructura canónica cuatripartita IMRC
[6]. Además distingue una estructura interna para cada una de estas secciones,
comprendida por los elementos o turnos: Iniciación, Seguimiento y Cierre. Se denomina
microestructura discursiva tríada ISC. Dicha triada es la unidad mínima de interacción en
el texto escrito y tiene un tópico y una función dentro del mismo. De esta manera, los
turnos de iniciación empiezan o reinician una idea y una posición, los de seguimiento
mantienen dicha idea y postura y los turnos de cierre terminan el planteamiento y la
posición expresados en el turno de iniciación. De acuerdo a estos planteamientos, un
abstract de investigación que posea la estructura canónica cuatripartita IMRC y dentro de
cada una de estas secciones presente la microestructura discursiva tríada ISC estará
constituido ineludiblemente por doce segmentos en su estructura interna. De esta
manera, se desarrolló una evolución de la representación del proceso de comprensión
proposicional o el microproceso de la comprensión. Lo anterior, mediante un modelo
conexionista que identifica las proposiciones que componen un abstract de investigación
de este tipo.
2. MODELO CONEXIONISTA MODULAR
Esta red es un perceptrón multicapa con propagación hacia delante, basado en el modelo
conexionista modular propuesto por Kipp [7], la cual procesa cada proposición que hace
parte de un abstract de investigación. Estas proposiciones son seleccionadas por el
usuario, de las cuales son extraídos patrones discursivos que se codifican por medio de
un vector de bits específico. Lo anterior permite categorizar dichas proposiciones. Al
introducir un vector de entrada, generado por el proceso de selección del usuario dentro
del abstract, se activan tantos módulos como proposiciones se hayan seleccionado. Las
salidas de los módulos activos e inactivos van a una neurona selectora o neurona núcleo,
la cual indica aquellos segmentos de texto que han sido elegidos por el usuario (Ver
Figura 1).
Figura 1. Modelo conexionista modular para el microproceso de comprensión
De esta forma, el sistema se encuentra determinado por doce módulos neuronales, en
donde cada módulo se encuentra conformado por las siguientes capas:
a. Capa de entrada: Compuesta por los 26 bits de los patrones de entrada con su
correspondiente salida deseada. Cada vector de 26 bits corresponde a la
característica o características que reúne el segmento seleccionado.
El vector de entrada está compuesto por las 14 características comunes entre los
diferentes segmentos. Se agregó 12 bits de control que permiten identificar la
clase de segmento a la que pertenece el patrón. Para un total de 26 bits para cada
patrón de entrada.
⃗⃗⃗⃗
𝑋𝑝 = ⃗⃗⃗
𝑋𝑖 ∪ ⃗⃗⃗⃗
𝑋𝑐 , quedando entonces:
(1)
⃗⃗⃗⃗
𝑋𝑝 = {𝑥1 , 𝑥2 , … , 𝑥26 } , como patrón definitivo de entrada
(2)
b. Capa oculta: Compuesta por 12 neuronas que representan los 12 tipos de
segmentos que componen a un abstract. La salida calculada para cada neurona
va definida por la siguiente regla de propagación:
𝑛
′
𝑦 = 𝑓 (∑ 𝜔𝑖 𝑥𝑖 + 𝜃)
(3)
𝑖=1
De lo anterior se deriva la regla de propagación generalizada para toda la capa:
𝑛𝑐−1
′
𝑦 = 𝑓 ( ∑ 𝜔𝑗𝑖𝑐−1 𝑎𝑗𝑐−1 + 𝑢𝑖𝑐 ) 𝑝𝑎𝑟𝑎 𝑖 = 1,2, … , 𝑛𝑐
(4)
𝑗=1
La función para calcular la regla Delta del reajuste de los pesos viene dada por:
∆𝑝 𝜔𝑗 = 𝛾(𝑑𝑝 − 𝑦 𝑝 ) ∗ 𝑥𝑗
(5)
La función para calcular el error cometido en cada iteración de entrenamiento
viene dado por:
𝐸 = (𝑑𝑝 − 𝑦 𝑝 )
(6)
La función de activación utilizada en cada neurona de la capa es:
𝑦 ′ = 𝑓(𝑦 ′ , 𝜑) {1
0
𝑠𝑖 𝑦 ′ ∗ 𝜑 = {𝑣𝑑}
𝑒𝑛 𝑜𝑡𝑟𝑜 𝑐𝑎𝑠𝑜
(7)
De este modo, la salida definitiva se produce al aplicarle una función discreta que
depende del producto de la salida calculada por una constante 𝜑, la cual permite
transformar la salida deseada en un número entre 0 y 1.
c. Capa de salida: compuesta por una neurona selectora o neurona núcleo, la
cual recibe un vector de 12 bits que ha salido de la capa oculta. Se encarga de
indicar, dependiendo del módulo en el que se encuentre, a que segmento de texto
del abstract pertenece lo seleccionado. En esta neurona la salida final es igual a
la salida calculada. Por esto, tenemos que:
𝑦′ = 𝑦
(8)
A continuación se presenta la figura 2 del módulo con las tres capas descritas. Se debe
tener en cuenta que la estructura de la red está formada por doce de estos módulos, uno
por cada segmento del abstract.
Figura 2. Un módulo del modelo
3. METODOLOGÍA
A continuación se describen los pasos seguidos para el análisis del problema.
3.1 PATRONES DE LA MICROESTRUCTURA DISCURSIVA TRIADA
Para la aplicación del modelo de representación (anteriormente descrito) al dominio de
conocimiento de los abstract de investigación, se decidió seguir la propuesta de GarcíaCalvo [3]. Para lo anterior se construyó un corpus de 185 abstracts para modelar la
estructura interaccional del texto y diseñar la estructura de los patrones discursivos.
Para esto, se tomó el formato utilizado por Blanci y Briceño [8] y se elaborararon por
cada abstract la estructura canónica cuatripartita de: introducción, método, resultados y
conclusiones, propuesta como ideal por buena parte de las organizaciones
internacionales relacionadas con la investigación [9], [10], [11]. Los 185 abstracts se
tomaron de la revista Information Research (http://informationr.net/ir/), la cual es una
publicación académica internacional de acceso libre, revisada por pares, dedicada a
hacer accesible los resultados de la investigación a través de una amplia gama de
disciplinas relacionadas con las ciencias de la información. La revista es apoyada por las
bibliotecas de la Universidad de Lund de Suecia y el consejo editorial de la Universidad
de Boras (Suecia). Se seleccionó esta revista por dos razones: su carácter libre (y de
esa forma, no incurrir en peligros de infringir violación a derechos de autor) y por la
exigencia que demuestra a los científicos que desean publicar sus manuscritos en
cuanto al respeto por la estructura cuatripartita IMRC.
Basándose en los planteamientos de [6], [12] y [13] se crearon los patrones discursivos
necesarios para la identificación de los doce segmentos que hacen parte de un abstract
de investigación. Luego se procedió a desarrollar la estructura de cada patrón en el
modelo de representación descrito en la sección anterior. De esta manera, se tomaron
los siguientes elementos como patrones que alimentan el sistema modular conexionista
(Ver Figura 3):
INICIACIÓN
INICIO DE ORACIÓN
MARCADOR DE DISCURSO DE APERTURA
MARCADOR DE DISCURSO
INTRODUCCIÓN
SEGUIMIENTO
INICIO DE ORACIÓN
MARCADOR DE DISCURSO DE SEGUIMIENTO
MARCADOR DE DISCURSO
CIERRE
INICIO DE ORACIÓN
MARCADOR DE DISCURSO DE CIERRE
INICIO DE ORACIÓN
MARCADOR DE DISCURSO
INICIACIÓN
MARCADOR DE DISCURSO DE APERTURA
PREPOSICIÓN
MITAD DE PALABRAS COMUNES ESPECIALES DE METODOLOGÍA
MARCADOR DE DISCURSO
METODOLOGÍA
SEGUIMIENTO
INICIO DE ORACIÓN
MARCADOR DE DISCURSO DE SEGUIMIENTO
MITAD DE PALABRAS COMUNES ESPECIALES DE METODOLOGÍA
MARCADOR DE DISCURSO
CIERRE
INICIO DE ORACIÓN
MARCADOR DE DISCURSO DE CIERRE
MITAD DE PALABRAS COMUNES ESPECIALES DE METODOLOGÍA
ABSTRACT
INICIO DE ORACIÓN
MARCADOR DE DISCURSO
INICIACIÓN
MARCADOR DE DISCURSO DE APERTURA
PREPOSICIÓN
MITAD DE PALABRAS COMUNES ESPECIALES DE RESULTADOS
MARCADOR DE DISCURSO
RESULTADOS
SEGUIMIENTO
INICIO DE ORACIÓN
MARCADOR DE DISCURSO DE SEGUIMIENTO
MITAD DE PALABRAS COMUNES ESPECIALES DE RESULTADOS
MARCADOR DE DISCURSO
CIERRE
INICIO DE ORACIÓN
MARCADOR DE DISCURSO DE CIERRE
MITAD DE PALABRAS COMUNES ESPECIALES DE RESULTADOS
INICIO DE ORACIÓN
MARCADOR DE DISCURSO
INICIACIÓN
MARCADOR DE DISCURSO DE APERTURA
PREPOSCIÓN
MARCADOR DE DISCURSO DE CIERRE
MARCADOR DE DISCURSO DE SEGUIMIENTO
CONCLUSIONES
SEGUIMIENTO
INICIO DE ORACIÓN
MARCADOR DE DISCURSO DE SEGUIMIENTO
MARCADOR DE DISCURSO
CIERRE
INICIO DE ORACIÓN
MARCADOR DE DISCURSO DE CIERRE
Figura 3. Patrones de la microestructura discursiva
3.2 ADQUISICIÓN DE LOS DATOS DE ENTRADA
Con base en los patrones de la microestructura discursiva, se creó una matriz
conformada por todas las características que la componen. Así se obtuvó los doce
segmentos de texto de un abstract (Ver Tabla 1).
Tabla 1. Segmentos de texto de un abstract
A
INIINT
Inicio de introducción
B
SEGINT
Seguimiento
introducción
C
CIEINT
Cierre de introducción
D
INIMET
Inicio de metodología
E
SEGMET
Seguimiento
metodología
F
CIEMET
Cierre de metodología
G
INIRES
Inicio de resultados
H
SEGRES
Seguimiento
resultados
I
CIERES
Cierre de resultados
J
INICON
Inicio de conclusión
K
SEGCON Seguimiento
conclusión
L
CIECON
de
de
de
de
Cierre de conclusión
Se encontraron catorce características comunes entre los diferentes segmentos a los
cuales se les agregó doce bits de control que permiten identificar la clase de segmento a
la que pertenece el patrón. Se obtuvo un total de 26 bits para cada patrón de entrada (Ver
Tabla 2).
Tabla 2. Características comunes entre los diferentes segmentos de un abstract
𝑥1
IDO
La oración inicia en mayúsculas
𝑥2
MDAI
𝑥3
MD
Marcador del discurso
introducción
Marcador de discurso
de
apertura
de
𝑥4
MDSEG
Marcador del discurso de seguimiento
𝑥5
MDCI
Marcador del discurso de cierre de introducción
𝑥6
MDAM
𝑥7
Marcador del
metodología
PREPOS Preposición
discurso
de
apertura
de
𝑥8
MPCEM
𝑥9
MDCM
Mitad palabras comunes especiales para
metodología
Marcador del discurso de cierre de metodología
𝑥10
MDAR
Marcador del discurso de apertura de resultados
𝑥11
MPCER
𝑥12
MDCR
Mitad palabras comunes especiales para
resultados
Marcador del discurso de cierre de resultados
𝑥13
MDAC
𝑥𝑖14
MDCC
Marcador del discurso de apertura de
conclusiones
Marcador del discurso de cierre de conclusión
De este modo se conformó el vector de características para alimentar las entradas de la
red.
⃗⃗⃗
𝑋𝑖 = {𝑥1 , 𝑥2 , … , 𝑥14 }
(9)
A continuación se presenta la tabla de la cual se obtiene el vector de bits de clasificación,
denominado vector de bits de control (Ver Tabla 3).
Tabla 3. Segmentos de un abstract
𝑥15
A
INIINT
𝑥16
B
SEGINT
𝑥17
C
CIEINT
𝑥18
D
INIMET
𝑥19
E
SEGMET
𝑥20
F
CIEMET
𝑥21
G
INIRES
𝑥22
H
SEGRES
𝑥23
I
CIERES
𝑥24
J
INICON
𝑥25
K
SEGCON
𝑥26
L
CIECON
⃗⃗⃗⃗
𝑋𝑐 = {𝑥15 , 𝑥16 , … , 𝑥26 } , vector patrón de control
(10)
3.3 CAPA OCULTA
A continuación se detallan las posibles combinaciones del vector que surge como salida
de la capa oculta y es la entrada para la capa de salida (Ver Tabla 4):
Tabla 4. Vector de salida
𝑥1
INIINT
Inicio de introducción
𝑥2
SEGINT
Seguimiento de introducción
𝑥3
CIEINT
Cierre de introducción
𝑥4
INIMET
Inicio de metodología
𝑥5
SEGMET
Seguimiento de metodología
𝑥6
CIEMET
Cierre de metodología
𝑥7
INIRES
Inicio de resultados
𝑥8
SEGRES
Seguimiento de resultados
𝑥9
CIERES
Cierre de resultados
𝑥10
INICON
Inicio de conclusión
𝑥11
SEGCON Seguimiento de conclusión
𝑥12
CIECON
Cierre de conclusión
El vector de entradas que surge de la capa oculta, basado en el cuadro anterior es:
⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗
𝑋𝑜𝑐𝑢𝑙𝑡𝑜 = {𝑥1 , 𝑥2 , … , 𝑥12 }
(11)
A continuación se presenta cada uno de los patrones de activación esperados para cada
uno de los segmentos. Dado los 26 bits iniciales de entrada se han reducido a doce y con
estos datos se formulan las funciones de activación necesarias para la capa de salida
(Ver Figura 4).
Figura 4. Patrones de activación esperados para segmento
A continuación se presenta la matriz con la codificación en binario de cada una de las
características que activa a las neuronas de la capa oculta. Depende de cuál segmento
de texto dentro del abstract seleccione el usuario (Ver Figura 5).
Figura 5. Matriz en binario de cada una característica de las neuronas de la capa oculta
4. VALIDACIÓN Y PRUEBAS
Para validar el modelo se diseñó un ambiente computacional que posee una arquitectura
compuesta por tres grandes módulos: IGU, Gestor de entradas y Red neuronal modular,
según se puede apreciar en la Figura 6.
Figura 6. Estructura del ambiente computacional
El ambiente computacional fue denominado Neuronas 1.0 tipo cloud computing en Adobe
Flex
Builder
4.5.
El
cual
se
encuentra
disponible
en
http://www.cristobalcolon.edu.co/neuronas. Presenta una entrada por sesión a dos tipos
de usuario: experto y estudiante, como se aprecia en la Figura 6. En la sesión de experto
permite el ingreso y almacenamiento de los abstract que son presentados al usuario
estudiante. El experto presenta al sistema el abstract de investigación a ser almacenado
en el Banco de textos y selecciona individualmente cada uno de los doce segmentos que
lo conforman. El sistema de acuerdo a su aprendizaje, es capaz de indicarle si la
selección ha sido apropiada o no. La única información que el experto le brinda al
software es la longitud textual de cada segmento en ese abstract en particular,
etiquetando el principio y el final del mismo. Aunque el proceso de aprendizaje del
sistema permite la identificación de cada segmento de acuerdo a las características
generales, es necesario brindar el rigor que permita la segmentación exacta de cada
tramo en particular, tal como se señala en [14].
De esta forma, el sistema le puede presentar al usuario estudiante varios abstract de
investigación de manera aleatoria (Ver Figura 7). En cada abstract de investigación el
estudiante debe seleccionar los doce elementos que hacen parte de su estructura interna.
Cada uno de estos elementos es pedido al usuario en forma aleatoria (Ver Figura 7). La
selección de cada segmento se debe realizar en forma exacta y rigurosa ya que el
sistema en su Módulo analizador, mediante técnicas de segmentación textual, convierte
cada segmento del texto en un vector de catorce bits denominado Vector de
características, de acuerdo a los patrones discursivos descritos anteriormente.
Seguidamente, este mismo módulo, de acuerdo al etiquetado realizado por el experto,
crea un segundo vector de bits llamado Vector de control. Este proceso sólo activa un bit
de los doce que conforman a dicho vector. Sirve para identificar de esta forma el
segmento escogido de acuerdo a las características detectadas en la selección. Luego,
este módulo envía estos dos vectores al módulo Gestor de entradas el cual los concatena
en uno sólo. El nuevo vector se convierte en la capa de entrada a la Red Neuronal
Modular, el cual recibe 26 bits observando el bit de control activo. De este modo se utiliza
el módulo neuronal específico para ese vector en especial. Por último, la red neuronal
modular presenta una salida de acuerdo a su función de transferencia. La salida indica al
usuario si el segmento seleccionado es el que el sistema le ha solicitado con anterioridad.
Las figura 7 y 8 presentan un ejemplo de este proceso.
Figura 7. Presentación aleatoria de un abstract de investigación
Como se puede observar en la figura 8, el sistema no sólo es capaz de responder si la
selección ejecutada por el usuario es incorrecta sino que presenta aquellos módulos de la
red que se activaron mediante dicha selección. Igualmente al presentar un mensaje de
felicitaciones (Ver Figura 8) por seleccionar el segmento solicitado, se indica el módulo
que la red activa al ser ingresada la información.
Figura 8. Mensajes de salida para la selección del segmento solicitado
4.1. JUICIO DE EXPERTOS
Una vez elaborado el ambiente computacional Neuronas 1.0 se sometió a una
validación a través de la técnica del juicio del experto. Intervinieron profesionales en
diseño e implementación de software (1 candidato a doctor en ingeniería de la
Universidad de Antioquia y el otro magíster en gestión de informática y
telecomunicaciones de la Universidad ICESI de Cali). A partir de sus indicaciones se
hicieron un conjunto de correcciones y modificaciones que dieron lugar a la segunda
versión del ambiente computacional y a la segunda versión de la Prueba final.
Para el proceso de validación se utilizó el método de evaluación heurístico planteado
por García y Magal [15]. Este tipo de evaluación se lleva a cabo antes de realizar las
pruebas de usuarios, porque es capaz de detectar problemas graves de
funcionamiento en los ambientes computacionales, que el usuario convencional no
detectaría. En comparación con otras técnicas de evaluación de interpretación de las
acciones de los usuarios, en la evaluación heurística no es necesaria una
interpretación externa, ya que la información se encuentra contenida en los informes
realizados por los evaluadores expertos. El procedimiento general del método obliga a
los evaluadores seleccionados a inspeccionar los ambientes computacionales
individualmente y a emitir informes por escrito. Las sesiones de evaluación duran
aproximadamente entre una y dos horas por cada sección del ambiente
computacional. Los evaluadores utilizan una lista de criterios siguiendo las pautas
heurísticas definidas previamente, que se pueden considerarde carácter estándar o
que se establecen en función de las características de la herramienta.
Los criterios heurísticos elegidos para valorar los ambientes computacionales fueron
los diezcriterios básicos planteados por García y Magal [15], los cuales se presentan
a continuación (Ver Tabla 5):
Tabla 5. Criterios heurísticos seleccionados
Principio heurístico
1 Visibilidad del estado del sistema.
2 Concordancia entre el lenguaje del usuario y el mundo real.
3 Control del usuario.
4.1 Consistencia y aplicación de estándares: nivel técnico y formal.
4.2 Consistencia y aplicación de estándares: nivel de contenidos educativos.
5. Prevención de errores.
6.1 Reconocimiento más que recuerdo: adaptación al medio y al proceso.
6.2 . Reconocimiento más que recuerdo: realización de las pruebas y elaboración de contenidos
7. Flexibilidad y eficacia de uso.
8. Diseño atemporal y minimalista.
9. Ayudas al usuario, diagnosis y recuperación frente a posibles errores.
10. Documentación informativa adicional y acceso a la ayuda del programa.
4.2. PRUEBA PILOTO
En cuanto a la medición de la confiabilidad para el ambiente computacional, se tomó en
cuenta los planteamientos de Calderón [16] y se realizó una prueba piloto con la finalidad
de comprobar si cumple o no con los requerimientos de la investigación. La prueba piloto
fue realizada por un profesor de la asignatura Inteligencia computacional del programa
curricular de Licenciatura en informática y medios audiovisuales de la Universidad de
Córdoba, debidamente entrenado en el uso del software y por dos estudiantes monitores
de docencia que apoyaron al profesor en la realización de la aplicación del instrumento.
También se contó con la colaboración de 20 estudiantes de su asignatura.
4.2.1. Descripción de la prueba
A continuación se describen cada uno de los elementos de la prueba.
Modelo de prueba: para la implementación de la prueba piloto se tomó un modelo cuasiexperimental con dos grupos: uno de control (A) y el otro experimental (B). El primero
recibió clases magitrales tradicionales sobre abstracts de investigación y la identificación
de cada uno de los segmentos que lo conforman empleando como recurso el pizarrón. El
segundo contó con el ambiente computacional Neuronas 1.0 como recurso para el
desarrollo del microproceso de la comprensión en abstracts de investigación. Se aplicó la
misma prueba final, luego de cuatro sesiones de clases a cada uno de los dos grupos.
Selección de muestras: cada grupo estuvo conformado por diez estudiantes tomados al
azar del grupo de sesenta estudiantes de sexto semestre en el período II – 2011 del
programa curricular de Licenciatura en informática y medios audiovisuales. Las muestras
no son probabilísticas.
Hipótesis de trabajo: el empleo del software Neuronas 1.0 como apoyo en las clases de
Inteligencia computacional mejora el nivel de comprensión local de la información
presente en un abstract de investigación.
Variables: Empleo del ambiente computacional Neuronas 1.0 y comprensión local de
conceptos. La operacionalización de estas variables se muestra en la Tabla 6, basados
en el procedimiento propuesto por Calderón [14]:
Tabla 6. Operacionalización de las variables de estudio en la prueba piloto. Adaptada de
Calderón [14].
Aspectos a Evaluar
Dominio de Aspectos
Teóricos
Indicadores de Evaluación
Escala
1 2 3 4 5
El alumno enuncia los conceptos mostrados en el software de manera correcta
El alumno identifica características de los conceptos impartidos en el software
El alumno enuncia y enumera los pasos de los procedimientos mostrados en el software
Dominio de Aspectos
Prácticos
El alumno construye representaciones a partir de los conocimientos impartidos
El alumno construye proyecciones a partir de los conocimientos impartidos
De esta manera, se posee los elementos metodológicos necesarios para la realización de
la validación, la cual consistió como se describió anteriormente en la ejecución de una
valoración de expertos y una prueba piloto que se aplica al ambiente computacional con
la finalidad de comprobar si cumple o no con el propósito de la investigación.
Seguidamente se presentan los resultados de dicho proceso de validación.
5. RESULTADOS
Los resultados de la validación a juicio de expertos en la primera revisión del ambiente
computacional presentó el siguiente informe:
Tabla 7. Resultados de la validación a juicio de expertos
Principio heurístico
Porcentaje
1. Visibilidad del estado del sistema.
75%
2. Concordancia entre el lenguaje del usuario y el mundo real.
40%
3. Control del usuario.
50%
4.1. Consistencia y aplicación de estándares: nivel técnico y formal.
30%
4.2. Consistencia y aplicación de estándares: nivel de contenidos educativos.
80%
35%
5. Prevención de errores.
6.1. Reconocimiento más que recuerdo: adaptación al medio y al proceso.
40%
6.2. Reconocimiento más que recuerdo: realización de las pruebas y elaboración de contenidos
33%
7. Flexibilidad y eficacia de uso.
25%
8. Diseño atemporal y minimalista.
25%
9. Ayudas al usuario, diagnosis y recuperación frente a posibles errores.
28%
10. Documentación informativa adicional y acceso a la ayuda del programa.
28%
Como se puede observar, los aspectos que tuvieron mayor puntaje en la validación
fueron Visibilidad del estado del sistema y Nivel de contenidos educativos (Ver Tabla 7).
Los dos anteriores fueron los únicos aspectos que no se modificaron en el ambiente.
Después de aplicar las correcciones y recomendaciones de los expertos se aplicaron
nuevamente los criterios heurísticos al ambiente computacional. A continuación se
presenta un resumen del informe presentado por los expertos (Ver Tabla 8):
Tabla 8. Informe presentado por los expertos después de aplicar las correcciones
Principio heurístico
Porcentaje
1. Visibilidad del estado del sistema.
75%
2. Concordancia entre el lenguaje del usuario y el mundo real.
90%
3. Control del usuario.
80%
4.1. Consistencia y aplicación de estándares: nivel técnico y formal.
90%
4.2. Consistencia y aplicación de estándares: nivel de contenidos educativos.
90%
85%
5. Prevención de errores.
6.1. Reconocimiento más que recuerdo: adaptación al medio y al proceso.
90%
6.2. Reconocimiento más que recuerdo: realización de las pruebas y elaboración de contenidos
75%
7. Flexibilidad y eficacia de uso.
85%
8. Diseño atemporal y minimalista.
85%
9. Ayudas al usuario, diagnosis y recuperación frente a posibles errores.
79%
10. Documentación informativa adicional y acceso a la ayuda del programa.
90%
El resultado final de la prueba a juicio de expertos resultó ser favorable, logrando
valoraciones desde 75% en todos los indicadores examinados por los dos evaluadores.
Por otro lado, el informe presentado por el docente con respecto a la Prueba Piloto del
Ambiente Computacional, arrojó las siguientes puntuaciones:
Tabla 9. Resultados informe de evaluación de la prueba piloto para ambientes
computacionales. Adaptado de Calderón [14]
Aspectos a Evaluar
Indicadores de Evaluación
Grupo
Grupo
Control
Experimen.
El alumno enuncia los conceptos mostrados en el software de manera correcta
Dominio de Aspectos
El alumno identifica características de los conceptos impartidos en el software
Teóricos
El alumno enuncia y enumera los pasos de los procedimientos mostrados en el software
3,9
4
4
4,2
4,2
4,3
Dominio de Aspectos El alumno construye representaciones a partir de los conocimientos impartidos
Prácticos
El alumno construye proyecciones a partir de los conocimientos impartidos
3,9
4,1
4,3
4,3
Lo anterior nos demuestra que el ambiente computacional Neuronas 1.0 proporciona una
buena confiabilidad para la consecución de los objetivos de la investigación y desarrolla
procesos de comprensión local en estudiantes que leen un abstract de investigación.
Aunque se presentan resultados iniciales, es preciso tener en cuenta que la
representación modular conexionista propicia altos niveles de comprensión a nivel
proposicional de la información presentada en un abstract de investigación.
6. CONCLUSIONES
Con este trabajo queda demostrado que es posible modelar abstracts de investigación
utilizando Redes Neuronales Modulares y facilitar de esta manera la comprensión local
de estos textos. El diseño modular facilitó la gestión de la complejidad en el modelo, dado
que se replicaron unidades conexionistas funcionales, las cuales al trabajar en conjunto
permiten facilitar el aprendizaje de la red a un costo computacional bajo.
Un aporte de este trabajo es la reducción considerable del número de neuronas
pertenecientes a la capa de entrada. Esto se logró gracias a la implementación de un
vector de control en la capa de entrada, por medio del cual se pueden extender las
entradas debido a la combinación de valores entre los vectores de entradas y el de
control.
El ambiente computacional denominado Neuronas 1.0, desarrollado sobre el modelo
conexionista modular propuesto, demostró ser funcional y adecuado a las necesidades
relacionadas con el estudio y ejercitación de habilidades relacionadas con el
microproceso de la comprensión lectora.
Finalmente el resultado de la prueba piloto desarrollada con una muestra de 60
estudiantes, dio como resultado que el empleo del software Neuronas 1.0, como apoyo
en las clases de Inteligencia computacional, mejoró el nivel de comprensión local de la
información presente en un abstract de investigación; dando validez a la hipótesis
formulada.
7. REFERENCIAS
[1]. Redondo, M. (2009). Comprensión Lectora. Revista Digital Innovación y Experiencias
Educativas, 1-8.
[2]. Feldman, J., & Ballard, D. (1982). Connectionist models and their properties. Cognitive
Science , 205-254.
[3]. Hinton, G., & Macclelland, J. (1986). Discussion and preview. En D. Rumelhart, J.
McClelland, & T. P. groups, parallel distributed processing: explorations in the
microstructure cognition (págs. 318-362). massachusetts: MIT Press.
[4]. McClelland, J., & Rumelhart, D. (1986). Parallel Distributed Processing: Explorations
in the microstructure of cognition. Cambridge, MA: Bradford Books.
[5]. Bolívar, A. (1999). Homogeneidad versus variedad en la estructura de los resúmenes
de investigación para congresos. akademos, 121-136.
[6]. García-Calvo, J. (1999). Un estudio comparativo de los abstracts para eventos
científicos en inglés y español. D.E.L.T.A, 269-288.
[7]. Kipp, M. (1998). The Neural Path to Dialogue Acts. Proceedings of the 13th European
Conference on Artificial Intelligence (págs. 175-179). London: ECAI.
[8]. Blanco, C., & Briceño, Y. (2006). El discurso de la investigación educacional: Los
resúmenes de las ponencias de la UCV en la ASOVAC. Boletin de Linguistica, 33-62.
[9]. Hyland, K. (2000). Disciplinary discourses. Singapore: Longman-Pearson.
[10]. Day, R. (1998). How to write and publish a scientific paper. Phoenix: Oryx Press.
[11]. APA. (2001). Publication manual. Washington, DC : American Psychological
Association.
[12]. Wright, J. (2007). Part-of-speech filtering in unsupervised learning to improve
discourse relation recognition. British Columbia: Department of Computer Science
University of British Columbia.
[13]. Tortajada, S., & Castro, M. (2006). Diferentes aproximaciones a la codificación del
vocabulario en modelado de lenguaje conexionista. Actas de las IV Jornadas de
Tecnologías del Habla (págs. 59-63). Valencia - España: UPV.
[14]. Kaikhah, K. (2004). Text Summarization Using Neural Networks. Texas State
University: Faculty Publications-Comp. Texas.
[15]. García, J., & Magal, M. (2007). Diseño y validación de la plataforma PLEVALEX
como respuesta a los retos de diseño de exámenes de idiomas para fines específicos.
Revista de la Asociación Europea de Lenguas para Fines Específicos (AELFE) , 7879.
[16]. Calderón, J. (2009). Desarrollo de un sistema computacional para el mejoramiento
de la comprensión de los aspectos teóricos de Geometría Descriptiva. Energy and
Technology for the Americas: Education, Innovation, Technology and Practice.