Download Modelo de Datos

Validación de Informes
Económicos/Contables/Financieros
Semánticos y su Implementación
en Base de Datos, de una Forma
Automática.
PROYECTO FIN DE CARRERA
Ingeniería Técnica de Informática de Gestión
Autor: Abel Nieto Cano
Tutores: Ignacio J. Santos Forner y Elena Castro Galán
ÍNDICE
Índice
Introducción DPM
Modelo de Datos
Validación DPM
índice
Introducción DPM
Modelo de Datos
Validación DPM
Modelo en Estrella
Conclusiones y futuros trabajos
Cuestiones
Modelo en Estrella
Conclusiones y futuros
trabajos
Cuestiones
Introducción al Modelo Punto de
Datos
Índice
Introducción DPM
Modelo de Datos
Validación DPM
Modelo en Estrella
Este proyecto toma como punto de partida el Desarrollo realizado
para representar el Modelo punto de datos. Creado por la
Autoridad Bancaria Europea (European Banking Authority, EBA). La
EBA Pide una serie de Informes en XBRL los cuales se modelan a
través del Modelo Punto de datos.
El Modelo Punto de datos consiste en:
 Al Conjunto de puntos de datos necesarios o hechos, en los
informes Europeos de Supervisión.(Ej: Nivel de Riesgo,
Activos,…)
 Definiciones y reglas de usuarios expertos (Reguladores)
Términos usados: Concepto, Dimensión, Dominio, Jerarquías,
miembros, métricas, tablas de grupo, Cubo de datos e Hipercubo.
Conclusiones y futuros
trabajos
Cuestiones
Introducción al Modelo Punto de
Datos
Objetivos y Alcance:
 Migración del Modelo de datos de la EBA a un Modelo de datos
en un Gestor de Base de datos más apropiado para este tipo de
áreas de negocio.
 Creación de una interfaz de integración Y validación de los
datos
 Creación de un Modelo Multidimensional de forma dinámica
para la creación de informes.
Índice
Introducción DPM
Modelo de Datos
Validación DPM
Modelo en Estrella
Conclusiones y futuros
trabajos
Cuestiones
Introducción al Modelo Punto de
Datos
Índice
Introducción DPM
Modelo de Datos
Validación DPM
Datos
Requerimentos
Negocio
Modelo en Estrella
Alcance
DPM EBA
AREA FUNCIONAL
MS Excel
MS Access
Conclusiones y futuros
trabajos
Cuestiones
Validación SSIS
Base de datos SQL
Sever
EBA
Reports
Base de datos
Multidimensional
Reports
Data Point Model XBRL
Un informe económico financiero, posee reglas y conceptos, a
través de estos se crea un modelo de punto de datos con la ayuda
de los usuarios expertos y Tecnología. Mi estudio está orientado a
parte de dicho modelo.
Índice
Modelo de Datos
Introducción DPM
Punto de partida DPM EBA 2.2.
Este modelo de
datos posee
Imperfecciones.
Algunas resueltas
en las nuevas
versiones.
Algunas concernientes a:




La estructura del modelo (esquema muy caótico).
Validaciones.
Normalización de tipos de datos y campos.
Rendimiento y administración de la Base de datos.
Modelo de Datos
Validación DPM
Modelo en Estrella
Conclusiones y futuros
trabajos
Cuestiones
Modelo de Datos
Índice
Introducción DPM
Modelo de Datos
Elección de un Nuevo Sistema Gestor de Base de datos. SQL SERVER,
pero Podría ser ORACLE, DB2. Access está más enfocado en “uso de
escritorio” o personal, de pequeña y mediana Empresa, (máximo
una pequeña red local o Hacia el usuario experto no informático).
Validación DPM
Modelo en Estrella
Conclusiones y futuros
trabajos
Cuestiones
Índice
Modelo de Datos
Introducción DPM
Modelo de Datos
Los próximos Pasos van orientados a crear un Modelo Relacional
atendiendo a las relaciones entre tablas definidas en el Modelo
relacional de la EBA. Cuyo fin es:
 Crear un Modelo Relacional de validación.
 Migración y validación de estos datos.
DPM EBA 2.2 (MS ACCESS)
Modelo en Estrella
Conclusiones y futuros
trabajos
Cuestiones
Modelo E/R Acsess
EBA
API Export 32bits SQL
Server
Analisis Relaciones
Modelo EBA
DPMDatabase2.2 (MS SQL Server)
Generación Script BDD
SQL Server
Validación DPM
DPMDatabase2.2_Validation (MS SQL Server)
Validación DPM
Índice
Introducción DPM
Modelo de Datos
Este diagrama E/R es parte del modelo punto de datos y este
estudio es parte de la tésis doctoral de Ignacio Santos.
Validación DPM
Modelo en Estrella
Conclusiones y futuros
trabjos
Cuestiones
Validación DPM
Índice
Introducción DPM
Modelo de Datos
Validación DPM
Modelo en Estrella
Validar los datos dentro del Modelo de Base de datos.
Cargar datos EBA DPM en la BDD de Validación.
Resultado: EBA DPM Validado.
Conclusiones y futuros
trabjos
Cuestiones
Índice
Validación DPM
Introducción DPM
Modelo de Datos
Validación DPM
Modelo en Estrella
Proceso de Validación
Conclusiones y futuros
trabjos
Cuestiones
Entidad Domain
Entidad Concept
…
Entidad …
Hierrachy
…
DPM EBA 2.2
MS Access
…
…
…
Entidad flowntype
DATOS
PLANTILLAS EXCEL
CARPETA
SSIS
DPMDatabase2.2_Validation
MS SQL SERVER
Índice
Validación DPM
Introducción DPM
Modelo de Datos
Solución EBA_SSIS_XBRL
Parámetros Globales:
Validación DPM
Modelo en Estrella
Connection String mediante
OLEDB a la BD
DPMDatabase2.2_Validation
@RutaIN
@RutaERR
...
Conclusiones y futuros
trabajos
Cuestiones
Master_SSIS.Dtsx
Execute Package Task Dimension, concept, domain and Member
IS_Concept.Dtsx
IS_Domain.Dtsx
IS_Member.Dtsx
Event
handler
Explicar SSIS
IS_Dimension.Dtsx
Execute Package Task Hierarchy and hierarchy Node
IS_HierarchyNode.
Dtsx
IS_Hierarchy.Dtsx
LOG
Inserción
Execute Package Task Framework and Taxonomy
IS_ReportingFrame
work.Dtsx
IS_Taxonomy.Dtsx
Execute Package Task Metric, flow type and Data Type
IS_FlowType.Dtsx
IS_Datatype.Dtsx
IS_Metric.Dtsx
Índice
Validación DPM
Introducción DPM
Modelo de Datos
Validación de estructuras en árbol. Los conceptos en un
dominio tienen estructura arbórea. Este tipo de estructuras no
son validadas en Access pueden contener errores.
Validación DPM
Modelo en Estrella
Conclusiones y futuros
trabjos
Hijo - 3
Cuestiones
Padre - 1
Hijo - 4
Nodo
Padre
1
Padre - 2
Ruta
Orden
Nivel
1.
1
1
Hijo - 5
3
1
1.3.
2
2
4
1
1.4.
3
2
2.
4
1
2.5.
5
2
Hijo - 1
Padre - 4
2
Hijo - 6
Hijo - 4
Padre - 3
Hijo - 7
5
2
Índice
Validación DPM
Introducción DPM
Modelo de Datos
Validación DPM
Inicio Ejecución hierarchyNode DTSX
Modelo en Estrella
Por cada Registro
insertado en la tabla
HierarchyNode
Flujo de Datos
PostEjecución
Event handler
Ejecución Trigger
Hierarchy
Comparison
Error
Event handler
Inserción en la tabla Log Errors
Inserción en tabla de
Datos
Insercion en la tabla
LOG Errors
OUTPUT: Fichero con Mensaje de la
inserción
La estructura en árbol y
la Integridad del Modelo
es validado y
controlado, en el caso
de localizar
incongruencias.
Finalmente, es
notificado tanto a la
tabla de Auditoría
LogErrors como a un
fichero de texto.
Conclusiones y futuros
trabajos
Referencias
Cuestiones
Modelo en estrella
Índice
Introducción DPM
Modelo de Datos
Únicamente se refiere
a los conceptos del DPM
como hechos, que se
concretaran en una
tabla, para formar una
tabla de hechos y todas
las referencias
asociadas a este Hecho,
todo englobado en esta
única tabla de hechos.
Los Informes Económicos-Financieros están basados en gran
medida en dimensiones.
Ej: Hecho Salario Bruto: Dimensiones [Tiempo, Moneda(Tipo
dato), Empresa, Concepto Retribución dineraria]
Validación DPM
Modelo en Estrella
Conclusiones y futuros
trabajos
Cuestiones
Índice
Modelo en estrella
Introducción DPM
Modelo de Datos
Inicio Ejecución Dimension
DTSX
Datos tabla
Dimensiones
Flujo de Datos DTS. Ejecución
procedimiento almacenado
dbo.Create_Fact_Table
Validación DPM
Modelo en Estrella
Ruta fichero
entrada
Conclusiones y futuros
trabajos
Create table
FACT.Fact_Table
DPMDatabase2.2_Validation
Flujo de Datos DTS.
Insercion datos Tabla
Dimension.
3º
2º
1º
Ejecución Stored procedure
[dbo].[sp_InsertTableDimension]
Ejecución Stored procedure
[dbo].[sp_CreateTableDimension]
Ejecución TRIGGER
[dbo].[DIMENSION_CREATE]
Inserta datos en su respectiva
Tabla n Dimension
Create n tables
DIM.DIMENSION_n
MDM
DPMDatabase2.2_Validation
Proceso de
creación del
MDM
Cuestiones
Modelo en estrella
Una vez validados los datos, se obtiene el modelo en estrella
del informe requerido. Para finalmente poder ser explotado
por los usuarios finales una vez cargados en los informes.
El objetivo es el de almacenar el punto de modelo de datos en
una base de datos, de una manera eficiente y fácil.
Índice
Introducción DPM
Modelo de Datos
Validacion DPM
Modelo en Estrella
Conclusiones y futuros
trabajos
Cuestiones
Modelo en estrella
Índice
Introducción DPM
Modelo de Datos
Analysis Services: motor de datos analíticos en línea que se usa
en soluciones de ayuda a la toma de decisiones y proporciona
los datos analíticos para informes.
Yo solo estoy modelando, pero la tabla de hechos no esta cargada
con datos del informe. Y esto sí podrá ser explotado por el
usuario final.
Validación DPM
Modelo en Estrella
Conclusiones y futuros
trabajos
Cuestiones
Conclusiones y futuros trabajos
Summary
Introducción DPM
Modelo de Datos
 Una forma de modelar nueva.
 Buenas prácticas orientadas a la mejora
continúa.
Validación DPM
Modelo en Estrella
Conclusiones y futuros
trabajos
Referencias
Cuestiones
 Conocimiento en la creación de modelos
conceptuales para bases de datos relacionales y
multidimensionales.
 Congresos en Bruselas y Madrid.
 Ampliación del Estudio de validación.
 Aplicación en el mundo empresarial.
Cuestiones
índice
Introducción DPM
Modelo de Datos
Validación DPM
Modelo en Estrella
Conclusiones y futuros
trabajos
Cuestiones
Validación de Informes
Económicos/Contables/Financieros
Semánticos y su Implementación en
Base de Datos, de una Forma
Automática.
Abel Nieto-Cano, [email protected]
Tutores: Ignacio J. Santos Forner y Elena Castro Galán