Download Diapositiva 1 - Proyecto e-CA - Instituto de Astrofísica de Andalucía

Supercomputación en el IAA
Jaime Perea Duarte
Dpto. Astronomía Extragaláctica
IAA-CSIC
Descripción de dos recursos de computación
Sistema para HPC.
Cluster, interconexión myrinet.
Sistema para pipeline de análisis de observaciones
Cluster, requerimientos de almacenamiento
Motivación inicial:
Simulación de Interacción y evolución de galaxias en grupos:
Dynamical Evolution of Compact Groups.
Supercomputer Simulations
J. Perea1,
E. Athanassoula2,
A. Bosma2,
C. García-Gómez3,
J.C. Lambert2,
A. del Olmo1,
J.M. Solanes4,
M.C. Toribio4 (the IDILICO collaboration)
1Instituto
de Astrofísica de Andalucía-CSIC, Spain
2Observatoire de Marseille-CNRS, France
3Universitat Rovira i Virgili, Spain,
4Institut de Ciències del Cosmos-Universitat de Barcelona, Spain.
Tratamiento de imágenes astronómicas
Proyecto Alhambra:
Cartografiado de cielo
en 20 filtros ópticos + 3
filtros infrarrojos.
Telescopio 3.5m CAHA
¿Cuáles son los problemas típicos?
Sistemas en autogravitación. Descritos por Ecuación de Vlasov,
ecuaciones en derivadas parciales. Se divide el espacio en celdas.
Las edp se pueden transformar en
enormes sistemas de ecuaciones,
directamente o mediante
tranformada de fourier.
Ecuaciones diferenciales o integro-diferenciales:
En los sistemas
autogravitantes se pueden
agregar componentes de gas
y disipativas.
Aunque el problema pasa a
ser de hidrodinámica, se
puede resolver mediante
EDOs usando técnicas como
SPH
Modelos que tratan de simular la
distribución de luz observada.
Hcg 79
Seyfert's
Sextet
Simulación de 106 partículas, 5 galaxias espirales en un tiempo de Hubble.
Sistema Hypercat, un día de integración en 32 nodos.
Hcg 16
Color images showing the luminous (left) and dark (right) matter density
in a simulation of a group of galaxies evolved for more than 10 Gyr until
the present epoch in the MareNostrum machine (the lighter the color the
higher the density).
The group contains a total of 107 particles initially distributed among 60
galaxies of various sizes and a uniform dark matter background.
Los nodos son ppc bajo Suse
Linux y van conectados por
myrinet (mpi), gigabit
(filesystems y acceso) y fast
ethernet para gestión remota.
¡También tenemos un cluster!
hypercat.iaa.es
Cluster de 16 nodos doble
Xeon 2Gb

Myrinet

Gigabit

Ethernet

MPI

OpenMP
Sistema para
implementación y análisis
Herramientas software necesarias para uso de un
cluster de Cálculo.

Gestión de sistema operativo, para clusters pequeñitos
puede merecer la pena una copia en disco local.

Sistema de ficheros común a todos los nodos.

Software de paso de mensajes (MPI)

Gestor de recursos, colas.

Herramientas de monitorización
Sistema Operativo:
Algún linux
Las herramientas interesantes las instalamos nosotros,
casi siempre desde fuente.
Sistemas de ficheros
Uno de los principales problemas en sistemas de cálculo
distribuido es el almacenamiento.
La alternativa más sencilla es tener un nodo como servidor
de disco mediante NFS (a ser posible NFS4)
Se exporta parte del sistema de ficheros a los demás
nodos.
NFS está mayor y no escala bien, aunque es válido como
$HOME donde se sitúan las configuraciones y en sistemas
pequeños (~64 nodos)
Una alternativa más veloz (y compleja) es exportar los
dispositivos (p.e. /dev/sda1)
Normalmente utilizaremos la red:

AoE: No tcp/ip, no pasa del router, muy veloz y barato

ISCSI: Complejo, más versátil, más lento.

Fibra: Muy veloz, no escala para nada (~4).
En éste caso es necesario instalar un sistema compartido.
En software libre existen GFS y OCFS2
La forma óptima en un cluster es también distribuir el
almacenamiento.
Opciones:

LUSTRE:
Usado, requiere kernel específico.

PVFS2:
Apropiado para MPI, paralelo.

GLUSTER:
Muy veloz y versátil, depende de fuse, lo
que lo limita a linux
Hay muchos más, GPFS se usa en MN
Gestor de recursos.
En casa he optado por Sun Grid Engine. Era el primero a
suertes
Como usuario una vez conocido uno, cambiar es fácil.
Desde el punto de vista del manager es como un dolor.
A nivel de usuario, se acceder a través de un gestor de recursos:
PBS – Torque:
es el más famoso
Sun Grid Engine: es el que usamos aquí
LoadLeveler:
qsub –
el de IBM
para submitir una tarea al cluster
qsub script.sh
qrsh - para submitir en interactivo.
#!/bin/sh
# script.sh
qstat - como va lo mio
#$ -pe mpi 24
#$ -q para
#
cd /scratch/jaime/simg/5379pm
sge_mpirun Gadget2.pm init.par
Paso de mensajes.
MPI, existen 3 alternativas en código abierto
MPICH – myricom proporciona una versión optimizada
para myrinet, es el más clásico y pelín antipático.
LAM – Desarrollo parado, muy buena interfaz de uso para
el usuario.
OPENMPI – Contiene un módulo gm, pero la latencia es
mayor que para mpich, no encaja bien (aún) con SGE. Es
el sistema del futuro
Global Arrays
Como monitorización, uso ganglia
Proyecto Alhambra
Utilización del
telescopio de 3.5m
CAHA
Omega CCD infrarroja de
2048x2048 píxeles
LAICA 4 CCDs de 4096x4096
píxeles
Se trata de desarrollar una pipeline de reducción de datos
"ciega" sin
interacción con el usuario.
Archivo Operativo (Datos Brutos y Resultados)
Pipeline Infrarroja: Dithering, Astrometría, Calibración
fotométrica.
Pipeline Óptica: Lo mismo más tratamiento de franjas en
el infrarrojocercano.
Pipeline de análisis.
Software: Base es iraf, python (pyraf), más nuestros
módulos específicos.
Una configuración de cluster también puede venir definida por un
sistema compartido de archivos (en linux es gfs u ocfs2). Una SAN,
queda conectada (fibra) a dos o más servidores, esto agiliza mucho el
acceso, pero escala mal.
Alta disponibilidad, aunque también se puede usar detrás de un
gestor de recursos. Este es el tipo de sistema que tenemos en
alhambra.iaa.es
Futuro:
Nuevos sistemas para alhambra. ALMACENAMIENTO
Hardware específico vs. Clusters. Análisis de grape
Unificación de los dos trabajos para nuevos
observatorios y misiones. Uso de sistemas distribuidos
(ficheros y procesos) en pipelines.
Uso del sistema gráfico para cálculo: