Download Sistemas Paralelos - Departamento de Informática y Sistemas

Computación Matricial y Paralela
Sistemas Paralelos
Javier Cuenca
Domingo Giménez
Dpto. de Ingeniería y Tecnología de Computadores Dpto. de Informática y Sistemas
Universidad de Murcia
http://dis.um.es/~domingo
Univ. Politécnica de Cartagena
1
Contenido





Programación paralela
Modelos de computadores paralelos
Sistemas de memoria compartida
Sistemas de memoria distribuida
Evolución de los sistemas paralelos
Univ. Politécnica de Cartagena
2
Programación paralela

Uso de varios procesadores trabajando juntos para
resolver una tarea común:


Cada procesador trabaja en una porción del
problema
Los procesos pueden intercambiar datos, a través
de la memoria o por una red de interconexión
Univ. Politécnica de Cartagena
3
Programación paralela

Posibilidades:

Segmentación encauzada. Pipeline

Jerarquía de memorias

División de memoria en bloques

Paralelismo a nivel de instrucción

Ejecución fuera de orden

Especulación

Múltiples unidades funcionales

Unidades vectoriales

Procesadores de E/S

Varios procesadores en un chip

LAN de altas prestaciones

...
Univ. Politécnica de Cartagena
4
Programación paralela






Concurrente: varios procesos trabajando en la
resolución de un problema
Heterogénea: procesadores con distintas
características
Adaptativa: durante la ejecución el programa se
adapta al estado del sistema
Distribuida: procesadores geográficamente distribuidos
En la web: necesidad de herramientas específicas
¿Cuántica o biológica?
Univ. Politécnica de Cartagena
5
Programación paralela

Límites de sistemas secuenciales:

Memoria
Velocidad
Sistemas paralelos permiten resolver:



Problemas mayores

Más problemas

Más rápidamente
Univ. Politécnica de Cartagena
6
Modelos de computadores
paralelos
SECUENCIAL (SISD)
Instrucciones:
de memoria a procesador
Datos:
entre memoria
y procesador
Memoria
Procesador
Univ. Politécnica de Cartagena
7
Modelos de computadores
paralelos
SIMD.
Una única Unidad de Control.
La misma instrucción se ejecuta síncronamente por todas las
unidades de procesamiento.
programa
instrucciones
Procesador
Procesador
Procesador
datos
Univ. Politécnica de Cartagena
8
Modelos de computadores
paralelos
MIMD.
Cada procesador ejecuta un programa diferente independientemente de los otros procesadores.
programa
instrucciones
programa
instrucciones
programa
instrucciones
Procesador
Procesador
Procesador
datos
datos
datos
Univ. Politécnica de Cartagena
9
Modelos de computadores
paralelos
P
P
P
P
P
P
M
M
M
M
M
M
Network
Memoria distribuida – cada procesador tiene su propia memoria local. Se utiliza paso de mensajes para intercambiar datos. P
P
P
P
P
P
BUS
M e m o ry
Memoria compartida – un único espacio de memoria. Todos los procesadores tienen acceso a la memoria a través de una red de conexión:
­ Bus
­ Red de barras cruzadas
­ Red multietapa
Univ. Politécnica de Cartagena
10
Sistemas de memoria
compartida
P
P
P
BUS
Memory
P
Uniform memory access (UMA)
Cada procesador tiene acceso uniforme
a memoria. También se llaman
symmetric multiprocessors (SMPs)
P
Non­uniform memory access (NUMA)
El tiempo de acceso depende de dónde están los datos. El acceso local es más rápido. Más fácil y barato de escalar
que SMPs
P
P
P
P
P
P
BUS
BUS
Memory
Memory
Univ. Politécnica de Cartagena
P
Network
11
Sistemas de memoria
compartida
NUMA: SGI Origin 2000
Univ. Politécnica de Cartagena
12
Sistemas de memoria
distribuida
red
anillo
Diámetro: p/2
Hipercubo
Malla
Diámetro: √p
Servidor
Estaciones de de ficheros trabajo
Univ. Politécnica de Cartagena
13
Sistemas de memoria
distribuida
El HPC 160 (prometeo.sait.upct.es) es un sistema paralelo de memoria distribuida con un total de 16 procesadores (4 nodos tetraprocesadores) a 1 GHz, con 8MB de caché de nivel 2, 16 GBytes de memoria y unos 300 GBytes de almacenamiento en disco. Su rendimiento teórico o pico es de 32 Gflops.
Univ. Politécnica de Cartagena
14
Sistemas de memoria
distribuida
El cluster kefren.dsic.upv.es consta de 20 nodos biprocesadores Pentium Xeon a 2 Ghz, interconectados mediante una red SCI con topología de Toro 2D en malla de 4x5. Cada nodo consta de 1 Gigabyte de memoria RAM. 19 los nodos están disponibles para cálculo científico. El front­end es el punto de entrada al cluster y no se utiliza en ejecuciones de trabajos al cluster.
Univ. Politécnica de Cartagena
15
Sistemas de memoria
distribuida
Marenostrum (Barcelona Supercomputing Center):
42.35 Teraflops de rendimiento de pico teórico 4.812 procesadores PowerPC 970FX en 2406 Nodos duales
9.6 TB de memoria
236 TB de almacenamiento en disco
3 redes de interconexión
o Myrinet
o Gigabit Ethernet
o Ethernet 10/100
Univ. Politécnica de Cartagena
16
Sistemas de memoria
distribuida
Marenostrum (Barcelona Supercomputing Center):
formado por 42 bastidores y ocupa 120 m2. Univ. Politécnica de Cartagena
17
Evolución de los sistemas
paralelos
TOP500
Univ. Politécnica de Cartagena
18
Evolución de los sistemas
paralelos
En Murcia:
1993
1994
1995
1998
2000
2002
2004
2005
UMU
UPCT
transputers
SG PC
Red SUN+HP Red AIX PE
SG Origin 2000
Empresas
IBM
bipros
HP160
HP160
16 pro.
Univ. Politécnica de Cartagena
19