Download Almacenamiento y Backup

Charla preparatoria oposición TIC 2009
Redes de Almacenamiento
y Tecnologías de Backup
Juan Francisco Ramos – Miembro de Preparatic XVIII
30-05-2009
Preparatic XVIII
Evolución del almacenamiento - SCSI
• Primera revolución: Estándar SCSI (años 80)
•
Interfaz mucho más evolucionada que IDE/ATA (rendimiento,
fiabilidad, mayor número de dispositivos).
• Evolucionó fundamentalmente como conexión de almacenamiento
en servidores: DAS (Direct Attached Storage)
• Evolución constante de la velocidad, fiabilidad y número de
dispositivos en bus.
30-05-2009
Preparatic XVIII
Evolución SCSI
Estándar
Tipo
Bus
Velocidad
Dispositivos
Distancia
SCSI I
N
SE
HVD
5MB/s
8
6 – 25m
Wide
W
SE HVD
10MB/s
16
6 – 25m
Fast-Wide
N
SE HVD
10MB/s
8
3 – 25m
Fast-Wide
W
SE HVD
20MBs
16
6 – 25m
Ultra
N
SE
HVD
20MBs
4–8
6 – 25m
Wide-Ultra
W
SE
HVD
40MB/s
4 – 16
3 – 25m
Ultra2
N
SE
HVD LVD
40
2–8
25m
Wide – Ultra2
W
LVD
80MB/s
2 – 16
12 – 25
Ultra3/Ultra160
W
LVD
160MB/s
2 – 16
12 – 25
Ultra320
W
LVD
320MB/s
2 – 16
12 – 25
SCSI I
SCSI 2
Señal
SCSI 3
30-05-2009
Preparatic XVIII
SCSI
•
Problemas SCSI:
–
Transmisiones problemáticas (ruido en el bus)
–
Problemas de distancia
–
No se pueden compartir dispositivos
–
SCSI se ve como tecnología “local”
30-05-2009
Preparatic XVIII
SAN
•
Cambio de Concepto: Storage Área Network
•
Almacenamiento visto como recurso en “red”
•
Conceptos similares a la red de comunicaciones
•
Flexibilidad (distancia, número de dispositivos,
arquitectura, seguridad, fiabilidad).
30-05-2009
Preparatic XVIII
SAN
•
Fibre Channel vs Fiber Channel:
–
Fibre Channel: conjunto de estándares de comunicaciones,
diseñado especialmente para la conexión de dispositivos de
almacenamiento. Estandarizado por el T11 Technical Comitte
del INCITS (InterNational Committee for Information
Technology Standards) perteneciente a ANSI
–
Fibre Channel: Medio físico de transmisión (cable de fibra
óptica)
–
Fibre Channel Protocol (FCP): protocolo de transporte que
encapsula comandos SCSI
•
Tamaño de Trama: 2148 bytes (cabecera: 28 bytes)
30-05-2009
Preparatic XVIII
SAN
•Fibra multimodo o monomodo
•Multimodo: long. De onda menores. Núcleo de 50 o 62,5 micras (90m)
•Monomodo: grandes distancias (10KM). Núcleo de 9 micras.
30-05-2009
Preparatic XVIII
SAN – Topología loop
•
Inicialmente, los dispositivos que implementaban el protocolo lo hacían
formando un lazo (HUB).
30-05-2009
Preparatic XVIII
SAN – Topología loop
•
Cada dispositivo en el loop tenía un identificador de 8 bits (AL_PA) aunque sólo
126 se pueden direccionar realmente
30-05-2009
Preparatic XVIII
SAN – Topología loop
•
Problemas del HUB: TODOS!!!
–
Comparten ancho banda
–
Todas las tramas han de ser leídas por todos los dispositivos
–
Problemas de ruido en el bus!!
–
SOLUCIÓN: Red Conmutada --- modo FABRIC
30-05-2009
Preparatic XVIII
SAN – Topología Fabric
• Switches de fibra: concepto similar a las redes de comunicaciones.
• Envío de tramas exclusivamente entre los dispositivos involucrados
en la comunicación
• Nuevo direccionamiento de 24 bits por dispositivo (FCID)
30-05-2009
Preparatic XVIII
SAN - Topología Fabric
• Esquema de direccionamiento FABRIC:
Loop
Public Loop
Fabric
00 00 PP
LL LL PP
LL LL 00
30-05-2009
Preparatic XVIII
SAN - Fabric
30-05-2009
Preparatic XVIII
SAN - WWN
•
WWN: identificador hardware de 64 bits estandarizado por la IEEE
http://standards.ieee.org/regauth/oui/index.hml
•
WWN equivale a la MAC en el mundo de las comunicaciones
•
FCID equivale a la dirección IP
30-05-2009
Preparatic XVIII
SAN - Zoning
Si conecto un host a un fabric.......¿Qué veo?:
• Todo o nada, depende de la configuración por defecto
• La asignación de recursos a los host se realiza mediante el
ZONING.
30-05-2009
Preparatic XVIII
SAN - Zoning
ZONING:
• Zona: listado de dispositivos (host, arrays, librerías...) que tienen la
comunicación entre ellos permitida.
• Habitualmente un host y sus dispositivos (arrays y librerías)
• Se pueden crear zonas por puerto o por WWN.
• Ventajas del zoning: Eliminación de errores por accesos indebidos,
aislamiento de entornos, facilidad de administración etc..
30-05-2009
Preparatic XVIII
SAN – Servicios Fabric
Servicios ofrecidos por el fabric:
–
–
–
–
–
–
–
Flogin: después de levantar el link físico, el dispositivo se une al
fabric mediante un Flogin. Recibe el FCID.
Name Server: Responsable del directorio de información de los
dispositivos conectados al switch.
Routing: Protocolo FSPF (similar a OSPF).
Zoning: Asignación de los recursos de almacenamiento a los
host.
SCN: comunicación interna del switch para actualizar el estado
de los puertos
SCR: El nodo se registra para recibir actualizaciones sobre el
estado del fabric
RSCN: Usado por el host o el switch para comunicar cambios.
30-05-2009
Preparatic XVIII
SAN
ISL: Inter Switch Connection
30-05-2009
Preparatic XVIII
Cabinas de discos
•
Ofrecen LUN’s (logical Unique Number) a los hosts.
•
Desde 8 -10 discos hasta 2000 discos en un solo array (EMC DMX, HP XP,
IBM Shark etc...)
•
Disponen de varios puertos de fibra que se conectan al fabric.
•
Cada puerto, ofrece almacenamiento a los host:
– LUN Mapping: asignar determinadas LUN’s a determinados puertos
– LUN Masking: asignar privilegios de acceso a la LUN a determinados
WWN de hosts.
– Con la configuración de zoning permites al host contactar con el puerto
del array. Con el lun masking permites al host acceder a la LUN.
30-05-2009
Preparatic XVIII
Cabinas de discos - Fiabilidad
• RAID level para protección de la información : 0, 1, 2, 3, 4, 5, 6 y 10
• Disco de hot spare: Disco sin utilizar reservado para reconstruir la
redundancia en caso de fallo de otro disco
• Redundancia en controladoras
30-05-2009
Preparatic XVIII
Cabinas de discos – Nuevas
tecnologías
• Diferentes discos: FC, SAS, FATA, SATA, SSD (extremadamente
rápidos: tiempos de acceso de microsegundos!!)
• NAS
• iSCSI
• Thin provisioning
• Jerarquía en el almacenamiento
• Puertos de replicación
30-05-2009
Preparatic XVIII
Cabinas de discos - NAS
• Se almacenamiento utilizando la red de comunicaciones
• Los host acceden a los discos con protocolos como NFS
o CIFS
• Ventajas: infraestructura más barata al suprimir HBA’s,
puertos de fibra, cables etc..
• Inconvenientes:
– NFS, CIFS no están optimizados para rendimiento.
– Todas las implicaciones del tráfico de red ethernet.
30-05-2009
Preparatic XVIII
iSCSI
• Internet Small Computer System Interface RFC 3720 de IEEE.
• Se ofrecen discos por la LAN
• Se mapean como discos locales, no importados por medio de NFS,
CIFS
• Se accede a ellos por las tarjetas Ethernet
• Las tarjetas Ethernet ha de soportar acceso iSCSI (drivers
especiales).
• Tecnología poco utilizada (menor éxito del esperado)
30-05-2009
Preparatic XVIII
iSCSI
• Se necesita un iniciador y un target
30-05-2009
Preparatic XVIII
Cabinas de discos – Thin
provisioning
• Consiste en darle al host un disco de un tamaño que realmente es
de otro menor.
• Necesita ser soportado por el sistema de ficheros, aplicación etc..
• Surge como necesidad de una gestión más racional del
almacenamiento
• Exige mayor nivel de administración
• La reducción de costes depende de cada organización.
30-05-2009
Preparatic XVIII
Cabinas de discos – Jerarquización
• En una organización grande, la administración de numerosas
cabinas de discos puede ser costosa.
• No todos los host tienen las mismas necesidades de rendimiento,
disponibilidad etc...
• SOLUCIÓN: Jerarquización + virtualización + movimiento online =
(Information Lifecycle ManagementI)
30-05-2009
Preparatic XVIII
Cabinas de discos – Jerarquización
• A una cabina de gama alta, se le conectan cabinas de cualquier
gama (alta, media y baja)
• La cabina principal, permite controlar todas las cabinas conectadas.
• Pasamos al concepto de ofrecimiento de discos en función de la
necesidad sin conocer su origen.
30-05-2009
Preparatic XVIII
Ejemplo: Cabina principal HP XP 24000
CHIP
CHIP
HP EVA
IBM
MSA1000
LUN
HP XP
FC
FC
CHIP
CHIP
HDS
SAN
MSA1500
Hosts
30-05-2009
XP Disk Array
External Storage
Preparatic XVIII
EMC
Cabinas de discos – Movimiento en
caliente de datos
• Racionalización del uso del almacenamiento
• En función de una política definida por el administrador (número de
accesos, IO’s, antigüedad de acceso...), la cabina migra los datos de
manera transparente de unos discos a otros.
• Dos modos de ejecución:
– Por software: appliance conectado a la SAN que maneja y gestiona el
almacenamiento y su uso
– La propia cabina de discos ofrece esta funcionalidad, gestionando las
distintas tecnologías conectadas a él (discos SATA, FC, cabinas nivel
medio/bajo etc..)
30-05-2009
Preparatic XVIII
Cabinas de discos - Replicación
• Múltiples objetivos: cluster con nodos remotos, backup,
recuperación de desastres etc...
• Dos modos: replicación síncrona y replicación asíncrona
production site
replication site
replication
engine
DWDM/FCIP
SAN
SAN
30-05-2009
SAN
SAN
06:20
Preparatic XVIII
Cabinas de disco – Replicación
• Tres tecnologías básicas: fcip, WDM y SONET
30-05-2009
Preparatic XVIII
Cabinas de discos – Replicación
síncrona/asíncrona
• Síncrona: 100 - 300km Depende de la tolerancia de la
aplicación, latencia de la comunicación etc...
• Asíncrona: depende de la tolerancia a riesgos. Distancia
dependiente de la tecnología.
30-05-2009
Preparatic XVIII
Replicación - fcip
• SAN extendida a través de una red ip. Se encapsulan las tramas
FCP en paquetes IP.
• Se necesita un gateway FCIP en cada extremo.
• Permite grandes distancias – Replicación asíncrona
• Parámetros a tener en cuenta: ancho de banda, latencia y jitter.
Asegurar QoS!!!, creación de túneles etc...
30-05-2009
Preparatic XVIII
Replicación fcip
Ejemplo real:
30-05-2009
Preparatic XVIII
Replicación fcip
• Ejemplo de un proveedor:
30-05-2009
Preparatic XVIII
Replicación WDM
(Wavelength Division Multiplexing)
• Tecnología óptica usada para añadir capacidad de
transmisión sobre una fibra óptica.
• Transmite distintas señales ópticas a diferentes
longitudes de onda.
• Una fibra física se virtualiza en varias fibras lógicas.
30-05-2009
Preparatic XVIII
Replicación WDM
•
La ventana espectral suele estar centrada en 1300nm o 1550nm y tiene
una anchura de 30nm.
•
Dense WDM (DWDM) separación de menos de 1nm entre long. onda
adyacentes. Más de 1nm: Coarse WDM
•
Ventaja: cada longitud de onda tiene un ancho de banda asegurado
(canales independientes)
•
Capaz de transportar diferentes protocolos: FCP, IP, ATM
•
Tipos:
– Pasivos: no atenúan ni amplifican la señal que reciben. Simplemente envían.
– Activos con respecto a la amplificación: Atenúan o amplifican la señal
– Activos con respecto al protocolo: TDM para permitir varias señales FC sobre
una misma longitud de onda. No muy habituales y caros.
30-05-2009
Preparatic XVIII
Replicación
•
Si tengo que replicar, que tecnología uso?
– FCIP
• Largas distancias (control de flujo a cargo de TCP)
• Más barato
• Problemas de latencias.
– WDM
• Menores distancias (3000 km). En la práctica, cientos de km.
• Control de flujo por buffers (más restringido que TCP)
• Menos problemas de latencias, ancho de banda, QoS
• Más caro.
30-05-2009
Preparatic XVIII
Tecnologías de BACKUP
• Elementos básicos:
– SAN
– Librerías de backup: Copian/leen los datos.
– Software de backup: controla todas las operaciones.
30-05-2009
Preparatic XVIII
Librerías de backup
•
Cabinas con dos elementos:
– Drives [1 - >1000]
– Cartuchos [1 - >20-000]
– Picker (robot) [Uno y sólo uno!!!]
Each Rail is an LSM
 Hardware numbering
 ( Rail 1 – 4 )
 Software numbering
0 1
1 2
 ( LSM 0 – 3 )
2 3
3 4
Sun Proprietary
30-05-2009
Preparatic XVIII
Elementos de una librería
–
Drives: Son los dispositivos que realizan el proceso de
grabación y lectura de datos (backup y restore).
•
LTO: Linear Tape Open (Standard abierto)
•
DLT: Digital Linear Tape (propietario)
Tecnología
LTO 4
SDLT II
30-05-2009
Velocidad
160MB/s
72/36 MB/s
Preparatic XVIII
Capacidad
1,6TB/800GB
600/300 Gb
Elementos de una librería
• Robot o picker:
– Básicamente, es un brazo robótica que recibe órdenes del tipo:
“mete la cinta 10 en el drive 5”).
– Uno y sólo uno por librería (exceptuando las librerías ACSLS)
• Cintas o cartuchos:
– Cintas magnéticas donde se almacenan los datos
30-05-2009
Preparatic XVIII
Software de backup
•
Gestión integral del entorno de backup.
•
Software Propietario: HP Data Protector, EMC Networker, Symantec Netbackup,
Commvault.....
•
Muchos proveedores y múltiples arquitecturas. Elementos comunes:
– Servidor principal:
– Agente dispositivo
– Agente cliente
– Integración con aplicaciones (Exchange, SQL, SAP, Oracle, Informix, Lotus
Domino...)
– Más....
30-05-2009
Preparatic XVIII
Software de Backup
• Servidor principal
– Lleva la bbdd con toda la información (backups, versiones,
retención de datos, medias, dispositivos..)
– Coordina la operación del resto de agentes
– Es el “cerebro” de la infraestructura
30-05-2009
Preparatic XVIII
Software de backup
• Agente de dispositivo
– Se instala en los servidores que vean algún dispositivo (picker o
drive)
– Responsable del manejo del robot y los drives (escribir o leer
datos del drive)
– Acceso al picker: para manejar los cartuchos: intruduce/retira los
cartuchos de los drives.
– Acceso al drive: ordenes de leer/escribir/rebobinar/avanzar..
30-05-2009
Preparatic XVIII
Software de backup
• Agente de cliente
– Se instala en los servidores cuyos datos queremos proteger.
– Responsable del manejo del manejo de los datos a proteger
– Envía/recibe datos al agente de dispositivo (backup/restore)
30-05-2009
Preparatic XVIII
Software de backup
• Integraciones con aplicaciones
– Todos los fabricantes soportan multitud de aplicaciones
– Se integran con la herramienta propietaria para gestionar el
backup dentro de la aplicación (rman, brtools...)
– Ponen la bbdd en modo backup y llevan los datos a cinta
(backup en caliente).
30-05-2009
Preparatic XVIII
Software de backup
• Backup por red o por SAN
– Lo habitual es tener sólo unos pocos agentes de dispositivo en
el entorno. Todos los clientes envían los datos por red al agente
de dispositivo y este los escribe en los drives (solución más
barata)
– Hay clientes que necesitan más rendimiento en backup/restore
que el proporcionado por la red. Estos clientes, llevan también el
agente de dispositivo y realizan el backup por la SAN.
30-05-2009
Preparatic XVIII
LAN
Librería
Servidor Principal
-En cluster
-Maneja el picker
Servidores de dispositivo
- 1 o más servidores
-Maneja los drives
-Un drive puede ser compartido
Servidor crítico
ISL
- Agente cliente
- Agente dispositivo
-Agente de aplicación
Discos
Flujo de datos de
backup por red
LAN
30-05-2009
Preparatic XVIII
Software de backup
•
Tipos de backup
– Full backup: backup de TODO
– Incremental: backup de todo lo nuevo después del último backup (full o
incX)
– Incremental [1...9]: hace backup de lo nuevo desde el último backup inc
[n-1]. No tienen en cuenta el inc.
30-05-2009
Preparatic XVIII
VTL (Virtual Tape Library)
•
Cabina de discos (usualmente SATA), con un software que la presenta
como una librería
•
En vez de lun’s, presenta drives y picker
•
Más rápido que una librería física (??)
•
Habitualmente se vuelca el contenido a librería física (horario de menos
carga de backups.
•
Replicación como cabinas normales para efectuar vaulting o volcar a
librería física.
•
Deduplicación: Examina los bloques de datos, calcula el hash y los que
coinciden, no los almacena por segunda vez. Ahorro en almacenamiento!
30-05-2009
Preparatic XVIII
Snapshot y backups de tercera copia
• Hay servidores que, por su criticidad, no pueden dedicar
recursos al backup
– Backup de tercera copia: copia física del disco en producción,
montaje en un tercer servidor y backup.
– Snapshot: realizada en segundos, utiliza punteros para
direccionar los cambios.
30-05-2009
Preparatic XVIII
Snapshots y backup de tercera copia
Servidor crítico
30-05-2009
Servidor secundario
Preparatic XVIII
NDMP
(Network Data Management Protocol)
• Diseñado para hacer backups de un NAS
– Backup de la unidad de red es muy lento
– NDMP: se conecta al NAS una librería física. Es software de
backup maneja el backup del NAS usando el protocolo NDMP.
El backup se realiza por la SAN. Ciertas limitaciones con
respecto a un backup normal (full, inc, inc1...y alguna más
dependiendo del proveedor).
30-05-2009
Preparatic XVIII
NDMP
LAN
Librería
Servidor Principal
-En cluster
-Maneja el picker
ISL
Servidor UNIX
Servidor Windows
ndmp
Acceso a discos: NFS, CIFS
NAS
30-05-2009
LAN
Preparatic XVIII
Anexo: fabricantes y precios
Producto
Fabricant G.Alta
e
Switch
Brocade,
CISCO
200K – 500K
Cabinas
Multivendor
500K – 2000K 100K – 400K
40K – 100K
VTL
Multivedor
300K – 600K
300K – 600K
Disco FC
Multivendor
20€$/GB
12$/GB
-
Disco SATA
Multivendor
-
-
7$/GB
Librería
StorageTek –
Multivendor
30-05-2009
400K –
20.000K
G.Media
G.Baja
90K – 150K
20K – 70K
300K – 600K
300K
Preparatic XVIII
30K
Charla preparatoria oposición TIC 2009
Muchas gracias y
buena suerte!!!
[email protected]
30-05-2009
Preparatic XVIII