Migracion from ISC-3 to Infiniband

Migracion from ISC-3 to Infiniband

Este artículo me gustaría que sirviese aquellos departamentos de infraestructura que se ven o se veran obligados a migrar su actual arquitectura de coupling links de ISC-3 a Infiniband. Las nuevos zEnterprise no permiten utilizar ISC-3 por lo que es menester migrar.

 Introducción a la tecnología INFINIBAND en Mainframe

La tecnología Infiniband es una especificación estándar realizada por InfiniBand Trade Association (sus siglas son IBTA y está formada por empresas como Compaq, IBM y Hewlett-Packard) que define la arquitectura de entrada-salida para interconectar servidores, almacenamiento, etc. Esta arquitectura permite interconectar máquinas punto a punto con un ancho de banda de hasta 120Gbps. Utiliza el protocolo Remote Direct Memory Access (RDMA) que permite optimizar la transferencias de datos. Nos ofrece nuevas posibilidades de:

  • ·         Mejor rendimiento. Aumentas el ancho de banda.
  • ·         Reducir la complejidad. Puedes reducir el número de cableados y enlaces.
  • ·         Eficiencia en las interconexiones. Mayor escalabilidad.
  • ·         Fiabilidad y estabilidad. Facilita la virtualización y facilita la fiabilidad y estabilidad de las conexiones.

A nivel físico cada enlace de Infiniband está basado en dos pelos de fibra de 2.5 Gbps bidireccionales para una conexión óptica o 4 hilos de cobre a 2.5 Gbps para una conexión electrónica. Las fibras necesarias son Mono-Modo . Cada enlace puede soportar varios servicios de transporte . Cada enlace es agrupado dependiendo del tipo de implementación (1x, 4x, 8x o 12x). Dependiendo del nivel físico

  • ·         Single Data Rate (SDR), provee 2.5 Gbps por enlace.
  • ·         Double Data Rate (DDR), provee  5.0 Gbps por enlace.
  • ·         Quadruple Data Rate (QDR), provee 10.0 Gbps por enlace.

En la configuración de entrada/salida del z196-z114/zEC12-zBC12 manejaremos los siguientes conceptos: 

 PSIFB             à Parallel Sysplex Infiniband

HCA                à Host communication Adapter

AID                 à Adapter ID

FANOUT        à Tarjeta Infiniband

Hay varios tipo de tarjetas Infiniband HCA2-O (2 puertos) y HCA3-O (4 puertos). Podéis encontrar más detalles en el redbook del z196/zEC12. Para instalaciones que tengan varios centros las conexiones se crearan en el modo LR 1X.

hca2lr1x

En la configuración del IODF la definición de estos canales no se habla de PCHID si no de HCA/AID. Para la definición es necesario saber donde se encuentra el Faonut de cada tarjeta. Para ello es necesario consultar el support element o preguntar a nuestro soporte de HARDWARE. Dicha información se pude ver tambien si teneis reports de algún mapping tool.

Cada puerto soporta hasta 8 CHIPDS lógicos sobre el mismo enlace físico. Sin embargo IBM recomienda que no se definan más de 4 por puerto.

El uso de Infiniband nos permitiria reducir el consumo de CP´s de uso general y ICF´s.

Los procesarores son utilizados para:

  • ·         Encontrar un canal disponible.
  • ·         Encontrar buffer link disponible
  • ·         Enviar la solicitud del subsitema de canales a la CF
  • ·         Procesar la peticion en la CF
  • ·         Enviar la petición de vuelta al z/OS
  • ·         Recibir la petición de la CF y procesarla en el z/OS

Reduciriamos aprox un 20% en el uso de procesador para las operaciones de conexión z/os to coupling facility y viceversa.

Como muestran las siguientes figuras extraídas de estudios de IBM reduciriamos las unidades de servicio (mayor número de operaciones de síncrona vs asíncronas, menor uso de buffers por canales ocupados, etc).

zos CPU utilizationCF CPU utilization

 Synch Responde Times

Cuadro comparativa ISC-3/Infiniband

Interconnected channel-3 Infiniband HCA2-o Long reach 1x
Ancho de banda 2Gb/segundo 5Gb/segundo
Distancia permitida entre enlaces 100 Km 175 Km
Cableado 9 μm single mode fiber optic 9 μm single mode fiber optic
CHPID´s por puerto físico CHPID/puerto 16CHPID/puerto
Impacto de la distancia entre enlaces 10 microsegundos por Km en unidades de servicio 10 microsegundos por Km en unidades de servicio
latencia Depende de la distancia, tipo de carga, cableado y DWDM Depende de la distancia, tipo de carga, cableado y DWDM
Requisitos microcódigo HW Driver 86 Driver 93 Bundle 18

Requisitos necesarios para utilizar INFINIBAND.

Para utilizar esta tecnología es necesario cumplir con una serie de requisitos.

Requerimientos Hardware. Es necesario tener Driver 93 y bundle superior al 13.

Requerimientos Software. Consultar en las FIXCAT:

  • IBM.Device.Server.zXXX-28xx
  • IBM.Device.Server.zXXX-28xx.ParallelSysplexInfiniBandCoupling
  • IBM.Device.Server.zXXX-28xx.ServerTimeProtocol

Requerimientos DWDM. Consultar lista de proveedores certificados

Consideraciones con el STP. Después de la activación del cambio será necesario comprobar que el STP ha asumido los nuevos canales desde la pantalla de “Systems (Sysplex) Time” en el HMC.

Aspectos a tener en cuenta:

Un canal Infiniband sólo puede conectarse a otro canal Infiniband.

Cuando se construye el IODF el cableado ha de encontrarse fisicamente conectado.

Toda la información se ha extraído de IBM y del SHARE. Podéis encontrar más información en: