Las empresas están adoptando rápidamente tecnologías como la inteligencia artificial generativa, grandes modelos de lenguaje (LLMs), gráficos avanzados y gemelos digitales para mejorar la eficiencia operativa, reducir costos e impulsar la innovación.
Para implementar estas tecnologías de manera efectiva, es crucial tener acceso a plataformas de computación acelerada de alta calidad. En respuesta a esta necesidad, Oracle Cloud Infrastructure (OCI) ha lanzado instancias bare-metal con GPU NVIDIA L40S y pronto ofrecerá una nueva máquina virtual con una sola GPU NVIDIA H100 Tensor Core. Esta máquina virtual complementará el portafolio existente de OCI, que incluye una instancia bare-metal con GPU NVIDIA HGX H100 8.
Estas plataformas, combinadas con las redes NVIDIA y el software de NVIDIA, ofrecen un rendimiento y eficiencia excepcionales, permitiendo a las empresas avanzar en el campo de la inteligencia artificial generativa.
La GPU NVIDIA L40S ya está disponible para pedidos en OCI. Diseñada para centros de datos, la L40S proporciona una aceleración significativa para aplicaciones gráficas, de video e inteligencia artificial generativa. Equipada con Tensor Cores de cuarta generación y compatibilidad con el formato de datos FP8, la GPU L40S destaca en el entrenamiento y optimización de LLM de tamaño pequeño y mediano, así como en inferencias de IA generativa.
Por ejemplo, una sola GPU L40S (FP8) puede generar hasta 1,4 veces más tokens por segundo en comparación con una GPU NVIDIA A100 Tensor Core (FP16) para Llama 3 8B utilizando NVIDIA TensorRT-LLM, con una longitud de secuencia de entrada y salida de 128.
La L40S también ofrece una excelente aceleración de medios y gráficos, con NVIDIA Ray Tracing Cores (RT Cores) de tercera generación y motores de codificación/decodificación múltiples. Esto la convierte en una opción ideal para aplicaciones de gemelos digitales y visualización avanzada.
OCI ofrecerá la GPU L40S en su unidad bare-metal BM.GPU.L40S.4, que cuenta con cuatro GPU NVIDIA L40S, cada una con 48 GB de memoria GDDR6. Esta unidad también incluye 7,38 TB de almacenamiento NVMe, CPUs Intel Xeon de cuarta generación con 112 núcleos y 1 TB de memoria del sistema.
Estas unidades bare-metal eliminan la sobrecarga de la virtualización en cargas de trabajo que requieren baja latencia y alto rendimiento, gracias a la arquitectura de computación bare-metal de OCI. La unidad de computación acelerada también incluye la DPU NVIDIA BlueField-3, que mejora la eficiencia del servidor al descargar tareas de centro de datos de las CPU y acelerar cargas de trabajo de redes, almacenamiento y seguridad.
El OCI Supercluster con NVIDIA L40S ofrece un rendimiento elevado con 800 Gbps de ancho de banda internodal y baja latencia para hasta 3840 GPU. La red del clúster de OCI utiliza NVIDIA ConnectX-7 NIC sobre RoCE v2 para soportar cargas de trabajo de alta latencia y alto rendimiento.
Sharon Carmel, CEO de Beamr Cloud, destaca que la infraestructura de IA de OCI con instancias bare-metal y GPU NVIDIA L40S proporciona una codificación de video un 30 % más eficiente, reduciendo el consumo de ancho de banda de red y almacenamiento en hasta un 50 %, lo que mejora la aceleración de transferencias de archivos y aumenta la productividad.
Marcio Aguiar, director de la división Enterprise de NVIDIA para Latinoamérica, afirma que la expansión de las instancias de GPU aceleradas por NVIDIA en Oracle Cloud Infrastructure representa un avance significativo en la capacidad de procesamiento para IA, simulaciones digitales y gráficos avanzados.
Próximamente, OCI lanzará la unidad de máquina virtual VM.GPU.H100.1, equipada con una sola GPU NVIDIA H100 Tensor Core, para ofrecer acceso rentable a la potencia de las GPU H100 para cargas de trabajo de IA generativa y HPC.
La GPU H100 proporcionará un rendimiento de hasta 27 000 tokens por segundo para Llama 3 8B, hasta 4 veces más rápido que una sola GPU A100 con precisión FP16. La unidad VM.GPU.H100.1 incluye 2×3,4 TB de capacidad NVMe, 13 núcleos de procesadores Intel Xeon de cuarta generación y 246 GB de memoria del sistema.
OCI también ha lanzado la unidad de computación BM.GPU.GH200 para pruebas de clientes, que incluye el superchip NVIDIA Grace Hopper y NVLink-C2C para un rendimiento hasta 10 veces superior en aplicaciones que manejan grandes volúmenes de datos, en comparación con la GPU NVIDIA A100.
Las empresas ahora cuentan con una variedad de GPU NVIDIA para acelerar sus cargas de trabajo de análisis de datos, IA y HPC en OCI. Para aprovechar al máximo estas instancias aceleradas por GPU, se recomienda el uso de software optimizado como NVIDIA NIM, disponible en el OCI Marketplace, que ofrece una implementación segura y eficiente de modelos de IA de alto rendimiento.
Para más información y para solicitar la GPU L40S o probar el superchip GH200, visite el OCI y acompáñenos en SIGGRAPH, la principal conferencia sobre gráficos del mundo, hasta el 1.º de agosto.
