Con el objetivo de simplificar el uso de Google Cloud para los flujos de trabajo de CAE, reunimos los componentes de la nube adecuados a fin de cumplir con los requisitos de las cargas de trabajo de CAE de procesamiento intensivo. Específicamente, nuestra solución CAE está diseñada en torno a las familias de VMs H3 y C3 de Google Cloud, y se basa en la plataforma Intel Xeon más reciente. Estas familias de VMs proporcionan un ancho de banda de memoria alto para una proporción equilibrada de memoria/flop, que es idealmente adecuada para CAE. La solución se adapta a las aplicaciones de la MPI con acoplamiento alto, así como las cargas de trabajo que requieren mucha memoria de hasta 16 GB por núcleo. Incluye varias opciones de almacenamiento que abordan una amplia gama de requisitos de E/S. Para la administración de recursos, admite programadores como Slurm de SchedMD y PBS Professional de Altair. 

En el siguiente diagrama de arquitectura, se ilustra la solución:

Cuando se ejecutan cargas de trabajo de CAE en la nube, hay varios factores que se deben considerar, incluidos los siguientes:

• Compatibilidad: Asegúrate de que las aplicaciones CAE se hayan probado para verificar su compatibilidad con el entorno de HPC basado en la nube.
• Selección de VM: Elige el tipo de VM correcto que ejecute el software ISV de forma óptima. Muchas cargas de trabajo de CAE se prestan a arquitecturas de procesamiento con grandes cantidades de ancho de banda de memoria y una proporción general de flops equilibrados:proporción de ancho de banda de memoria.
• Escalabilidad: Es posible que se deban ejecutar cargas de trabajo de CAE más grandes en varias VMs, lo que requiere compatibilidad con la MPI y las implementaciones densas de las VMs.
• Capacidad de procesamiento: Evalúa cuántas cargas de trabajo deben ejecutarse de forma simultánea y considera modelos de programación con ajuste de escala automático que puedan aumentar o reducir los recursos de la nube según la demanda.
• Costo: Los paquetes de software de ISV comerciales para CAE suelen tener licencia "por núcleo". Este es un factor importante en el costo total y puede influir en la elección de un tipo de VM.
• Uso/Consumo: La nube ofrece una elasticidad que la instalación local no puede ofrecer, explora el equilibrio adecuado entre uso bajo demanda y compromiso de uso, o incluso VMs Spot.
• Facilidad de uso: Asegúrate de que la solución de HPC en la nube que elijas sea fácil de usar y administrar.

Como parte de la solución CAE de Google Cloud, desarrollamos un plano y arquitectura de referencia de CAE de uso general, que puede usarse fácilmente con el kit de herramientas de HPC de Cloud de Google para aprovisionar la arquitectura de CAE en Google Cloud. Verificamos la compatibilidad y el rendimiento de varias aplicaciones líderes de ISV, incluidas las siguientes opciones: 

• Ansys Fluent 
• Ansys Mechanical 
• Ansys LS-DYNA 
• Siemens Simcenter STAR-CCM+ 
• Altair Radioss
• OpenFOAM

Consulta la sección de comparativas que se encuentra más abajo para conocer el rendimiento de esos paquetes de software.

El plano de la arquitectura de referencia de CAE de uso general permite a los usuarios crear de forma instantánea un entorno de nube que es compatible con una amplia gama de aplicaciones y flujos de trabajo de CAE. Es una buena opción para los usuarios que desean tener flexibilidad en la elección de su software de CAE y desean administrar su propio entorno de HPC. También sirve como punto de partida para los integradores de sistemas, ya que aprovecha las prácticas recomendadas de Google para ejecutar simulaciones de CAE en Google Cloud.

Google Cloud también ofrece una serie de planos específicos de la aplicación para softwares de CAE populares. Estos planos están preconfigurados para proporcionar un rendimiento óptimo al software de CAE específico. El software con planos específicos incluye lo siguiente:

• Ansys Fluent
• Siemens SimCenter STAR-CCM+
• OpenFOAM

Los planos específicos de la aplicación son una buena opción para los usuarios que desean comenzar a usar CAE de forma rápida y sencilla. Los planos proporcionan un entorno configurado previamente que está optimizado para el software CAE específico, por lo que los usuarios no necesitan preocuparse por configurar el entorno ellos mismos.

Google Cloud está asociado con varios proveedores de HPC como servicio, como TotalCAE, Rescale, Parallel Works, Eviden Nimbix, Penguin Computing y NAG, además de proveedores de ISV de CAE como Altair. Estos proveedores ofrecen una variedad de soluciones de HPC administradas para CAE, incluidos entornos de software de CAE preconfigurados, compatibilidad con aplicaciones específicas de CAE y servicios de consultoría de expertos. Estas ofertas son una buena opción para los usuarios que desean una solución de HPC administrada para CAE. Los proveedores ofrecen una variedad de servicios, incluidos entornos de software de CAE preconfigurados, asistencia para aplicaciones CAE específicas y servicios de consultoría expertos.

Si bien la solución de CAE se basa en Google Compute Engine, también es posible compilarla sobre otros frameworks de procesamiento, como Google Kubernetes Engine o Google Batch. Kubernetes Engine es un servicio administrado de Kubernetes que se puede usar para ejecutar cargas de trabajo de CAE en un entorno alojado en contenedores. Kubernetes Engine es una buena opción para las cargas de trabajo de CAE que requieren escalabilidad y portabilidad. Google Batch es un servicio administrado para ejecutar trabajos por lotes. Batch es una buena opción para las cargas de trabajo de CAE que no están alojadas en contenedores y que no requieren una personalización ni un ajuste significativos.

Puedes obtener más información sobre el diseño de entornos de HPC en nuestra guía técnica de Cluster Toolkit, que abarca la variedad de opciones en cuanto a infraestructura (procesamiento, red, almacenamiento), software de sistema (programadores, almacenamiento) y consideraciones arquitectónicas.

Hay una serie de prácticas recomendadas que puedes seguir para optimizar el rendimiento de tus cargas de trabajo de CAE en Google Cloud. Por ejemplo, puedes usar políticas de posición para garantizar que tus cargas de trabajo se ubiquen en recursos de procesamiento que estén cerca entre sí, lo que puede reducir la latencia y mejorar el rendimiento. También puedes usar el kit de herramientas de HPC de Cloud para optimizar tus cargas de trabajo.

Nuestra guía “Prácticas recomendadas para ejecutar cargas de trabajo HPC” documenta cómo mejorar el rendimiento de la MPI. Tanto Open MPI como Intel MPI se ajustaron y optimizaron de inmediato para mejorar el rendimiento de Google Cloud, en asociación con los ingenieros de redes de HPC de Google Cloud.

Google Cloud ofrece una amplia variedad de tipos de máquinas, cada uno con diferentes parámetros de configuración de CPU, GPU y memoria. Elegir el tipo de máquina correcto para tu carga de trabajo puede tener un impacto significativo en el rendimiento y los costos. Por ejemplo, la VM H3 es una buena opción para las aplicaciones CAE con licencia por núcleo debido a la alta proporción de ancho de banda de memoria/núcleo y, con 4 GB por núcleo, la VM H3 proporciona suficiente memoria para diversas cargas de trabajo. Para cargas de trabajo particularmente exigentes en memoria, como la mecánica estructural, la VM C3 en su configuración de memoria alta proporciona 16 GB por núcleo.

Google Cloud ofrece una variedad de opciones de almacenamiento, cada una con diferentes características de rendimiento y costo. Elegir la opción de almacenamiento correcta para tu carga de trabajo puede tener un impacto significativo en el rendimiento y en el costo. También hay que tener en cuenta varios tipos de almacenamiento en un entorno de HPC.

Los entornos de HPC típicos alojan al menos dos tipos de almacenamiento con diferentes requisitos: almacenamiento local y almacenamiento temporal. La elección del tipo de almacenamiento para cada uno dependerá de las necesidades específicas de la carga de trabajo de HPC. Por ejemplo, una carga de trabajo que genera una gran cantidad de datos reutilizables puede requerir una solución de almacenamiento temporal de alto rendimiento o una carga de trabajo que accede a datos comunes en múltiples nodos de procesamiento de forma simultánea puede requerir un sistema de archivos paralelo. La elección del tipo de almacenamiento para una carga de trabajo de HPC particular dependerá de las necesidades específicas de la carga de trabajo.

Además del almacenamiento local y temporal, los entornos de HPC también pueden usar otros tipos de almacenamiento, como Archive Storage, que se usa para almacenar datos a los que no se accede con frecuencia. Cloud Storage puede proporcionarte Archive Storage de la manera más rentable.

Almacenamiento local

Por lo general, el almacenamiento local se usa para almacenar archivos compartidos del usuario, principalmente en el directorio “/home”, como parámetros de configuración, secuencias de comandos y datos de procesamiento posterior. Este almacenamiento se activará en la misma ubicación del clúster para permitir el acceso común a este espacio de nombres. Por lo general, el almacenamiento local es persistente. El almacenamiento local suele basarse en el protocolo NFS.

En un entorno de HPC de Google Cloud, los servicios de Google, como Filestore, o las ofertas de socios, como NetApp, pueden proporcionar almacenamiento local.

• Google Cloud Filestore es un servicio de almacenamiento de archivos completamente administrado que proporciona acceso a datos de alto rendimiento y baja latencia. Filestore es una buena opción para almacenar datos de almacenamiento local a los que se accede con frecuencia.
• NetApp Cloud Volumes Service es un servicio de almacenamiento de archivos completamente administrado que proporciona acceso a datos de alto rendimiento y baja latencia. NetApp Cloud Volumes Service es una buena opción para almacenar datos de almacenamiento local a los que se accede con frecuencia.

Almacenamiento temporal

El almacenamiento temporal se usa generalmente para almacenar archivos temporales, como resultados intermedios y datos de salida de simulación. Estos se pueden compartir o no en diferentes nodos del entorno de HPC. Por lo general, el almacenamiento temporal no es persistente. Por lo general, el almacenamiento temporal se basa en sistemas de almacenamiento de mayor rendimiento que los almacenamientos temporales, como el almacenamiento escrito en la memoria Flash local o los sistemas de archivos paralelos.

En un entorno de HPC de Google Cloud, los servicios de Google, como Persistent Disk, SSD locales, Cloud Filestore o Parallelstore, pueden proporcionar almacenamiento temporal, o bien a través de ofertas de socios como NetApp, DDN EXAScaler, Sycomp y Weka.

• Persistent Disk de Google Cloud es un servicio de almacenamiento en bloque que proporciona acceso a los datos de alto rendimiento y baja latencia. Persistent Disk se puede usar a fin de crear un directorio para instalación nueva para cada usuario en un clúster de HPC.
• Las SSD locales de Google Cloud son una opción de almacenamiento SSD local que está disponible en algunos tipos de máquinas de Compute Engine. El SSD local se puede usar a fin de crear un directorio para instalación nueva para cada usuario en un clúster de HPC.
• Google Cloud Filestore es un servicio de almacenamiento de archivos NFS completamente administrado que proporciona acceso a datos de alto rendimiento y baja latencia. Filestore se puede usar para crear un directorio temporal para cada usuario en un clúster de HPC.
• Google Cloud Parallelstore es un sistema de archivos paralelos de alto rendimiento optimizado para cargas de trabajo de HPC. Parallelstore se puede usar para crear un directorio reutilizable para cada usuario en un clúster de HPC.
• NetApp Cloud Volumes Service es un servicio de almacenamiento de archivos completamente administrado que proporciona acceso a datos de alto rendimiento y baja latencia. NetApp Cloud Volumes Service puede usarse para crear un directorio temporal para cada usuario en un clúster de HPC.
• DDN EXAScaler Cloud es un sistema de archivos paralelo de alto rendimiento que está optimizado para cargas de trabajo de HPC. DDN EXAScaler Cloud se puede usar para crear uno o varios directorios reutilizables en un clúster de HPC.
• WekaIO Matrix es un sistema de archivos paralelo de alto rendimiento optimizado para cargas de trabajo de HPC. WekaIO Matrix se puede usar a fin de crear un directorio temporal para cada usuario en un clúster de HPC.

VMs Spot

Las VMs Spot pueden ser una forma rentable de ejecutar cargas de trabajo de CAE. Las VMs Spot están disponibles a un precio con descuento, pero pueden finalizar en cualquier momento con un corto período de aviso. Las VMs Spot tienen un descuento de hasta un 91% del costo de una instancia estándar y admiten el tipo de funciones que los usuarios de HPC esperan, incluidas GPU y SSD locales. 

Si tu flujo de trabajo puede tolerar la posibilidad de interrupciones (interrupción), probar el modelo Spot es una buena idea si la aplicación puede ejecutarse en un período relativamente corto (menos de 4 horas). Los clientes descubrieron que el ahorro de costos de hasta un 90% en comparación con el uso según demanda los ahorra lo suficiente como para tolerar interrupciones menores.

Ten en cuenta que algunos tipos de VM, como H3, no son compatibles con Spot.

AirShaper es una plataforma de aerodinámica en línea que permite a los diseñadores e ingenieros ejecutar simulaciones de flujo de aire de una manera completamente automatizada, lo que permite a los usuarios sin experiencia en aerodinámica obtener resultados confiables y mejorar su diseño.

AirShaper migró sus cargas de trabajo de Computational Fluid Dynamics (CFD) de HPC a la nueva familia de VM C2D desde una plataforma de VM más antigua, lo que les ahorró tiempo de simulación y costo por ejecución de carga de trabajo en comparación con su entorno de nube anterior y mejoró significativamente su tiempo de obtención de resultados en comparación con su local.

“En AirShaper, ofrecemos simulaciones de CFD a un costo fijo. Una mayor cantidad de núcleos y más rápidos suele implicar un costo general mayor, en parte debido a problemas de escalamiento. Sin embargo, con H3 podemos reducir los tiempos de simulación a la mitad y, al mismo tiempo, reducir el costo general”.

- Wouter Remmerie, director general, Airshaper

Altair es una empresa global de tecnología que proporciona soluciones de software y nube en las áreas de desarrollo de productos, computación de alto rendimiento (HPC) y análisis de datos. Los ingenieros, científicos y analistas de datos usan el software de Altair para resolver problemas complejos en una amplia variedad de industrias, como la industria automotriz, la aeroespacial, la industria manufacturera y la energía.

Altair es un socio de Google Cloud y su software está disponible en Google Cloud. El software de Altair está optimizado para Google Cloud y se puede usar para aprovechar el rendimiento, la escalabilidad y la flexibilidad de Google Cloud. Altair tiene el compromiso de ayudar a los clientes a lograr sus objetivos de HPC y ofrece una amplia gama de soluciones de software para la HPC. Una de ellas es Radioss, una herramienta de análisis de elementos finitos. Con la nueva VM H3, Altair pudo demostrar mejoras significativas en el tiempo de ejecución de Radioss basado en la nube.

“En Altair, nos entusiasma que las pruebas iniciales indiquen una reducción de hasta el triple en el tiempo de ejecución de la simulación para las cargas de trabajo de Radioss que se ejecutan en H3 en comparación con C2. Estos tiempos de ejecución mucho más rápidos en Google Cloud ayudarán a aumentar la productividad de ingeniería para nuestros clientes en común”.

- Eric Lequiniou, vicepresidente sénior, Desarrollo de Radioss y Altair Solver

TotalCAE es un proveedor líder de soluciones de HPC administradas para aplicaciones de ingeniería y científica. Las soluciones de TotalCAE se diseñaron para que sean fáciles de usar y ayuden a los clientes a acelerar el tiempo de obtención de resultados, reducir los costos y mejorar la productividad. Clientes de todo el mundo usan las soluciones de TotalCAE para resolver problemas complejos de ingeniería y científicos. Por ejemplo, las soluciones de TotalCAE se usan para diseñar y simular aviones, autos y otros vehículos, analizar el rendimiento de edificios y puentes y desarrollar nuevos fármacos y terapias.

TotalCAE es un socio de Google Cloud y sus soluciones admiten operaciones en Google Cloud. Las soluciones de TotalCAE están optimizadas para Google Cloud y se pueden usar con el objetivo de aprovechar el rendimiento, la escalabilidad y la flexibilidad de la plataforma. Con la infraestructura de HPC de Google Cloud, TotalCAE pudo ofrecer a sus clientes un mejor rendimiento a un menor costo. 

“Con las instancias H3 de Google Cloud, observamos un aumento del rendimiento de hasta un 25% por núcleo para las cargas de trabajo de CAE con un costo de trabajo un 50% más bajo que el de C2, lo que permite que TotalCAE ofrezca a los clientes un precio un rendimiento 2.5 veces mayor y escalabilidad para cargas de trabajo de CAE en Google Cloud”.

- Rodney Mach, director general, TotalCAE