Per semplificare l'utilizzo di Google Cloud con i flussi di lavoro CAE, abbiamo assemblato i componenti cloud giusti per soddisfare i requisiti dei carichi di lavoro CAE ad alta intensità di calcolo. Nello specifico, l'architettura della nostra soluzione CAE si basa sulle famiglie di VM H3 e C3 di Google Cloud, che si avvalgono della più recente piattaforma Intel Xeon. Queste famiglie di VM offrono un'elevata larghezza di banda di memoria per un rapporto memoria/flop bilanciato, ideale per la progettazione CAE. La soluzione è in grado di soddisfare applicazioni MPI ad alto accoppiamento e carichi di lavoro che richiedono molta memoria, con un massimo di 16 GB per core. Include varie opzioni di archiviazione che soddisfano un’ampia gamma di requisiti di I/O. Per la gestione delle risorse, supporta programmi di pianificazione come Slurm di SchedMD e PBS Professional di Altair.

Il seguente diagramma dell'architettura illustra la soluzione:

Quando si eseguono carichi di lavoro CAE nel cloud, occorre considerare una serie di fattori, tra cui:

• Compatibilità: assicurati che le applicazioni CAE siano state testate per verificarne la compatibilità con l'ambiente HPC basato su cloud.
• Selezione delle VM: scegli il tipo giusto di VM per eseguire in modo ottimale il software ISV. Molti carichi di lavoro CAE possono essere gestiti su architetture di computing con grande larghezza di banda della memoria e un rapporto complessivo di larghezza di banda bilanciata tra flop e memoria.
• Scalabilità: considera che i carichi di lavoro CAE più grandi potrebbero dover essere eseguiti su più VM, il che richiede il supporto per MPI e il deployment ad alta densità delle VM.
• Portata: valuta quanti carichi di lavoro devono essere eseguiti contemporaneamente e valuta la possibilità di utilizzare modelli di pianificazione con scalabilità automatica in grado di aumentare e ridurre le risorse cloud in base alla domanda.
• Costo: i pacchetti software ISV commerciali per CAE spesso sono concessi in licenza "per core". Questo è un fattore importante del costo totale e può influenzare la scelta del tipo di VM.
• Utilizzo/consumo: il cloud offre un'elasticità che l'installazione on-prem non è in grado di offrire. Cerca di trovare il giusto equilibrio tra uso on demand e utilizzo impegnato o persino VM spot.
• Facilità d'uso: assicurati che la soluzione cloud HPC che scegli sia facile da usare e gestire.

Nell'ambito della soluzione CAE di Google Cloud, abbiamo sviluppato un'architettura di riferimento e un progetto CAE per uso generico che possono essere facilmente utilizzati con il toolkit Cloud HPC di Google per eseguire il provisioning dell'architettura CAE in Google Cloud. Abbiamo verificato la compatibilità e le prestazioni di diverse applicazioni ISV leader del settore, tra cui:

• Ansys Fluent 
• Ansys Mechanical 
• Ansys LS-DYNA 
• Siemens Simcenter STAR-CCM+ 
• Altair Radioss
• OpenFOAM

Per le prestazioni di questi pacchetti software, consulta la sezione seguente sui benchmark.

Il progetto base dell'architettura di riferimento CAE per uso generico consente agli utenti di creare istantaneamente un ambiente cloud compatibile con un'ampia gamma di applicazioni e flussi di lavoro CAE. È una buona opzione per gli utenti che vogliono avere flessibilità nella scelta del proprio software CAE e che vogliono gestire il proprio ambiente HPC. È anche un punto di partenza per gli integratori di sistemi, grazie alle best practice di Google per l'esecuzione di simulazioni CAE su Google Cloud.

Google Cloud offre anche una serie di progetti specifici per le applicazioni per i software CAE più diffusi. Questi progetti sono preconfigurati in modo da fornire prestazioni ottimali per il software CAE specifico. I software con progetti specifici includono:

• Ansys Fluent
• Siemens SimCenter STAR-CCM+
• OpenFOAM

I progetti specifici per l'applicazione sono una buona opzione per gli utenti che vogliono iniziare a utilizzare la progettazione CAE in modo facile e veloce. I progetti forniscono un ambiente preconfigurato che è ottimizzato per lo specifico software CAE, in modo che gli utenti non debbano preoccuparsi di configurare l'ambiente da soli.

Google Cloud collabora con una serie di provider HPC-as-a-Service, tra cui TotalCAE, Rescale, Parallel Works, Eviden Nimbix, Penguin Computing e NAG, oltre a fornitori CAE ISV come Altair. Questi provider offrono una varietà di soluzioni HPC gestite per CAE, tra cui ambienti software CAE preconfigurati, supporto per applicazioni CAE specifiche e servizi di consulenza da parte di esperti. Queste offerte sono una buona opzione per gli utenti che vogliono una soluzione HPC gestita per la progettazione CAE. I provider offrono una vasta gamma di servizi tra cui ambienti software CAE preconfigurati, supporto per applicazioni CAE specifiche e servizi di consulenza da parte di esperti.

Sebbene la soluzione CAE si basi su Google Compute Engine, è possibile anche utilizzarla su altri framework di computing, come Google Kubernetes Engine o Google Batch. Kubernetes Engine è un servizio Kubernetes gestito che può essere utilizzato per eseguire carichi di lavoro CAE in un ambiente containerizzato. Kubernetes Engine è una buona scelta per i carichi di lavoro CAE che richiedono scalabilità e portabilità. Google Batch è un servizio gestito per l'esecuzione dei job batch. È una buona scelta per i carichi di lavoro CAE che non sono containerizzati e che non richiedono personalizzazioni o ottimizzazioni significative.

Per saperne di più sulla progettazione di ambienti HPC, consulta la nostra guida tecnica su Cluster Toolkit, che illustra l'ampia gamma di opzioni a livello di infrastruttura (computing, rete, archiviazione), software di sistema (scheduler, archiviazione) e considerazioni sull'architettura.

Esistono varie best practice che puoi seguire al fine di ottimizzare le prestazioni dei carichi di lavoro CAE su Google Cloud. Ad esempio, puoi utilizzare i criteri di posizionamento per assicurarti che i carichi di lavoro siano posizionati su risorse di computing vicine tra loro, il che può ridurre la latenza e migliorare le prestazioni. Puoi anche utilizzare il toolkit Cloud HPC per ottimizzare i carichi di lavoro.

La nostra guida sulle best practice per l'esecuzione di carichi di lavoro HPC spiega come migliorare le prestazioni MPI. Sia Open MPI che Intel MPI sono stati perfezionati e ottimizzati per offrire fin da subito le prestazioni di Google Cloud, grazie alla collaborazione dei networking engineer HPC di Google Cloud.

Google Cloud offre un'ampia gamma di tipi di macchina, ognuno con configurazioni di CPU, GPU e memoria diverse. La scelta del tipo di macchina giusto per il tuo carico di lavoro può avere un impatto significativo sulle prestazioni e sui costi. Ad esempio, la VM H3 è una buona scelta per le applicazioni CAE con licenza per core grazie all'elevato rapporto larghezza di banda di memoria/core e con 4 GB/core la VM H3 fornisce memoria sufficiente per carichi di lavoro diversi. Per carichi di lavoro che richiedono molta memoria, come la meccanica strutturale, la VM C3 nella sua configurazione con memoria elevata fornisce 16 GB/core.

Google Cloud offre una varietà di opzioni di archiviazione, ognuna con caratteristiche diverse in termini di prestazioni e costi. La scelta dell'opzione di archiviazione giusta per il tuo carico di lavoro può avere un impatto significativo su prestazioni e costi. In un ambiente HPC esistono anche diversi tipi di archiviazione da considerare.

Gli ambienti HPC tipici ospitano almeno due tipi di archiviazione con requisiti diversi: archiviazione locale e archiviazione temporanea. La scelta del tipo di archiviazione dipende dalle esigenze specifiche del carico di lavoro HPC. Ad esempio, un carico di lavoro che genera una grande quantità di dati temporanei potrebbe richiedere una soluzione di archiviazione temporanea ad alte prestazioni oppure un carico di lavoro che accede ai dati comuni su più nodi di computing contemporaneamente potrebbe richiedere un file system parallelo. La scelta del tipo di archiviazione per un particolare carico di lavoro HPC dipende dalle esigenze specifiche del carico di lavoro.

Oltre all'archiviazione locale e all'archiviazione temporanea, gli ambienti HPC possono utilizzare anche altri tipi di archiviazione, come l'archiviazione ad accesso sporadico, che viene utilizzato per archiviare dati a cui non si accede di frequente. L'archiviazione ad accesso sporadico può essere fornita in modo più conveniente da Cloud Storage.

Archiviazione locale

L'archiviazione locale viene generalmente utilizzata per archiviare file utente condivisi, principalmente nella directory "/home", ad esempio configurazioni, script e dati di post-elaborazione. Questo tipo di archiviazione verrà montato nella stessa posizione nel cluster per consentire l'accesso comune a questo spazio dei nomi. In genere, l'archiviazione locale è permanente e si basa sul protocollo NFS.

In un ambiente Google Cloud HPC, l'archiviazione locale può essere fornita da servizi Google come Filestore o da offerte di partner come NetApp.

• Google Cloud Filestore è un servizio di archiviazione di file completamente gestito che offre accesso ai dati ad alte prestazioni e a bassa latenza. Filestore è una buona scelta per archiviare localmente i dati a cui si accede di frequente.
• NetApp Cloud Volumes Service è un servizio di archiviazione di file completamente gestito che offre accesso ai dati ad alte prestazioni e a bassa latenza. NetApp Cloud Volumes Service è una buona scelta per archiviare localmente i dati a cui si accede di frequente.

Archiviazione temporanea

L'archiviazione temporanea viene in genere utilizzata per archiviare file temporanei, come risultati intermedi e dati di output delle simulazioni. Possono essere condivisi o non condivisi tra nodi diversi nell'ambiente HPC. L'archiviazione temporanea in genere non è permanente. L'archiviazione temporanea si basa in genere su sistemi di archiviazione con prestazioni più elevate rispetto all'archiviazione locale, come l'archiviazione Flash locale o i file system paralleli.

In un ambiente Google Cloud HPC, l'archiviazione temporanea può essere fornita da servizi Google come Persistent Disk, SSD locale, Cloud Filestore o Parallelstore, oppure tramite offerte di partner come NetApp, DDN EXAScaler, Sycomp e Weka.

• Google Cloud Persistent Disk è un servizio di archiviazione a blocchi che offre accesso ai dati ad alte prestazioni e a bassa latenza. Persistent Disk può essere utilizzato per creare una directory temporanea per ogni utente su un cluster HPC.
• L'SSD locale di Google Cloud è un'opzione di archiviazione SSD locale disponibile su alcuni tipi di macchine Compute Engine. L'SSD locale può essere utilizzato per creare una directory temporanea per ogni utente su un cluster HPC.
• Google Cloud Filestore è un servizio di archiviazione di file NFS completamente gestito che offre accesso ai dati ad alte prestazioni e a bassa latenza. Filestore può essere utilizzato per creare una directory temporanea per ogni utente su un cluster HPC.
• Google Cloud Parallelstore è un file system parallelo ad alte prestazioni ottimizzato per i carichi di lavoro HPC. Parallelstore può essere utilizzato per creare una directory temporanea per ogni utente su un cluster HPC.
• NetApp Cloud Volumes Service è un servizio di archiviazione di file completamente gestito che offre accesso ai dati ad alte prestazioni e a bassa latenza. NetApp Cloud Volumes Service può essere utilizzato per creare una directory temporanea per ogni utente su un cluster HPC.
• DDN EXAScaler Cloud è un file system parallelo ad alte prestazioni ottimizzato per i carichi di lavoro HPC. DDN EXAScaler Cloud può essere utilizzato per creare una o più directory temporanee su un cluster HPC.
• WekaIO Matrix è un file system parallelo ad alte prestazioni ottimizzato per i carichi di lavoro HPC. WekaIO Matrix può essere utilizzato per creare una directory temporanea per ciascun utente su un cluster HPC.

VM spot

Le VM spot possono essere un modo conveniente per eseguire i carichi di lavoro CAE. Le VM spot sono disponibili a un prezzo scontato, ma possono essere terminate in qualsiasi momento con un breve periodo di preavviso. Le VM spot hanno uno sconto fino al 91% sul costo di un'istanza standard e supportano il tipo di funzionalità che gli utenti HPC si aspettano, tra cui GPU e SSD locali. 

Se il tuo flusso di lavoro può tollerare la possibilità di interruzione (prerilascio), è consigliabile testare il modello Spot se l'applicazione può essere eseguita in un periodo di tempo relativamente breve (meno di 4 ore). I clienti hanno scoperto che il risparmio sui costi fino al 90% rispetto a quelli on demand consente loro di tollerare lievi interruzioni.

Tieni presente che alcuni tipi di VM, come H3, non supportano Spot.

AirShaper è una piattaforma di aerodinamica online che consente a designer e ingegneri di eseguire simulazioni del flusso d'aria in modo completamente automatizzato, consentendo agli utenti senza esperienza di aerodinamica di ottenere risultati affidabili e migliorare il proprio design.

AirShaper ha migrato i propri carichi di lavoro di Computational Fluid Dynamics (CFD) HPC alla nuova famiglia di VM C2D da una piattaforma VM precedente, risparmiando tempo di simulazione e costi per esecuzione del carico di lavoro rispetto al precedente ambiente cloud e migliorando notevolmente i tempi di raggiungimento dei risultati rispetto al proprio ambiente on-premise.

"In AirShaper offriamo simulazioni CFD a un costo fisso. Un numero maggiore di core più veloci di solito significa un costo complessivo più elevato, in parte a causa di problemi di scalabilità. Con H3, invece, possiamo dimezzare i tempi di simulazione e, allo stesso tempo, ridurre il costo complessivo."

- Wouter Remmerie, CEO, Airshaper

Altair è una società tecnologica globale che fornisce soluzioni software e cloud nei settori dello sviluppo dei prodotti, del computing ad alte prestazioni (HPC) e dell'analisi dei dati. Il software di Altair viene utilizzato da tecnici, scienziati e analisti di dati per risolvere problemi complessi in un'ampia gamma di settori, tra cui quello automobilistico, aerospaziale, manifatturiero ed energetico.

Altair è partner di Google Cloud e il suo software è disponibile su Google Cloud. Il software di Altair è ottimizzato per Google Cloud e può essere utilizzato per sfruttare le prestazioni, la scalabilità e la flessibilità di Google Cloud. Altair si impegna ad aiutare i clienti a raggiungere i loro obiettivi HPC e offre un'ampia gamma di soluzioni software per l'HPC. Uno di questi è Radioss, uno strumento di analisi di elementi finiti. Altair ha potuto dimostrare miglioramenti significativi nel tempo di esecuzione di Radioss basato su cloud con la nuova VM H3.

"In Altair, siamo entusiasti del fatto che i test iniziali indicano una riduzione fino a 3 volte del tempo di esecuzione della simulazione per i carichi di lavoro Radioss eseguiti su H3 rispetto a C2. Questi tempi di esecuzione significativamente più rapidi su Google Cloud contribuiranno ad aumentare la produttività nella progettazione per i nostri clienti comuni."

- Eric Lequiniou, Senior Vice President, Radioss Development e Altair Solver

TotalCAE è un provider leader di soluzioni HPC gestite per applicazioni ingegneristiche e scientifiche. Le soluzioni di TotalCAE sono progettate per essere facili da usare e per aiutare i clienti ad accelerare la realizzazione di risultati, ridurre i costi e migliorare la produttività. Le soluzioni di TotalCAE sono utilizzate dai clienti di tutto il mondo per risolvere complessi problemi ingegneristici e scientifici. Ad esempio, le soluzioni di TotalCAE vengono utilizzate per progettare e simulare aerei, automobili e altri veicoli, per analizzare le prestazioni di edifici e ponti e per sviluppare nuovi farmaci e terapie.

TotalCAE è un partner Google Cloud e le sue soluzioni supportano il funzionamento su Google Cloud. Le soluzioni di TotalCAE sono ottimizzate per Google Cloud e possono essere utilizzate per sfruttare le prestazioni, la scalabilità e la flessibilità di Google Cloud. Utilizzando l'infrastruttura HPC di Google Cloud, TotalCAE ha potuto offrire ai propri clienti prestazioni migliori a un costo inferiore. 

"Con le istanze H3 di Google Cloud, abbiamo registrato un aumento delle prestazioni per core fino al 25% per i carichi di lavoro CAE con un costo del job inferiore del 50% rispetto a C2, consentendo a TotalCAE di offrire ai clienti prestazioni del prezzo fino a 2,5 volte superiori e scalabilità per i carichi di lavoro CAE su Google Cloud."

- Rodney Mach, CEO, TotalCAE