Post di Denis Marini

Visualizza il profilo di Denis Marini, immagine

Esperto - Presidenza del Consiglio dei Ministri | Technical Project Manager | Cloud Architect | IoT Architect

💡 Un’affascinante analogia tra i principi della meccanica classica e l'ottimizzazione del 'Gradient Descent' con momentum nel training delle reti neurali 🔃 Così come nella fisica newtoniana un oggetto si muove nello spazio sotto l'influenza di forze, accumulando momento e inerzia, allo stesso modo l'algoritmo di ottimizzazione si muove nello spazio dei pesi della rete neurale, dove il gradiente agisce come una forza che guida l'apprendimento. Questa somiglianza non è casuale! 🎯 Il momentum è stato introdotto proprio per accelerare la convergenza dell'ottimizzazione, sfruttando gli stessi principi che governano il moto in fisica ⌨️ LAB Momentum with Different Polynomials - Colab https://lnkd.in/eWq-iCeh - GitHub https://lnkd.in/efw8pi-a ⌨️ LAB Neural Networks with Momentum - Colab https://lnkd.in/eM7t-ywB - GitHub https://lnkd.in/eqnbWjJz #MachineLearning #NeuralNetwork #DeapLearning

  • diagram
Fabrizio Arneodo

Chief Information Technology Officer at 5T - Tecnologie Telematiche Trasporti Traffico Torino

1 mese

Mi hanno sempre affascinato gli isomorfismi.

Per visualizzare o aggiungere un commento, accedi