Fonction coût non-convexe avec vallées plates et multiples minima locaux.
Progression très lente dans les régions où le gradient est faible, prolongeant le temps de convergence.
Sans mécanisme d'inertie, les méthodes classiques peuvent se bloquer dans un minimum local, loin de la solution optimale.
La descente de gradient simple ne "mémorise" pas les directions précédentes, inefficace face aux irrégularités de la surface.