DoWG Unleashed: An Efficient Universal Parameter-Free Gradient Descent Method

This paper proposes a new easy-to-implement parameter-free gradient-based optimizer: DoWG (Distance over Weighted Gradients). We prove that DoWG is efficient -- matching the convergence rate of optimally tuned gradient descent in convex optimization up to a logarithmic factor without tuning any para...

Πλήρης περιγραφή

Λεπτομέρειες βιβλιογραφικής εγγραφής

Κύριοι συγγραφείς:	Khaled, Ahmed, Mishchenko, Konstantin, Jin, Chi
Μορφή:	Άρθρο
Έκδοση:	2023
Θέματα:	Machine Learning Optimization and Control
Διαθέσιμο Online:	https://arxiv.org/abs/2305.16284 http://arxiv.org/abs/2305.16284
Ετικέτες:	Προσθήκη ετικέτας Δεν υπάρχουν, Καταχωρήστε ετικέτα πρώτοι!