optimizer

[Review] An overview of gradient descent optimization algorithms

An overview of gradient descent optimization algorithms 최적화 알고리즘에 대한 내용이 담긴 An overview of gradient descent optimization algorithms Paper에 대해 정리해보려고 한다. ◼ 논문 링크 : An overview of gradient descent optimization algorithms 경사하강법은 최적화를 수행하는 가장 널리 사용되는 알고리즘 중 하나이며 신경망을 최적화하는 가장 일반적인 방법이다. 하지만 이러한 알고리즘은 강점과 약점에 대한 실제적인 설명이 나오기 어렵기 때문에 종종 블랙 박스 최적화 프로그램으로 사용된다. 경사 하강법(Gradient descent) Gradient descent는..