sgd

[DL] 신경망 Neural Network

신경망 학습 학습이란 학습 데이터로부터 가중치 매개변수의 최적값을 자동으로 찾는것을 말한다. ✔︎ 훈련 데이터와 시험 데이터 데이터를 훈련 데이터(training data)와 테스트 데이터(test data)로 나눠 학습과 테스트를 진행한다. 먼저, 훈련 데이터만 사용하여 학습하면서 최적의 파라미터(가중치, 편향)를 찾는다. 그런 다음 테스트 데이터를 이용하여 훈련된 모델의 성능을 평가한다. 과적합을 방지하기 위해 전체 데이터를 학습데이터, 검증데이터, 테스트데이터로 나누며 보통 비율은 5:3:2로 정한다. 학습데이터(training data) : 모형 f를 추정하는데 필요함 검증데이터(validation data) : 추정한 모형 f가 적합한지 검증함 테스트데이터(testing data) : 최종적으로..

[Review] An overview of gradient descent optimization algorithms

An overview of gradient descent optimization algorithms 최적화 알고리즘에 대한 내용이 담긴 An overview of gradient descent optimization algorithms Paper에 대해 정리해보려고 한다. ◼ 논문 링크 : An overview of gradient descent optimization algorithms 경사하강법은 최적화를 수행하는 가장 널리 사용되는 알고리즘 중 하나이며 신경망을 최적화하는 가장 일반적인 방법이다. 하지만 이러한 알고리즘은 강점과 약점에 대한 실제적인 설명이 나오기 어렵기 때문에 종종 블랙 박스 최적화 프로그램으로 사용된다. 경사 하강법(Gradient descent) Gradient descent는..