cross entropy

[실습] numpy로 만드는 단층 신경망 - 이진 분류 1

이번에는 이진분류를 위한 신경망을 만들어보려 한다. 우선 이진분류 문제가 무엇인지 알아보자 ✔︎ 이진 분류 이진 분류 문제는 '예', '아니오' 혹은 '0', '1' 같은 두 가지 값에 대하여 하나로 답하는 문제이다. 퍼셉트론의 선형 연산을 살펴보면 하나의 값 만을 출력한다. 즉 두 가지 값으로 결과를 표현할 수 없다는걸 알 수 있다. 초기에는 '임의의 임계치'를 설정하고 선형 연산 결과가 이 값을 넘는지에 따라 두 가지 값 중 하나를 출력하는 방법을 사용했는데, 이 방법은 미분 불가능 이라는 치명적인 문제점을 가지고 있다. 선형 연산에서는 일단 범위에 제한이 없는 실숫값을 계산하되, 이를 확률값의 성질에 맞게 즉 0~1 사이의 값을 갖도록 변환해주는 비선형 활성화 함수를 찾아내게 되는데 그게 바로 시그..

[DL] 엔트로피 Entropy

엔트로피 Entropy 원래 분자들의 무질서도 혹은 에너지의 분산 정도를 나타내는 물리학 용어에서 출발한다. 정보이론에서의 Entropy 1948년 미국의 수학자이자 전기공학자인 클로드 섀년(𝐶𝑙𝑎𝑢𝑑𝑒 𝐸𝑙𝑤𝑜𝑜𝑑 𝑆ℎ𝑎𝑛𝑛𝑜𝑛)은 엔트로피 개념에서 힌트를 얻어 확률 분포의 무질서도나 불확실성 혹은 정보 표현의 부담 정도를 나타내는 정보 엔트로피(섀년 엔트로피) 개념을 고안해 낸다. '정보‘라는개념이 등장하게 되는데, '정보이론'은 신호에 존재하는 '정보의 양'을 측정하는 이론이라 할 수 있다. 여기서 '정보의 양' 은 '놀람의 정도'를 의미한다. 놀람의 정도는 쉽게 말해 모두가 알만한 정보가 아닌, 새롭고 특이해서 사람들로 하여금 놀람을 일으키는 정도라고 이해하면 된다. 예를들어 '3년 뒤 삼성전자의..

[DL] 신경망 Neural Network

신경망 학습 학습이란 학습 데이터로부터 가중치 매개변수의 최적값을 자동으로 찾는것을 말한다. ✔︎ 훈련 데이터와 시험 데이터 데이터를 훈련 데이터(training data)와 테스트 데이터(test data)로 나눠 학습과 테스트를 진행한다. 먼저, 훈련 데이터만 사용하여 학습하면서 최적의 파라미터(가중치, 편향)를 찾는다. 그런 다음 테스트 데이터를 이용하여 훈련된 모델의 성능을 평가한다. 과적합을 방지하기 위해 전체 데이터를 학습데이터, 검증데이터, 테스트데이터로 나누며 보통 비율은 5:3:2로 정한다. 학습데이터(training data) : 모형 f를 추정하는데 필요함 검증데이터(validation data) : 추정한 모형 f가 적합한지 검증함 테스트데이터(testing data) : 최종적으로..