softmax

[실습] numpy로 만드는 단층 신경망 - 다중 분류2

우리는 다중 분류 문제를 예측하는 단층 신경망을 만들어 볼 것이다. 다중 분류 문제에서는 불량철판문제 데이터를 가지고 불량 철판의 종류를 예측하는 신경망을 구축해 볼 예정이다. 데이터 셋은 Kaggle에 있는 불량 철판 문제 에서 받아서 사용 할 수 있다. ✔︎ 데이터 살펴보기 import numpy as np import csv import pandas as pd data = pd.read_csv('data/faults.csv') 독립 변수는 철판의 불량 상태를 의미하는 지표인 총 27가지의 값이 주어지며, 종속 변수로는 one − hot vector 로 표현된 7가지의 불량 종류가 존재하는 1941개의 데이터셋 이다. 📍 다중 단층 신경망을 만들기 위한 설계도 1. 모듈 불러오기 import nump..

[실습] numpy로 만드는 단층 신경망 - 다중 분류1

이번에는 다중 분류를 위한 신경망을 만들어보려 한다. 이진 분류가 두 개의 선택지 중 하나를 고르는 문제였다면, 세 개 이상의 선택지 중 하나를 고르는 문제를 다중 클래스 분류라고 한다. 다중 분류 신경망은 이진 분류에서 처럼 일단 각 후보 항목에 대한 로그 척도의 상대적 추천 강도, 즉 로짓값을 추정하도록 구성된다. 이때 퍼셉트론 하나가 후보 하나에 대한 로짓값을 출력하게 된다. 따라서 다중 분류를 수행하려면 다중 분류 후보 수 만큼의 퍼셉트론이 필요하게 된다. 우선 로짓값은 상대적인 가능성을 로그를 이용해 나타낸 값이라 할 수 있다. 그리고 다중 분류에서 로짓값의 표현 대상은 각 후보 항목을 답으로 추정할 확률이 된다. 로짓값을 확률로 변환하지 않고서도 어떤 후보가 더 큰 값을 갖고 있는지 알 수 있..

활성화 함수 activation function

신경망모델의 각 layer에서는 input 값과 W(가중치)를 곱하고 b(편향)를 더하는 연산을 통해 a=WX+b를 계산하고 마지막에 활성화 함수를 거쳐 h(a)를 출력한다. 이렇게 각 layer마다 활성화 함수를 거쳐 출력하는 이유가 무엇일까? XOR문제 - 선형분류기의 한계 인공신경망에 대한 연구가 한계를 맞게된 첫 과제는 바로 XOR문제였다. 아래 그림에서 확인할 수 있듯이 기존의 퍼셉트론은 AND와 OR문제는 해결할 수 있었지만 선형 분류기라는 한계에 의해 XOR과 같은 non-linear한 문제는 해결할 수 없었다. 그리고 이를 해결하기 위해 나온 개념이 hidden layer이다. 그러나 이 hidden layer도 무작정 쌓기만 한다고 해서 퍼셉트론을 선형분류기에서 비선형분류기로 바꿀 수 있..

[DL] 오차 역전파 Error Backpropagation

순전파 (Feedforward) Input에서 Output으로 가중치를 업데이트하면서 활성화 함수를 통해서 결과값을 가져오는 것을 순전파(foward)라고 한다. 역전파 (Backpropagation) 역전파 알고리즘은 input과 output 값을 알고 있는 상태에서 신경망을 학습 시키는 방법이다. 역전파 방법은 결과 값을 통해서 다시 역으로 input 방향으로 오차를 다시 보내며 가중치를 재업데이트 하는 것이다. 결과에 영향을 많이 미친 노드(뉴런)에 더 많은 오차를 돌려준다. 계산 그래프 (computational graph) 계산 그래프(computational graph)는 계산 과정을 그래프로 나타낸 것 그래프는 복수의 노드 node 와 에지 edge 로 표현된다. 문제 현빈 군은 슈퍼에서 사..