스파르타 내일배움캠프 다항 논리 회귀, Softmax 함수와 손실함수

여러가지 문제에 대해 입력값이 여러개면  클래스를 여러개로 나누어 그 여러개의 출력값을 예측을 하면된다.

 

다항 논리 회귀는 원핫 인코딩이라고 출력값 형태를 깔끔하게 표현할 수 있는다.

 

원핫 인코딩을 만드는 방법을 말하자면

1.클래스의 개수만큼 배열을 0으로 채운다

2. 각 클래스의 인덱스 위치를 정한다.

3, 각 클래스에 해당하는 인덱스에 1을 넣는다.

 

Softmax는 선형 모델에서 나온 결과를 모두 더하면 1이 되도록 만들어주는 함수이다

다 더하면 1이 되도록 만드는 이유는 예측의 결과를 확률로 표현하기 위함이다. 원핫인코딩을 할때 라벨의 값을 전부 다 더하면 1(100%0이 되기 때문이다. 

다항 논리 회귀에서 Softmax함수를 통과한 결과 값의 확률 분포 그래프를 그려서 아래 그래프의 모양이라고 가정하면 단항 논리 회귀에서와 마찬가지로 가로축은 클래스가 되고 세로축은 확률이 된다

 

마찬가지로 확률 분포의 차이를 계산할 때는 Crossentropy함수를 쓴다. 항이 여러개가 되었을 뿐 차이는 이진 논리 회귀와 차이는 없다. 데이터셋의 정답 라벨과 예측한 라벨의 확률 분포 그래프를 구해서 Crossentropy로 두 확률 분포의 차이를 구한 다음 그 차이를 최소화하는 방향으로 학습을 시킨다.