Ssa!

2022-10-13 목요일 회고록

Ssa! — Thu, 13 Oct 2022 21:18:14 +0900

https://hana98.tistory.com/117

스파르타 내일배움캠프 딥러닝 역사

기존의 머신러닝은 AND, OR문제로 시작한다. 문제를 풀기 위해서 직선 하나(논리회귀)로 쉽게 만들 수 있다. 선형회귀로는 AND, OR 문제는 잘 풀지만 XOR문제는 풀지 못했다. Perceptron을 여러개 붙인 Mu

hana98.tistory.com

스파르타 내일배움캠프 딥러닝 역사

Ssa! — Thu, 13 Oct 2022 21:13:45 +0900

기존의 머신러닝은 AND, OR문제로 시작한다.

문제를 풀기 위해서 직선 하나(논리회귀)로 쉽게 만들 수 있다.

선형회귀로는 AND, OR 문제는 잘 풀지만 XOR문제는 풀지 못했다.

Perceptron을 여러개 붙인 Multilayer Perceptrons (MLP)라는 개념을 도입해서 문제를 풀어보려고 했다.

MLP로 XOR문제를 풀려고 했지만 불가능했고 MLP를 써야하는데 각각의 weight와 bias를 학습시키는데 너무 많은 계산이 필요하므로 당시 기술로는 불가능하다고 생각했다.

이 문제를 포기하게 되고 딥러닝의 발전은 10년 ~ 20년 정도 후퇴하게 된다.

이 문제를 해결하기 위해서 Backpropagation (역전파)으로 해결하게 된다

1. W(weight)와 b(bias)를 이용하여 주어진 입력을 가지고 출력을 만들어 낼 수 있다

2. MLP가 만들어낸 출력이 정답값과 다를 경우 W와 b를 조절해야한다.

3. 조절하는 가장 좋은 방법은 출력에서 Error(오차)를 발견하여 뒤에서 앞으로 점차 조절하는 방법이 필요하다.

이 알고리즘은 관심받지 못하다 XOR문제를 MLP로 풀 수 있게 되어 해결될 수 있었고 핵심방법은 역전파 알고리즘의 발견이다.

2022-10-12 수요일 회고록

Ssa! — Thu, 13 Oct 2022 00:51:13 +0900

https://hana98.tistory.com/115

스파르타 내일배움캠프 딥러닝

딥러닝은 머신러닝의 한 분야이다 선형회귀와 논리회귀는 모두 1차함수를 이욯하여 문제를 풀 수 있는데 자연계에는 직선으로 설명할 수 없는 문제들이 훨씬 많다. 이런 복잡한 문제들을 풀기

hana98.tistory.com

스파르타 내일배움캠프 딥러닝

Ssa! — Thu, 13 Oct 2022 00:50:19 +0900

딥러닝은 머신러닝의 한 분야이다

선형회귀와 논리회귀는 모두 1차함수를 이욯하여 문제를 풀 수 있는데 자연계에는 직선으로 설명할 수 없는 문제들이 훨씬 많다.

이런 복잡한 문제들을 풀기 위해 선형회귀를 여러번 반복을 했는데

여러번 반복 한다고 해서 비선형이 되는 것은 아니다

그래서 선형회귀 사이에 비선형의 무엇인가를 넣어야 한다.

층을 여러개 쌓기 시작하고 이 모델은 잘 작동하기 시작해서 이 층을 깊게 쌓는다고 딥러닝이라고 불리게 되었다.

2022-10-11 화요일 회고록

Ssa! — Tue, 11 Oct 2022 20:36:54 +0900

https://hana98.tistory.com/110?category=1006883

스파르타 내일배움캠프 논리 회귀, 가설, 손실함수

선형 회귀로 풀기 힘든 문제가 등장했는데 그것을 보완하기 위해 논리 회귀를 사용한다. 선형회귀로 하게 된다면 이렇게 되버린다. 이 문제에서 입력값과 출력값이 된다. 이것을 이진클래스로

hana98.tistory.com

https://hana98.tistory.com/111?category=1006883

스파르타 내일배움캠프 다항 논리 회귀, Softmax 함수와 손실함수

여러가지 문제에 대해 입력값이 여러개면 클래스를 여러개로 나누어 그 여러개의 출력값을 예측을 하면된다. 다항 논리 회귀는 원핫 인코딩이라고 출력값 형태를 깔끔하게 표현할 수 있는다.

hana98.tistory.com

https://hana98.tistory.com/112?category=1006883

스파르타 내일배움캠프 다양한 머신러닝 모델

Support vector machine (SVM) 강아지와 고양이를 구분하는 문제를 푼다고 가정하면 구분하는 문제를 푸는 것은 분류 문제(Classification problem)이고 분류 문제를 푸는 모델을 분류기(Classifier)라고 부른다...

hana98.tistory.com

https://hana98.tistory.com/113?category=1006883

스파르타 내일배움캠프 머신러닝에서의 전처리

전처리란? 전처리는 넓은 범위의 데이터 정제 작업을 뜻한다. 필요한 데이터를 지우고 필요한 데이터를 취하는 것 NULL값이 있는 행을 삭제하는 것 정규화, 표준화 등의 많은 작업들을 포함하고

hana98.tistory.com

스파르타 내일배움캠프 머신러닝에서의 전처리

Ssa! — Tue, 11 Oct 2022 20:36:00 +0900

전처리란?

전처리는 넓은 범위의 데이터 정제 작업을 뜻한다. 필요한 데이터를 지우고 필요한 데이터를 취하는 것 NULL값이 있는 행을 삭제하는 것 정규화, 표준화 등의 많은 작업들을 포함하고 있다.

만약 각각의 특성들이 단위도 다르고 값의 범위도 차이가 클 수 있는데 일단 단위가 다르면 직접적으로 비교가 어렵다. 또한 단위가 같더라도 값의 범위가 다르면 문제가 된다. 이런 문제들을 해결하는 것이 정규화 또는 표준화를 사용한다. 어떤 방식이 더 좋은지는 데이터셋에 따라 다르다

정규화란?

정규화는 데이터를 0과 1사이의 범위를 가지도록 만든다 같은 특서으이 데이터 중에서 가장 작은 값 0으로 만드록 가장 큰 값을 1로 만든다.

표준화란?

표준화는 데아터의 분포를 정규분포로 바꿔준다. 즉 데이터의 평균이 0이 되도록하고 표준편차가 1이 되도록하여 만들어 준다.

일단 데이터의 평균을 0으로 만들어주면 데이터의 중심이 0에 맞춰지게 된다. 그리고 표준편차를 1로 만들어 주면 데이터가 깔끔하게 정규화가 된다. 이렇게 표준화를 시키면 일반적으로 학습 속도(최저점 수렴 속도)가 빠르고 , Local minima에 빠질 가능성이 적다.

스파르타 내일배움캠프 다양한 머신러닝 모델

Ssa! — Tue, 11 Oct 2022 20:30:41 +0900

Support vector machine (SVM)

강아지와 고양이를 구분하는 문제를 푼다고 가정하면 구분하는 문제를 푸는 것은 분류 문제(Classification problem)이고 분류 문제를 푸는 모델을 분류기(Classifier)라고 부른다.

각 그래프의 축을 특징이라고 부르고 각 고양이, 강아지와 그래프에 그린 빨간 벡터를 Support vector라고 부른다. 그리고 그 벡터의 거리를 Margin이라고 부른다 Margin이 넓어지도록 모델을 학습시켜 휼륭한 Support vector machine을 만들 수 있다.

k-Nearest neighbors (KNN)

KNN은 비슷한 특성을 가진 개체끼리 군집화하는 알고리즘이다.예를 들어 하얀 고양이가 새로 나타냈을 떄 일정 거리안에 다른 개체들의 개수를 보고 자신의 위치를 결정하게 하는 알고리즘이다.

Decision tree (의사결정나무)

스무고개와 같은 방식이다 단순한 계산으로 처리가 가능하다.

Random forest

의사결정나무를 여러개 합친 모델이다. 각각의 의사결정나무들이 결정을 하고 마지막에 투표를 통해 최종 답을 결정하게 된다.

스파르타 내일배움캠프 다항 논리 회귀, Softmax 함수와 손실함수

Ssa! — Tue, 11 Oct 2022 20:25:23 +0900

여러가지 문제에 대해 입력값이 여러개면 클래스를 여러개로 나누어 그 여러개의 출력값을 예측을 하면된다.

다항 논리 회귀는 원핫 인코딩이라고 출력값 형태를 깔끔하게 표현할 수 있는다.

원핫 인코딩을 만드는 방법을 말하자면

1.클래스의 개수만큼 배열을 0으로 채운다

2. 각 클래스의 인덱스 위치를 정한다.

3, 각 클래스에 해당하는 인덱스에 1을 넣는다.

Softmax는 선형 모델에서 나온 결과를 모두 더하면 1이 되도록 만들어주는 함수이다

다 더하면 1이 되도록 만드는 이유는 예측의 결과를 확률로 표현하기 위함이다. 원핫인코딩을 할때 라벨의 값을 전부 다 더하면 1(100%0이 되기 때문이다.

다항 논리 회귀에서 Softmax함수를 통과한 결과 값의 확률 분포 그래프를 그려서 아래 그래프의 모양이라고 가정하면 단항 논리 회귀에서와 마찬가지로 가로축은 클래스가 되고 세로축은 확률이 된다

마찬가지로 확률 분포의 차이를 계산할 때는 Crossentropy함수를 쓴다. 항이 여러개가 되었을 뿐 차이는 이진 논리 회귀와 차이는 없다. 데이터셋의 정답 라벨과 예측한 라벨의 확률 분포 그래프를 구해서 Crossentropy로 두 확률 분포의 차이를 구한 다음 그 차이를 최소화하는 방향으로 학습을 시킨다.

스파르타 내일배움캠프 논리 회귀, 가설, 손실함수

Ssa! — Tue, 11 Oct 2022 20:16:55 +0900

선형 회귀로 풀기 힘든 문제가 등장했는데 그것을 보완하기 위해 논리 회귀를 사용한다.

선형회귀로 하게 된다면 이렇게 되버린다.

이 문제에서 입력값과 출력값이 된다. 이것을 이진클래스로 나눌 수 있다. 0(Fail), 1(Pass)로 이런 경우 이진 논리 회귀로 해결할 수 있다. 논리 회귀 즉 Logistic function(=Sigmoid function)를 사용하면 아래 처럼 만들 수 있다.

논리 함수는 입력값(x)으로 어떤 값이든 받을 수가 있지만 출력 결과(y)는 항상 0에서 1사이 값이 된다

실질 적인 계산은 선형회귀와 같지만 출력에 시그모이드 함수를 붙여 0에서 1사이의 값을 가지도록 한다. 시그모이드 함수는 아래와 같이 생겼다

선형 회귀에서 가설은 H(x) = Wx + b였는데 논리 회귀에서는 시그모이드 함수에 선형 회귀 식을 넣어주면 된다

논리 회귀에서 손실함수는 아래와 같은 식처럼 된다.

손실 함수를 그래프로 보면

라벨 y가 0이어야 하면 예측한 라벨이 0일 경우 확률이 1(100%)이 되도록 해야하고 예측한 라벨이 1일 경우 확률이 0(0%)이 되도록 만들어야 한다. 반대로 라벨 y가 1일 경우에 예측한 라벨 1 일 때 확률이 1(100%)이 되도록 만들어야한다.

위의 그래프를 더욱 실제적으로 그려보면 아래의 그래프가 된다

이렇게 가로축을 라벨로 표시하고 세로축을 확률로 표시한 그래프를 롹률 분포 그래프라고 한다. 확률 분포 그래프의 차이를 비교할 때는 Crossentropy라는 함수를 사용한다.

임의의 입력값에 대해 우리가 원하는 확률 분포 그래프를 만들도록 학습시키는 손실 함수이다.

정답이 0인 경우만 살펴보면, 입력값의 확률 분포가 파란색 그래프처럼 나왔다고 가정하면 crossentropy는 파란색 그래프를 빨간색 그래프처럼 만들어주기 위해 노력하는 함수이다. 선형회귀를 했을 때 정답값을 나타내는 점과 세운 가설 직선의 거리를 최소화하려고 했던 거리함수와 비슷하다.

내일배움캠프 WIL 6주차(10/4 ~ 10/10)

Ssa! — Tue, 11 Oct 2022 19:47:58 +0900

Keep:

- 프로젝트 기간 중 기능을 구현하는 것!

Problem:

1. 문제점

- 깃을 잘 활용하지 않아 협업이 어려웠다.

2. 해결방안

- 깃을 잘 활용할 수 있도록 개인 공부하면서 연습해보자!

Try:

- 깃을 커밋 내용을 남들이 알아볼 수 있도록 작성해보자