Ssa!

기존의 머신러닝은 AND, OR문제로 시작한다. 문제를 풀기 위해서 직선 하나(논리회귀)로 쉽게 만들 수 있다. 선형회귀로는 AND, OR 문제는 잘 풀지만 XOR문제는 풀지 못했다. Perceptron을 여러개 붙인 Multilayer Perceptrons (MLP)라는 개념을 도입해서 문제를 풀어보려고 했다. MLP로 XOR문제를 풀려고 했지만 불가능했고 MLP를 써야하는데 각각의 weight와 bias를 학습시키는데 너무 많은 계산이 필요하므로 당시 기술로는 불가능하다고 생각했다. 이 문제를 포기하게 되고 딥러닝의 발전은 10년 ~ 20년 정도 후퇴하게 된다. 이 문제를 해결하기 위해서 Backpropagation (역전파)으로 해결하게 된다 1. W(weight)와 b(bias)를 이용하여 주어진..

딥러닝은 머신러닝의 한 분야이다 선형회귀와 논리회귀는 모두 1차함수를 이욯하여 문제를 풀 수 있는데 자연계에는 직선으로 설명할 수 없는 문제들이 훨씬 많다. 이런 복잡한 문제들을 풀기 위해 선형회귀를 여러번 반복을 했는데 여러번 반복 한다고 해서 비선형이 되는 것은 아니다 그래서 선형회귀 사이에 비선형의 무엇인가를 넣어야 한다. 층을 여러개 쌓기 시작하고 이 모델은 잘 작동하기 시작해서 이 층을 깊게 쌓는다고 딥러닝이라고 불리게 되었다.

전처리란? 전처리는 넓은 범위의 데이터 정제 작업을 뜻한다. 필요한 데이터를 지우고 필요한 데이터를 취하는 것 NULL값이 있는 행을 삭제하는 것 정규화, 표준화 등의 많은 작업들을 포함하고 있다. 만약 각각의 특성들이 단위도 다르고 값의 범위도 차이가 클 수 있는데 일단 단위가 다르면 직접적으로 비교가 어렵다. 또한 단위가 같더라도 값의 범위가 다르면 문제가 된다. 이런 문제들을 해결하는 것이 정규화 또는 표준화를 사용한다. 어떤 방식이 더 좋은지는 데이터셋에 따라 다르다 정규화란? 정규화는 데이터를 0과 1사이의 범위를 가지도록 만든다 같은 특서으이 데이터 중에서 가장 작은 값 0으로 만드록 가장 큰 값을 1로 만든다. 표준화란? 표준화는 데아터의 분포를 정규분포로 바꿔준다. 즉 데이터의 평균이 0이..

Support vector machine (SVM) 강아지와 고양이를 구분하는 문제를 푼다고 가정하면 구분하는 문제를 푸는 것은 분류 문제(Classification problem)이고 분류 문제를 푸는 모델을 분류기(Classifier)라고 부른다. 각 그래프의 축을 특징이라고 부르고 각 고양이, 강아지와 그래프에 그린 빨간 벡터를 Support vector라고 부른다. 그리고 그 벡터의 거리를 Margin이라고 부른다 Margin이 넓어지도록 모델을 학습시켜 휼륭한 Support vector machine을 만들 수 있다. k-Nearest neighbors (KNN) KNN은 비슷한 특성을 가진 개체끼리 군집화하는 알고리즘이다.예를 들어 하얀 고양이가 새로 나타냈을 떄 일정 거리안에 다른 개체들의 ..

여러가지 문제에 대해 입력값이 여러개면 클래스를 여러개로 나누어 그 여러개의 출력값을 예측을 하면된다. 다항 논리 회귀는 원핫 인코딩이라고 출력값 형태를 깔끔하게 표현할 수 있는다. 원핫 인코딩을 만드는 방법을 말하자면 1.클래스의 개수만큼 배열을 0으로 채운다 2. 각 클래스의 인덱스 위치를 정한다. 3, 각 클래스에 해당하는 인덱스에 1을 넣는다. Softmax는 선형 모델에서 나온 결과를 모두 더하면 1이 되도록 만들어주는 함수이다 다 더하면 1이 되도록 만드는 이유는 예측의 결과를 확률로 표현하기 위함이다. 원핫인코딩을 할때 라벨의 값을 전부 다 더하면 1(100%0이 되기 때문이다. 다항 논리 회귀에서 Softmax함수를 통과한 결과 값의 확률 분포 그래프를 그려서 아래 그래프의 모양이라고 가정..

선형 회귀로 풀기 힘든 문제가 등장했는데 그것을 보완하기 위해 논리 회귀를 사용한다. 선형회귀로 하게 된다면 이렇게 되버린다. 이 문제에서 입력값과 출력값이 된다. 이것을 이진클래스로 나눌 수 있다. 0(Fail), 1(Pass)로 이런 경우 이진 논리 회귀로 해결할 수 있다. 논리 회귀 즉 Logistic function(=Sigmoid function)를 사용하면 아래 처럼 만들 수 있다. 논리 함수는 입력값(x)으로 어떤 값이든 받을 수가 있지만 출력 결과(y)는 항상 0에서 1사이 값이 된다 실질 적인 계산은 선형회귀와 같지만 출력에 시그모이드 함수를 붙여 0에서 1사이의 값을 가지도록 한다. 시그모이드 함수는 아래와 같이 생겼다 선형 회귀에서 가설은 H(x) = Wx + b였는데 논리 회귀에서는..