1. 선형 모델 from scratch 구현 2. 2층 신경망 모델 from scratch 구현

1. RNN  RNN 이란 시계열 데이터를 처리하기 위한 모델로서 순환신경망을 의미한다. 이전까지는 입력에서 출력층 방향으로 진행이 되는 순방향 신경망이었다면, RNN은 결과값이 이전 노드 or 자기자신으로 돌아가는 구조이다. 이러한 형태를 가지며, 각 계층은 그 계층으로의 입력과 이전 계층의 출력을 받는다. 즉, 현재 내 계층의 정보를 다음 시점으로 넘겨준다. 여기서 주의할 점은 t에 따라 RNN 계층이 존재하므로 각 계층에 입력되는 W 가중치 파라미터가 여러개 존재한다고 생각할 수 있지만, 실질적으로 하나다.(장점)즉, 시각 t에 대하여 모두 같은 가중치를 가지고 학습하고, 역전파를 통해 가중치가 업데이트 되면 모든 t에 대해서 동일하게 적용되기 때문에 가중치가 공유되는 방식이다. 그렇기 때문에 입력..

목차 1. Activation fucntion2. Initialize weights3. Loss function4. Backward propagation5. Optimization 5-1. Learning rate scheduler 신경망 모델은 입력층, 은닉층, 출력층으로 구성되어 있으며 선형 모델과 달리 비선형 활성화함수들을 통해 비선형 관계를 학습할 수 있다. 따라서 더 복잡한 패턴을 학습할 수 있으며 모델의 표현력이 풍부해진다.  신경망 모델의 학습 과정과 추론 과정을 순서대로 살펴본다면,  1. forward propagation (순전파) : 입력 데이터가 모델을 통과하여 최종적으로 예측된 결과를 생성한다. 2. Loss function (손실 계산) : 예측값과 실제값 사이의 차이를 손실함수..

목차 0. Linear Regression vs Linear Classifier1. Linear Regression2. k-NN 3. Linear Classifier4. Softmax Classifier  0. Linear Regerssion vs Linear Classifier 시작하기 앞서 선형모델을 사용하는 선형 회귀와 선형 분류에 대해서 정리하고자 한다.  Linear RegressionLinear Classifier정의연속적인 값을 예측하는 회귀 문제클래스를 예측하는 분류 문제출력값 형태예측된 연속형 변수클래스 별 score (클래스 레이블 또는 확률)평가 지표MSE, MAE, RMSE크로스 엔트로피 손실활성화 함수일반적으로 사용하지 않음시그모이드(이진분류), 소프트맥스(다중분류)목적실제 값과 ..

목차1. 인공지능, 머신러닝, 딥러닝 2. 지도학습, 비지도학습, 강화학습 3. 머신러닝 라이프 사이클 1. 인공지능 > 머신러닝 > 딥러닝인공지능 : 인공 + 지능 기계가 인간처럼 지능을 가지고 하는 일 (인간의 인지 능력을 기계가 모방)머신러닝 : AI의 하위 분야, 프로그래밍이 되어 있지 않아도 데이터셋으로부터 학습, 예측, 결정 하는 시스템 (데이터로부터 패턴 인식), (어떠한 작업 T에 대하여 경험 E와 함께 성능 P를 향상시킨다) 머신러닝 작업을 하려면 T, E, P가 확실히 정의되어야 한다.)딥러닝 : 머신러닝의 하위 분야 (신경망 기반 모델) 2. 지도학습 VS 비지도학습 VS 강화학습- 지도학습 : 훈련데이터를 통해서 정답 레이블을 함께 학습시켜 원하는 결과를 얻도록 학습 ex) 분류, ..