Deep Learning_딥러닝을 활용한 회귀 분석

MLP 모델 아키텍처 정의

완전 연결 레이어만 사용하여 5개 레이어를 갖는 다층 신경망(MLP)를 만든다.

레이어를 추가할 때는 add 함수를 사용한다. 목표 레이블이 한 개인 회귀 문제이기 때문에 마지막 출력 레잉는 1개의 유닛을 갖고 선형 함수를 활성화 함수로 설정한다. 은닉 레이어의 활성화 함수로는 ReLu 함수를 많이 사용한다.

 

미니 배치 학습

모델을 훈련시킬 때 샘플 데이터를 한 개씩 입력해서 가중치를 갱신하려면 학습 시간이 오래 걸리는 문제가 있다. 미니 배치 학습은 전체 데이터를 여러 개의 작은 배치 단위로 나누고 배치에 들어 있는 샘플 데이터를 묶어서 모델에 입력한다. 경사하강법을 적용하고 손실 함수로 최소화하는 방향으로 가중치를 update한다.

 

학습 데이터 일부를 검증 데이터를 사용하여 교차 검증을 해본다. 테스트 데이터셋 비율을 입력하여, 마지막 200번째 에포크 학습이 끝났을때 훈련 손실이 검증 손실보다 작은 값이므로 과대적합 상태로 판단된다.