[파이토치 (PyTorch)] 7. Wide and Deep

 

 

Wide and Deep Learning은 Google에서 개발한 추천 시스템(Recommendation System) 모델로, 2016년에 발표되었다.
이 모델은 기억(Memorization)과 일반화(Generalization)를 동시에 수행할 수 있도록 설계되었다.

 

개념 🌟

 Wide(넓은) 부분과 Deep(깊은) 부분을 결합한 하이브리드 모델이다.

• Wide 모델:
  • 선형 모델(Linear Model) 기반으로, 기존 데이터 패턴을 활용한다.
• Deep 모델:
  • 신경망(Neural Network) 기반으로, 새로운 패턴(일반화)을 학습한다.

 

 

 

 

 

 

입력 데이터는 행렬 X로 표현되고, a와 b는 각각의 특성을 나타낸다.

각 행(row)은 하나의 데이터 포인트이며, 열(column)은 특성이다.

 

가중치는 벡터 W로 표현되며, 학습 과정에서 최적의 w1,w2​ 값을 찾는다.

 

 

출력은 행렬 X와 벡터 W를 곱하면 예측 값(Y_hat)이 나온다. 결과적으로, 각 입력 데이터에 대해 하나의 출력 값이 도출된다.

 

 

 

 

 

숫자를 압축하다보면 1보다 작은 숫자를 곱하게 되어 그래디언트가 사라질 수가 있다. 이 것을 Gradient Problem 이라고 하는데,

문제를 해결하는 솔루션 중 Lelou 라는 활성화 함수가 이 상황을 해결하기에 가장 적합하다.

 

https://colab.research.google.com/drive/1x8b-DQo8uTSL1WzYodCUC74xdoWEFU3H?usp=sharing

Wide and Deep