트랜스포머 공부하면서 꼭 정리해두어야 하는 개념, normalization.
각각 한 줄로 정리합니다.
- layer normalization : batch내에 각각의 sample에 대해서 여러 feature들 간에 normalization
- batch normalization : 각각의 feature에 대해서 한 batch내의 여러 sample간에 normalization
혼동하지 마세요 !!!
'딥러닝' 카테고리의 다른 글
| Chat-GPT 활용기 - 영어 문서/논문 첨삭 (0) | 2023.02.02 |
|---|---|
| [딥러닝] CNN, RNN, Self-attention을 비교해보자! (계산 복잡도) (0) | 2021.08.10 |