트랜스포머 이해하기 9부: 셀프 어텐션 레이어 쌓기
Understanding Transformers Part 9: Stacking Self-Attention Layers
TL;DR AI
1분핵심 요약
트랜스포머는 원시 위치 인코딩 입력만 쓰지 않고 여러 self-attention 층을 쌓아 사용한다.
각 층은 고유한 가중치를 학습하며 queries, keys, values를 정교하게 조정해 단어 관계를 더 잘 모델링한다.
이처럼 층을 쌓는 구조는 더 긴 문장이나 복잡한 텍스트에서 풍부한 문맥을 포착해 인코딩 성능을 높인다.
같은 주제
