생성형 AI와 트랜스포머 기술

트랜스포머의 가장 핵심

• "단어 사이의 관계 파악"
• > ✨ 어텐션 - 텍스트 데이터뿐만 아니라 이미지, 동영상 데이터에도 사용가능함

트랜스포머의 구조

• 입력 > 인코더 > (feature) > 디코더 > 출력

BERT

• 인코더에서 좋은 feature 값을 추출할 수 있도록 BERT를 사용함