영상 인식과 자연어 처리 모델
2026년 6월 17일 공유
비전과 자연어 처리 강의 요약
개요
본 강의는 컴퓨터 비전과 자연어 처리(NLP) 두 분야의 최신 모델 및 학습 전략에 대해 설명한다. 이미지 인식에서는 ResNet 기반 모델과 Transfer‑Learning, 데이터 증강, VLM(Visual‑Language Models)의 활용을 다루고, NLP에서는 토큰화, Word Embedding(Word2Vec), 언어 모델링, Transformer 기반 모델에 초점을 맞춘다.
핵심 개념
1. 이미지 인식
항목 | 내용 |
|---|---|
ResNet | 스킵 연결(skip‑connection)을 통해 깊은 네트워크에서도 학습이 용이하도록 설계된 CNN. 10‑초 모델에서 최고 성능을 보인 바 있음. |
데이터 증강 | 회전, 조명 변환, 이미지 변형 등으로 원본 이미지를 변형해 데이터셋 확장. 생성형 모델(예: GAN)도 활용 가능. |
전이 학습 (Fine‑Tuning) | ImageNet 등으로 사전 학습된 가중치를 가져와 새로운 도메인(식물, 차량 등)에 맞게 재학습. 전체 네트워크를 재학습하거나 일부 레이어만 조정. |
VLM (Visual‑Language Models) | 이미지와 텍스트 정보를 동시에 활용해 시각‑언어 연관성을 학습. 최신 예로 CLIP, BLIP 등이 있음. |
모델 구조 조정 | 필터 수, 레이어 깊이, 해상도 등 하이퍼파라미터를 도메인에 맞춰 조정. 복잡도에 따라 파인‑튜닝 전략(특징 추출만 vs 전체 재학습) 선택. |
2. 자연어 처리
단계 | 주요 내용 |
|---|---|
토큰화 | 문장을 단어/서브워드/바이트 단위로 분리. Tokenizer 종류: Word, SentencePiece, Byte‑Pair Encoding. |
수치화(인코딩) | 토큰을 정수 ID로 변환. 단순 정수는 의미를 반영하지 못하므로, 워드 임베딩이 필요. |
워드 임베딩 | Word2Vec(CBOW/Skip‑gram), GloVe 등으로 토큰을 고차원 실수 벡터로 변환. 의미적 유사성이 벡터 거리에 반영됨. |
CBOW & Skip‑gram | CBOW: 주변 단어들 → 중심 단어 예측. Skip‑gram: 중심 단어 → 주변 단어 예측. Skip‑gram이 실제 워드투백 구현에서 더 흔히 사용. |
언어 모델 | 주어진 앞 단어 시퀀스에서 다음 단어를 확률적으로 예측. RNN, LSTM, GRU → Transformer(Attention 기반)으로 전환. |
Transformer | Self‑Attention으로 모든 단어 간 관계를 한 번에 캡처. GPT, BERT, T5 등 다양한 변형이 있음. |
응용 분야 | 번역, 챗봇, 감정 분석, 정보 검색 등. 사전 학습 모델을 재학습하거나 fine‑tuning으로 도메인 특화. |
상세 노트
이미지 인식
- ResNet 구조
- 깊이(50~152 레이어)와 skip‑connection으로 학습 안정성 확보.
- ImageNet 기준 Top‑5 정확도가 98% 이상을 기록.
- 데이터 증강
- 회전, 크롭, 색상 변형, 노이즈 삽입.
- 데이터 수가 적을 때 모델 성능 향상에 핵심.
- 전이 학습
- 사전 학습 모델을 가져와 파인‑튜닝.
- 전체 재학습 vs 특징 추출기만 재학습: 데이터 규모와 도메인 복잡도에 따라 결정.
- VLM 활용
- 이미지-텍스트 매칭, 멀티모달 태스크.
- CLIP: 이미지와 텍스트 임베딩을 같은 공간에 매핑.
자연어 처리
- 토큰화 과정
- Word Tokenization: 단어 단위 분리 (한국어는 형태소 분석 필요).
- Byte‑Pair Encoding: 빈번한 바이트 쌍을 합쳐 서브워드 생성.
- SentencePiece: 언어 비의존적인 서브워드 토크나이저.
- 인코딩과 임베딩
- 정수 ID → One‑Hot → Dense vector(Word2Vec) 변환.
- One‑Hot은 희소 벡터; Dense vector(예: 300‑차원)로 압축.
- Word2Vec 모델
- CBOW: 주변 단어 윈도우 → 중심 단어 예측.
- Skip‑gram: 중심 단어 → 주변 단어 예측.
- 학습 목표: 의미적 유사성이 벡터 거리에 반영.
- 언어 모델 전환
- RNN → Transformer: Attention으로 O(N²) 계산, 병렬 처리 가능.
- GPT: Decoder‑only, autoregressive 학습.
- BERT: Encoder‑only, masked‑language‑modeling.
- 응용 예시
- 번역: Encoder‑Decoder 구조(Transformer 기반).
- 감정 분석: 사전 학습 모델 fine‑tuning 후 분류 헤드 추가.
- 챗봇: GPT‑시리즈 활용해 대화 생성.
요약
- 이미지 인식: ResNet과 전이 학습이 핵심, 데이터 증강으로 성능 향상, VLM이 멀티모달 적용 가능.
- 자연어 처리: 토큰화 → 인코딩 → 임베딩 → 언어 모델. Word2Vec에서 Transformer로 발전하며, 사전 학습 모델을 활용한 fine‑tuning이 표준.
- 두 분야 모두 전이 학습과 모델 구조 최적화가 성능 향상의 주요 수단이다.