머신러닝 기초: 선형 모델과 활성화 함수

개요

강의에서는 선형 모델(Logistic Regression, Softmax)과 그 핵심 구성요소인 활성화 함수(tanh, sigmoid)와 손실 함수를 소개하고, 최적화 기법인 SGD 및 정규화(L1/L2) 방법을 다룹니다. 또한, 평가 지표와 시험 대비 팁을 제공하며, 실전 예시와 코드 구현에 대한 언급이 포함됩니다.

핵심 개념

개념	핵심 내용
활성화 함수	- tanh: 입력을 -1~~1 범위로 변환, 중앙 정규화에 유리.<br>- sigmoid: 확률 해석이 가능, 0~~1 범위.
손실 함수	- 로지스틱 손실(Binary Cross Entropy): 이진 분류에 사용.<br>- 소프트맥스 손실(Categorical Cross Entropy): 다중 클래스 분류에 사용.
최적화	- SGD(Stochastic Gradient Descent): 학습률을 조정해 가며 파라미터 업데이트.<br>- Momentum, Adam 등 변형 기법은 언급되지 않았지만 일반적임.
정규화	- L1 정규화: 희소성 부여.<br>- L2 정규화: 과적합 방지.
평가 지표	- 정확도(Accuracy), 정밀도(Precision), 재현율(Recall), F1-score 등.
실전 팁	- 코드 예시는 최소화하고 개념 이해에 초점.<br>- 시험은 객관식 중심, 일부 주관식 예상.

상세 노트

1. 선형 모델 구조

입력 벡터 → 선형 결합(w·x + b) → 활성화 함수 → 출력
Logistic Regression: sigmoid → 2-class 확률
Softmax: 다중 클래스 확률 분포

2. 활성화 함수

tanh: tanh(z) = (e^z - e^-z)/(e^z + e^-z)
sigmoid: σ(z) = 1/(1+e^-z)
선택 시 데이터 분포와 계층 깊이를 고려

3. 손실 함수 정의

분류	손실식	비고
이진	`- [y log σ(z) + (1-y) log (1-σ(z))]`	Binary Cross Entropy
다중	`- Σ y_i log softmax(z)_i`	Categorical Cross Entropy

4. 최적화 과정

SGD: w ← w - η ∇L(w)
학습률 η : 초기값 0.01~0.1, 필요 시 감소
배치 크기: 32~256, 메모리와 수렴 속도 고려

5. 정규화 기법

L1: λ Σ |w_j| → 희소 모델
L2: λ Σ w_j^2 → 부드러운 가중치 감소

6. 코드 예시 (Python / PyTorch)

import torch
import torch.nn as nn

class LogisticModel(nn.Module):
    def __init__(self, input_dim):
        super().__init__()
        self.linear = nn.Linear(input_dim, 1)
    def forward(self, x):
        return torch.sigmoid(self.linear(x))

model = LogisticModel(10)
criterion = nn.BCELoss()
optimizer = torch.optim.SGD(model.parameters(), lr=0.01)

7. 시험 대비 팁

시간 관리: 1시간 시험, 15분은 예비 풀이.
객관식: 주요 개념(활성화, 손실, 정규화) 중심.
주관식: 손실 함수 도출, 정규화 효과 설명 예상.

8. 마무리

모델 이해보다 개념 파악이 핵심.
실습을 통해 각 함수의 시각적 효과를 직접 확인.
정규화와 최적화 기법은 과적합 방지에 필수.

핵심 기억:

tanh과 sigmoid는 출력 범위가 다르므로 상황에 맞게 선택.

Softmax는 클래스 간 확률 분포를 제공, 다중 클래스 문제에서 필수.

SGD와 정규화는 모델 성능을 안정화시키는 핵심 도구임.

시험족보