Azure OpenAI 실습과 LLM 활용
2026년 7월 12일 공유
Azure OpenAI 기초 실습
개요
- Azure Portal을 통해 Azure OpenAI 리소스를 만들고, LLM (LLM + NLP) 모델을 배포·실행해보는 실습입니다.
- 주요 목표는 GPT‑3.5 기반 LNM(대화형 모델) 배포, 채팅 기능 활용, 파라미터(토큰, 온도, 상위‑p 등) 조정 방법을 익히는 것입니다.
핵심 개념
용어 | 의미 |
|---|---|
LLM | Large Language Model – 175 억 개 파라미터를 가진 대규모 언어 모델. |
NLP | Natural Language Processing – 사람 언어를 컴퓨터가 이해·생성하는 기술. |
GPT‑3.5 | OpenAI에서 제공하는 최신 언어 모델 버전. |
트랜스포머 | Encoder‑Decoder 구조를 가진 모델, 토큰 간 관계를 학습해 다음 단어 예측. |
토큰 | 단어를 숫자(벡터)로 변환한 단위; 모델이 처리하는 기본 단위. |
Attention | 토큰 간 연관성을 파악해 다음 단어를 예측하는 메커니즘. |
Azure OpenAI | 마이크로소프트 Azure 클라우드에서 OpenAI 모델을 제공·배포·호스팅할 수 있는 서비스. |
LNM | Language NLP Model – 자연스러운 대화를 가능하게 하는 채팅 전용 모델. |
상세 내용
- Azure OpenAI 리소스 생성
오픈 AI를 검색해 Azure OpenAI 만들기.
- 구독은 Azure First Students, 리소스 그룹 선택, 지역은 EastUS(할당증가 기준).
- 가격은 Standard S0.
- 배포가 완료되면 오픈 AI 리소스 페이지에서
사용을 선택.
- LNM 모델 배포
- 좌측 메뉴의 배포 → 기본 모델 배포 클릭.
- GPT‑3.5 버전 선택 후 배포 이름 지정(예: “GPT‑3.5‑Silver‑01”).
- 토큰 속도를 10 K 이하로 설정해 비용을 제한.
- 배포 완료 후
채팅기능 사용 가능.
- 채팅 설정
- 배포 모델 드롭다운에서 방금 배포한 LNM 선택.
- 모델 지침(프롬프트) 입력 예:
당신은 고객 지원 담당자입니다. 친절하고 정확하게 답변하십시오.- 변경 내용 적용 후 질문 입력.
- 파라미터는 다음과 같이 조정:
- 토큰 제한: 800 (대부분 영어 기준 1 토큰 ≈ 4 자)
- 온도: 낮을수록 결정적, 높을수록 창의적
- 상위‑p: 비슷한 역할로 함께 조정 가능
- 중지 시퀀스: 특정 단어(예: “아시아”)가 나오면 응답 종료
- 빈도/상태 패널티: 반복 방지·단어 빈도 조절
- 실습 팁
- 대화 기록은 세션에 남아 있으므로 주제 변경 시 새 세션을 시작하면 혼란을 줄일 수 있음.
- 역할 부여가 많을수록 모델이 이해하기 쉽지만, 너무 길면 오버플로우 위험.
- 비용 관리: 리소스는 실습 후 반드시 삭제(삭제 메뉴 → 리소스 선택 → 삭제).
- 실습 결과 예시
- “호랑이가 뭐야?”에 대해 역할 지침(동물 설명, 사극 말투)과 정의를 입력하면
- 첫 시도에서는 행품샘 관점 답변
- 재시도 후 생생 관점으로 바뀌어 말투도 사극 스타일이 반영됨.
- “생성형 AI 장점 세 개 말해줘” 요청 시 모델은 앞선 대화(생성형 AI 정의)를 활용해 적절히 응답.
마무리
- Azure OpenAI를 이용해 LLM 기반 대화 모델을 배포하고, 파라미터를 조정하며 실제 챗봇을 테스트해 볼 수 있었습니다.
- 실습 후에는 리소스를 꼭 삭제하여 불필요한 비용이 발생하지 않도록 합니다.