AI 에이전트의 발전과 이를 뒷받침하는 AI 인프라
2026년 11월 4일 공유
AI 에이전트의 발전과 이를 뒷받침하는 AI 인프라
개요
유형: 발표
NVIDIA와 폭스콘의 협력 및 AI 산업의 흐름을 바탕으로, AI가 단순한 질의응답을 넘어 업무를 계획하고 도구를 활용해 실행하는 에이전틱 AI로 발전하고 있음을 설명한다. 이러한 변화는 생산성을 높이는 한편, 연산량과 비용을 크게 늘리므로 효율적이고 안전한 AI 인프라가 중요해진다.
핵심 메시지
AI의 가치는 모델의 답변 능력에만 있지 않다. 여러 에이전트와 도구가 협력해 복잡한 업무를 끝까지 수행하도록 만들고, 그 과정의 속도·비용·보안을 함께 최적화하는 것이 중요하다.
주요 내용
- AI 발전 단계
- 컴퓨터 비전과 객체 탐지에서 언어 모델로 발전했다.
- 현재는 목표를 이해하고 여러 단계를 수행하는 에이전틱 AI로 확장되고 있다.
- 다음 단계로는 AI가 물리적 세계에서 작업을 수행하는 로봇·물리적 AI가 제시된다.
- 에이전트 기반 업무 처리
- 사용자의 지시를 해석하고, 웹·사내 문서·이메일·개인 자료 등에서 필요한 정보를 찾는다.
- 자료를 읽고 분석·요약한 뒤, 다음 행동을 판단하고 도구를 호출해 결과물을 만든다.
- 표, 문서, 스프레드시트, 프레젠테이션 생성이나 사내 시스템 연계가 활용 사례다.
- 여러 단계의 작업을 자동화하면 수 시간 걸리던 업무를 수십 분 이내로 줄일 수 있다.
- 생산성 향상
- 코딩 생성과 코드 검토를 통해 개발자의 생산성을 높이고, 소프트웨어 개발과 배포를 가속할 수 있다.
- AI가 프로그래머를 단순히 대체한다기보다 업무 처리 능력을 증폭하는 방향으로 설명된다.
- 여행 일정 수립처럼 개인 생활에서도 여러 웹사이트를 조사하고 정보를 종합하는 수고를 줄일 수 있다.
- 연산량과 비용
- 단일 질의응답보다 에이전트 간 협업은 자료 검색, 분석, 도구 호출 등 여러 단계를 거쳐 연산량과 토큰 사용량이 커진다.
- 발표에서는 에이전틱 AI가 기존 언어 모델 방식보다 토큰 수요를 약 5~30배 늘릴 수 있고, 복잡한 AI 작업에는 훨씬 큰 연산력이 필요하다고 설명했다.
- GPU와 CPU 등 각 작업에 적합한 연산기를 배치하고, 시스템 전반을 최적화해야 비용과 응답 시간을 관리할 수 있다.
- 보안과 도구 통제
- 에이전트가 계정 정보나 결제 정보에 접근하거나 실제 작업을 수행할 수 있으므로, 도구의 보안과 권한 관리가 필수다.
- 허용할 행동을 설정하고 실행 전에 확인하며, 감사 기록을 남기는 방식으로 통제력을 높일 수 있다.
- NVIDIA의 인프라·소프트웨어 접근
- 언어 모델 추론과 에이전트의 도구 실행을 포함해 AI 시스템의 여러 구성 요소를 최적화하는 방향을 소개했다.
- NVIDIA NIM은 최적화된 추론 서비스, Dynamo는 추론 작업을 지원하는 구성 요소로 제시됐다.
- 발표에서는 OpenShell을 에이전트 실행을 통제하고 감사 기록을 관리하는 보호 계층으로 설명했다.
- 최신 AI 시스템은 칩 성능뿐 아니라 모델 간 통신과 서버·네트워크 구성까지 전체 시스템 성능을 좌우한다. 실제 벤치마크를 통해 인프라 성능을 평가해야 한다.
세부 정리
- 에이전틱 AI의 업무 흐름 지시 이해 → 관련 정보 탐색 및 수집 → 자료 분석과 요약 → 다음 단계 판단 → 도구 실행 및 결과 생성의 흐름으로 작동한다. 사전에 정해진 단순한 절차만 따르는 것이 아니라, 요청에 맞춰 필요한 자료와 단계를 선택하는 점이 특징이다.
- 성능 평가의 기준 하드웨어의 이론적 사양만으로 실제 효율을 판단하기 어렵다. 응답 시간, 처리량, 에너지 효율, 토큰당 비용 등 실제 서비스 환경의 벤치마크가 중요하다.
- 향후 방향 AI 에이전트가 개인과 기업의 업무에 더 깊이 통합될수록, 생산성 향상과 함께 안전한 도구 사용 및 비용 효율적인 인프라 구축이 핵심 과제가 된다.