DeepX NPU: 저전력 온디바이스 AI 솔루션

오늘의 영업마케팅 담당자 전효진이라고 합니다. 오늘 저도 감사하게 말씀드려야 되는데요. 오늘 이 자리에 초대해 주셔서 에이트리옥 환원을 위해 다시 한번 감사 말씀드리고요. 제목은 지금 온 디바이스하고 피지컬 AI 두 개를 잡았고요. 이거를 저희가 표현을 어떻게 해볼까 해서 요즘 유행하는 쇼츠 영상은 제가 AI로 한 40초짜리 한 번 만들었습니다. 조건은 피지컬 AI 시대에 맞게끔 저전력이다 보니까 제한적인 배터리 환경이랑 그 다음에 요즘에 생활안전 관련이 많이 화도가 되다 보니까 그거 관련해서 제가 이제

초초 40초짜리 만들었고요. 그리고 약간 미진한 영상입니다. 그리고 경쟁사는 일단 많이 사용하고 있는 엔비디아 제품으로 한번 표현을 했습니다. 한번 잠깐 봐주시기 바랍니다. 휴머노이드 로봇의 달리기 시합이 시작됩니다. 탑재된 칩에 따라 전력 소비가 다릅니다. 실제 그렇지만 압도적인 초저전력으로 완주해 사용합니다. 완벽한 전성비, 화재 현장에서 조난자를 구조합니다. 배터리 소모가 극심한 상황. 제슨토르는 작동을 멈춥니다. 디벡스는 조난자를 찾아낸다. 실제 소중한 시험은 있는데 다른 키워드가 아니라 디벡스의 작전과 엔비디아 작전을 프로로이드하고 생활하기 쪽에 그리고 실제 지금 보시는 것 같은 경우는 이미 다른 글로벌 회사 같은 경우는 학교 쪽에서 사용하고 있는 AI 기능을 포함해 있다. 이거는 저희가 300만 대 관리기 중으로 같이 포함되어 있다 보니까 같이 자동으로 만들어졌는데 우선 지금 이런 것처럼 지금 온 디바이스에서 뭔가 AI를 한다는 것 자체가 보통

저전력 기반에서 사용하는 부분이 있다 보니까 저희 딥엑스 제품을 소개 드릴 수 있을 것 같고요. 저희 딥엑스 제품 같은 경우는 우선 글로벌에서 엔비디아 다음, 그러니까 엔비디아라든지 암, 홀컴 데뷔했을 때도 이 NPU 기술 특허가 글로벌 1위에 대한 기술 NPU 특허를 가지고 있고요. 여기 바탕으로 해서 저희가 가지고 있는 로드맵은 지금 현재 두 가지입니다. 그래서 현재 보시는 것처럼 비전 쪽 관련된 로드맵은 현재 작년 하루부터 양상을 해 가지고 판매하고 있고요. 모델명은 DXM1 이라는 식으로 추천돼서 삼성 5nm 공정으로 5W 미만에서 실제 사용할 수 있는 제품이고 그다음에 이 제품이 파생이 돼서 서버 향으로는 PCR 카드 타입이 두 가지가 나와 있습니다.

그리고 내년 1Q 정도가 되어야 될 것 같은데요. 일단 생성형 LNM 칩으로 삼성 2nm에서 5W 미만으로 80Tops에 21년 파라미터를 내장시킬 수 있는 운디바이스 LNM 칩이 나올 계획입니다. 저희 제품은 저전력 운디바이스에 활용하는 제품이다 보니까 보시는 것 같이 라인업은 지금 모듈화 타입으로 바로 사용할 수 있는 DXM1하고 M1M 제품. 배치 AL 박스 타입의 세 가지가 출시되어 지금 위테논, 로봇 분야라든지 스마트 모빌리티 여러 가지 사용품에서도 사용이 가능하시고요. 그 다음에 오른쪽은 서구의 암이나 워크 세션, 배치 PC에서도 사용할 수 있게끔 지금 H1 VNPU랑 H1 카톨루가 출시되어 판매를 하고 있습니다.

실제 VMPU는 골드 타입으로 해서 실버보다 비싼 제품입니다. 그런데 이유인즉은 기존의 BG압 관련된 영상에서는 저희는 인퍼런스 추론 처리만 하고 있고 보통 이미지라든지 영상에 대한 부분 코덱에 대한 도움, 그러니까 쉽게 말하면 디코딩 성능을 CPU나 GPU 도움을 받아야 됩니다. 그런데 지금 H1, VMPU 같은 경우는 저희가 디코딩 채널을 아예 확보를 시켜놨습니다. 그래서 기본 64채널에 대한 2HD 30프레임, 64채널 디코딩을 지원하고 그다음에 50터수의 MPU가 들어가서 같이 인퍼런스 추론까지 할 수 있는 제품이라서 보이지탭으로 해서 출시했을 때입니다.

이 제품에 대해서 저희의 MPU가 영상 분양에서는 딱 두 가지만 정확하게 적용되는데요. 보통 GPU 대비했을 때 정확도 성능이 얼마나 잘 잡혀있는지 검사합니다. 그다음에 초상 프레임 속도가 GPU 대비했을 때 얼마나 빨리 팩스쳐 할 수 있는 프레임 속도를 저희가 지금 보여드리고 있고요. 통상적으로 엣지 디바이스에서는 엔비디아 제슨을 많이 사용하는데 제슨 대비했을 때 저희가 파워풍스 시에 대비했을 때도 성능이 떨어지지 않고 더 월등한 기능을 보여주고 있고요. 그다음에 기존 현상 관련해서 이미 알고 계시겠지만 헬로 데비했을 때 저희가 워트 미만에서 저전력이라는 것을 직관적으로 보여드리기 위해서 이 번터 배치마크라는 것을 저희가 시행하고 있습니다. 같은 AI 롤러 버전에서 도로를 했을 때 보시는 것 같이 사장 체온에 가까운 탐지 모드를 유지하고 있고요. 헬로 제품 같은 경우는 전력 소비자가 워낙 높다 보니까 고유율 제품으로 들어가 있습니다. 그렇다고서 디베스 제품이 발열이 없는 건 아닙니다. 저희들도 발열이 있습니다. 무거운 모델

저희가 75도 정도까지는 올라가고 있는 상황이기 때문에 그래도 슬픈 걸리지 않고 AI를 원 디바이스에서 돌릴 수 있게끔 기술 지원을 하고 있습니다. 저희 로드맵은 간단하게 한 장을 보여드리게 되면 왼쪽은 인퍼너스 추놈용으로 나와 있는 모듈타입인 DXM1 2280 타입이고요. 그 다음에 DXM1의 칩인 2242 타입이고요. 그 다음에 DXM1 25TOPS가 4개가 칩이 들어가 있는 H1 카드 파토르라고 해서 백터스적인 제품이 있고 오른쪽에는 아까 말씀드렸던 디코딩 성능을 64000원 기본 확보하고 있는 모니터스 제품의 VMPO 마이너미가 있습니다.

PCI 카드 타입은 현재 저희 내부적으로는 1세대 제품이라고 보실 수가 있고요. 저희가 이 제품에 상용화되는 고성능 제품이 올해 하반기 출시가 될 것입니다. 앤더츠 모드 같은 경우는 비전 영상 쪽에 착각이 되었다 보니까 왓츠다 FPS에 대한 성능치를 굉장히 중요하게 말씀을 드리고 있고요. 그게 엔비디아 내비에 컨펌 내비에 헬로 내비에 있어서 보시는 장소같이 왓츠다 FPS 성능이 다른 공연사들에 굉장히 월등하면서 사이즈라든지 그 다음에 전용 소량자의 부분도

론디바이스에서 쓸 수 있는 고성능을 가지고 있습니다. 그리고 PCI 카드 같은 경우는 선별관제나 여러가지 4,000에 대한 부분 기능을 엔비디아 GPU 카드에서 사용하고 계시는데 평상적으로는 A5000을 서버 따라서 많이 사용하고 계십니다. 근데 보통 GPU 카드에서 디코디 성능을 사용한다고 했을 때 평균 한 장당 25,000에서 30,000 정도 돌리고 있는 걸로 알고 있는데요. 저희 보시는 것 같이 VMP 같은 경우는 아까 말씀드렸던 것처럼 VMP는 P30프레임 기준 64채널을 확보하고 있기 때문에 그러한 채널 수

성능이라든지 그 다음에 싱글 와이드 제품이라 보니 다른 GPU 대비 굉장히 PCI 카드 슬롯에 여유가 있다면 확장성 그 다음에 다른 NPU 카드 저희 DBS NPU 카드하고 다 호환할 수 있는 병렬처리도 다 가능한 기술지원을 하고 있습니다. 이 영상은 요즘에 스마트 CT의 카타, CT 비교와 여러가지 선별관제 다 포함되어 있는데 카메라스가 늘어나면 늘어날수록 전력 확보라든지 그 다음에 이 서버를 사용할 수 있는 전산식 확보가 굉장히 필요한데 기존의 선별관제에서 사용했었던 제품들은 다 CPU입니다. 그런데 이거를 저희 NPU로 교체한다 했을 때

보시는 것 같이 굉장히 TDP를 맞출 수 있고 서버 보통 선대를 기준한다고 했을 때는 저희가 과정에서 지킬 때 지킬 40장 노트로 갔는데 보시면 추렁 처리만 한다면 저희 배톱스 자리 8장 정도면 최소 1000채널을 커버하는 것 같고요 만약 디코딩 기능까지 필요하다 할 경우는 16장 정도로 해서 1000채널을 커버하는 것 같기 때문에 지자체라든지 전력이라든지 공간적인 부분 여러 가지 이슈가 있다고 하시는 분들은 이 GPU가 아니라 MP로 활용해서 영상반제 적용하거나 아니면 간단한 스마트필팅실에 어디에도 적용이 가능하구요 또한 전전력이다 보니까 상성외출에 대한 부분도 굉장히 문제는 가져갈 수가 있습니다

이 부분을 제가 한국전력 기준으로 해서 계산한 것 같다는 것을 뽑았고요. 이것은 사농용 전기요금이 아니라 가정용 전기요금으로 간단하게 산정을 해봤습니다. 그래서 천 채널을 서버로만 구산한다면 보시는 것처럼 일련 전기요금이라든지 와트 수가 굉장히 차이가 많이 납니다. 그리고 이것에 대한 부분을 제가 모든 지피우 카드로 산정을 해봤는데 저희가 와트당 전력 소비량 자체가 굉장히 낮고 하다보니까 보시는 것처럼 거의 상위에 포지셔되어 있습니다. 이러한 저희 딥엑스 플랫폼 자체는 보시는 것처럼 엣지 쪽 디바이스 장비 뿐만 아니라 선별관지 쪽에서도 다양하게 사용할 수 있는 모든 라인업을 가지고 있다고 말씀드릴 수 있습니다.

두번째로는 아까 말씀드렸던 2세대 제품이 DXM2에 대한 LLH 로드맵인데요. 어쨌든 저희 DXM2 제품은 피지컬 AI 시세에 맞게끔 저희가 준비를 하고 있고요. 보시는것같이 로드맵에 대한 스펙은 80토스 성능의 삼성 2nm 공정입니다. 삼성 2nm 공정을 저희가 채택하고 계약한 이유가 이 100빌리어 파라미터라고 하지만 액티비 파라미터가 지금 보통 20빌리어 안에서 다 움직이는데 그걸 저희가 5와트 미만에서 다 넣어서 온디바이스 안에서 일단 데이터센터에 데이터센터 로그하지 않고 순수하게

그거를 온 디바이스 안에서 사용할 수 있게끔 하기 위해서 저희가 삼성 인하 공정을 채택했구요. 그 다음에 메모리 사이즈는 FDDD5로 32GB가 2개가 장착이 되어서 64GB가 장착이 되어있습니다. 온 디바이스 안에서 사용할 수 있다고 하면 정말 말고도 많은 일을 할 수 있다고 생각하구요. 그 다음에 도안적인 이슈에 대한 부분도 해결이 가능할 거라고 대칭을 합니다. 간단하게 저희가 성능 테스트를 했었을 때 평균 25에서 30TP에서 토큰 퍼센터에 대한 성능이 지금 나와있는 상황이구요. 이 부분은 저희 아까 말씀드렸던 것처럼 목표는 올해 Q4이지만 매년 1Q 정도의 고객분들한테 샘플로 테스트할 수 있게끔 저희가 준비할 예정입니다.

이러한 기술력을 바탕으로 해서 에코 시스템을 많이 확보하는 상황이고요. 다양한 고객사와 파트너사들을 통해서 기술 지원이라든지 서비스를 하고 있는 상황입니다. 저희 딥엑스 MPU로 활용하기 위해서는 기본적으로 SDK를 활용하셔야 되는데요. 기본적으로 MPU 회사들은 기존에 개발했던 MBS 개발했던 MBS로 명안을 해보기 위해 퀴스로 한 것이고 그리고 저희 딥엑스 홈페이지에 가시면 SDK랑 모델주 성능력에 대한 데이터 파스를 다 우축을 해놨습니다. 그래서 편하게 SDK 다운로드 받으셔서 자소한 선활로 양착할 수 있게끔 저희 딥엑스 MPU로 구매하셔서 사용할 수 있게끔 준비가 되어있기 때문에 편하게 사용하시기 바랍니다.

이것은 한가지 저희가 계속 CS에 나가고 있는데 맨 오른쪽 상단에 저희가 표시했던 C-SPAC 제품을 저 제품이 아마 제가 이런 게이트웨이 단순 단말기 단계를 했습니다. 그런데 저 제품에 저희 DBEX N2 모듈 자체를 장착만 했다고 해서 CS 최고 혁신상을 받아보았습니다. 기존에 상무가 되었던 것에 저희 모듈 하나 꺼졌다고 해서 혁신상을 받아서 저희들도 너무 좀 의아해서 하나 좀 연았던 장표이고요.

저희가 지금 현재 작년부터 양산을 시작해서 글로벌 대비전을 통해서 국내부터 시작해서 여러 국가에 판매를 시작하고 있고 이미 TV도 진행이 돼서 매출 발생하고 있습니다. 저희가 2년 동안 거의 다리품을 얼마나 많이 팔았는지 장피로 만들었는데요. 저희가 국내 지백스의 MP로 홍보하기 보다는 글로벌적으로 많이 홍보를 하다 보니까 보시는 것 같이 2년간 한국은 한 2,000km, 대만은 144,000km, 미국은 미주온은 16만km, 유럽은 48만km, 도웨의 아벌스 같은 경우는 48만km, 보시는 것 같이 중국은 36만km 정도를 다리품 팔면서 열심히 지백스의 제목을 환불하고 영업을 했습니다.

저희 DBX 제품 가지고 현재 양산 개발이 완료된 업체들이라든지 EBC 제품 만드는 업체들 같은 경우도 보시는 것처럼 현재 제일 큰 시장의 ITS 시장을 보고 있고요. 지금 ITS에서 엣지 쪽 디바이스 같은 경우는 보시는 것처럼 엔비디아 제스는 제일 많이 사용하고 계십니다. 그런데 이러한 제품을 제 모듈 제품으로 교체를 시켜가지고 바로 상용화해서 사용할 수 있는 상황이고요. 또 하나는 어린이 안전 구역에 대한 부분도 엣지 단의 디바이스로 많이 사용하고 계십니다. 이 부분도 보시는 것처럼 엔비디아 제품을 사용하고 계신데 모쥬얼화 시킬 수 있게 저희 DBX로 포팅 가능하시고요. 그 다음에 도로공사 ITS도 가능하십니다.

또 하나는 저희가 준비하고 있는 철도층하고 글로벌 쪽에 대한 사업 준비 중 하나가 지금 다 오픈을 못 해드리는데 지금 이러한 기차 쪽에 관련된 부분하고요. 그 다음에 교통 쪽 안에 내부에 사건사고가 되게 많기 때문에 이런 부분도 저희 DBX-MP를 활용하시게 되면 바로 상용화할 수 있는 부분도 있습니다. 추가적으로 아까 말씀드렸던 게이트웨이 장비의 DBX-MP 모듈을 사용해서 다양한 환경에서 LTE 모듈이라든지 다른 네트워크 환경에서도 비전 AI 서비스를 할 수 있게끔 저희가 다양하게 인프라를 준비를 해놨습니다.

그리고 이거는 이번에 국채과제를 통해서 했던 사업 중 하나가 양돈입니다. 그런데 이 양돈 사업 플러스 그다음에 무사 그다음에 양계 이게 국내를 벗어나서 글로벌에도 굉장히 확대할 수 있는 시장이기 때문에 저희 같은 경우는 지금 농협중앙회하고 미팅을 계속하고 있습니다. 그래서 농협중앙회를 통해서 이러한 서비스를 확대해서 국내 시즈부터 시작해서 해외 판매할 수 있는 여러 가지 포지션을 준비하고 있고요. 그다음에 이거는 기존에 저희가 많이 광고로 쓰고 있는데 현대 로보틱스 앱에 달리의 자율주행 로봇에 저희 디베엠피우가 위에 아래 두 개 카메라에 실제 사용을 하고 있습니다. 그래서 보시는 것 같이 얼굴에 대한 객체의 이시 분석이라든지 사람에 대한 분석을 라이가 센서 기반도 사용을 하지만 비전 기반으로 해서도 사용할 수 있게 저희가 들어가 있는 제품입니다.

그리고 업체의 명의를 주어 달라고 주셨는데요. 보시는 것처럼 실제 골프 스윙 연습 쪽에서도 사용할 수 있게 저희 제품이 들어가 있고요. 이미 제품 개발도 끝난 상황입니다. 그리고 저희가 글로벌 쪽으로는 HP 쪽과 협업이나 기술 개발을 같이 하고 있는 것 중 하나가 로드 스펙처럼 화상회의 시스템 도시의 기존의 홀컴 CPU를 사용하고 있던 것을 저희 지금 DBEX NPU로 사용하려고 같이 개발을 하고 있는 중이고요. 그다음에 프린터 쪽 같은 경우는 NETCHEK이 있고 하고 캐논 쪽에 OCR 기능이라든지 그다음에 저희가 로드 맵에는 오픈을 안 시켰지만 저희 DX M1 자체가 LLM도 지어놓은 것입니다.

큰 LNM은 아니고요. 스몰 랭기지로 해서 이미 일전 7B 모델이 돌아가기 때문에 지금 H2에서는 그 제품을 테스트를 같이 하고 있으니까 출석이 완료되었습니다. 그리고 보시는 것 같이 A2 컴퓨터하고 전자칠판에다가 실제 학생들이 출석을 안 해도 AI가 출석이 완료되었습니다. 내지는 한국에 발생됐을 때 교무실의 선생님한테 알려줄 수 있는 이러한 인프라 자체를 저희가 준비하기 위해서 A2 컴퓨터하고 출석이 완료되었습니다. 그리고 보시는 것 같이 다양한 로드맵의 유저 케이스로 해서 스마트 팩토리, 물류센터 안전 쪽 관련에 대해서도 많이 사용하기 때문에 다양한 시장에서 저희 DBS 앱을 적용을 해서 사업화 공개하고

검토를 한번 해 주셨으면 감사하겠습니다. 그리고 언제든지, 저희 아까 얘기 들었는데 저희는 한 개도 팔아요. 모두를 한 개도 팔기 때문에 그런 거 없지 않으시고 저랑 언제든지 주실 수 있을 것 같습니다. 감사합니다.