18._AI프로그램만들기(6)_(4-6)

안녕하세요 빅데이터 정보철학 AI 프로그램 만들기 여섯 번째 시간입니다. 지난 시간에는 SQL을 중심으로 관계형 데이터베이스를 살펴보았습니다. SQL은 정형화된 표로 세상을 표현하지만 친구의 친구의 친구와 같은 관계 탐색에는 한계가 있다는 것을 살펴보았습니다. 오늘은 그 한계를 보완하는 Neo4j를 본격적으로 살펴보겠습니다. 이번 모듈의 목표는 Neo4j가 무엇인지 간략히 설명할 수 있는 것입니다. 오늘 먼저 왜 그래프 데이터베이스가 필요한지를 살펴보고

데이터베이스의 종류와 특징을 정리한 뒤 그래프 데이터베이스의 기본 개념과 온톨로지 그리고 지식 그래프가 실제로 어떻게 활용되는지를 살펴보겠습니다. 먼저 왜 그래프 데이터베이스가 필요한지를 살펴보겠습니다. SNS에서 친구의 친구의 친구를 찾으려면 어떻게 해야 할까요? SQL로 한다면 셀렉트와 조인을 사용해야 하는데 웨어 조건에서 조인을 5번 이상 해야 하므로 성능이 급격히 저하되고 쿼리도 매우 복잡해집니다. 즉, 관계가 많아질수록 관계형 DB는 약해진다는 것입니다. 반면 그래프 데이터베이스의 강점은 다음과 같습니다. 그래프는 관계를 직접 저장하고 관계 탐색의 속도가 일정합니다. 사이퍼 쿼리로는 매치 피해서 프렌드 1에서 5단계로 F까지 F.name을 return과 같이 단 한 줄로 5단계 친구를 탐색할 수 있고 성능이 유지됩니다.

이러한 차이가 생기는 이유는 SQL에서는 관계가 조인이라는 연산을 통해 매번 새로 계산되어야 하는 반면 그래프 데이터베이스에서는 관계 자체가 이미 데이터로서 저장되어 있기 때문입니다. 이제 데이터베이스의 네 가지 특징을 살펴보겠습니다. 첫째, 공유성입니다. 여러 사용자가 동시에 접근하고 활용합니다. 데이터의 중앙과 부서 간 공유, 중복 제거가 이루어집니다. 둘째, 통합성입니다. 중국을 최소화한 통합 데이터 관리입니다. 데이터의 일관성, 즉 하나의 진실을 위한 정규화 설계입니다. 셋째, 운영성입니다. 조직 운영에 필요한 데이터를 보유합니다. 비즈니스 가치, 실시간 업데이트, 업무 자동화와 관련됩니다. 넷째, 저장성입니다. 영구적으로 저장하고 관리합니다.

데이터의 지속성, 백업과 복구, 장기 보존이 이루어집니다. 이 네 가지는 어떤 종류의 데이터베이스이든 공통적으로 갖춰야 하는 기본적인 특징입니다. 이제 데이터베이스의 종류를 살펴보겠습니다. 첫째, 관계형 데이터베이스, relational 데이터베이스, RDB입니다. 지난 시간에 살펴본 SQL이 사용되는 데이터베이스입니다. 둘째, no SQL 데이터베이스, no SQL 데이터베이스입니다. 셋째, 멀티모델 데이터베이스, 멀티모델 데이터베이스입니다. 넷째, 인메모리 데이터베이스, 인메모리 데이터베이스입니다. 지금부터 이 네 가지를 하나씩 살펴보겠습니다. 먼저 관계형 데이터베이스를 다시 정리해보겠습니다. 데이터를 테이블, 행, 로우, 열, 컬럼으로 구조합니다.

그리고 키를 이용해 서로 관계를 슬립합니다. 데이터 모델이 고정되어 있어서 유연성이 떨어지며 대용량 비정형 데이터를 처리하는 데는 부적합합니다. 오라클, MySQL, PostgreSQL, 마이크로소프트 SQL 서버 등이 있습니다. 이는 지난 시간에 자세히 다룬 내용이므로 오늘은 다른 데이터베이스들과 비교하는 기준점으로 활용하겠습니다. 이제 NoSQL 데이터베이스를 살펴보겠습니다. NoSQL은 NotOnlySQL의 약자로 관계형 데이터베이스의 한계를 극복하기 위해 등장했습니다. 비정형 또는 반정형 데이터를 대규모로 분산 저장하고 처리하는 데 특화되어 있습니다. 유연한 스키마 수평적 확장의 용이성, 높은 성능을 제공합니다. 다만 관계형 데이터베이스보다 데이터 정합성의 보장이 약합니다.

이는 지난 시간에 살펴본 SQL과 NoSQL의 비교에서 다룬 내용과도 이어집니다. 이제 NoSQL 데이터베이스의 종류를 살펴보겠습니다. 첫째, KeyGap 데이터베이스, KeyBalue 데이터베이스입니다. 키와 값, 밸류의 쌍으로 데이터를 저장하는 가장 단순한 형태입니다. 레디스 AWS 다이나모 DB가 있습니다 둘째 문서 데이터베이스 도큐먼트 데이터베이스입니다 제이슨이나 XML과 같은 문서 형식으로 데이터를 저장합니다 몽고 DB 카우치 DB가 있습니다 셋째 그래프 데이터베이스입니다 데이터 간의 관계를 노드와 엣지로 표현하며 복잡한 관계 분석에 탁월합니다 네오포조제이 아마존 넵춘이 있습니다 오늘 강의의 주제인 네오포제이가 바로 이 그래프 데이터베이스에 속합니다

이제 멀티모델 데이터베이스를 살펴보겠습니다 멀티모델 데이터베이스는 하나의 통합된 데이터베이스 시스템에서 여러 데이터 모델, 즉 관계형, 문서형, 그래프 등을 동시에 지원하는 방식입니다 다양한 데이터 형태를 유연하게 처리할 수 있어서 데이터의 통합과 분석이 용이합니다 Arango DB, Azure Cosmos DB 등이 있습니다 이제 인메모리 데이터베이스를 살펴보겠습니다 인메모리 데이터베이스는 데이터를 디스크가 아닌 메인메모리에 저장하여 I/O 병목 현상을 제거하고 빠른 데이터 접근 속도를 제공합니다. 실시간 데이터 처리 및 분석에 매우 적합합니다. 다만 메모리 용량에 한계가 있고 시스템 장애 시 데이터가 유실될 위험이 있습니다. 레디스, SAP 하나 등이 있습니다.

지금까지 관계형, 노SQL, 멀티모델, 인메몰이라는 4가지 데이터베이스의 종류를 살펴보았습니다. 이제부터는 노SQL의 한 종류인 그래프 데이터베이스, 그 중에서도 네오뽀제이를 본격적으로 살펴보겠습니다. 이제 그래프 데이터베이스의 기본 개념을 살펴보겠습니다. 첫째, 노드입니다. 개체, 엔티티를 나타내며 원형으로 표현됩니다. 속성, 프로퍼티를 보유하고 레이블로 분류됩니다. 예를 들어 사람, 회사, 제품과 같은 것이 철수, 삼성, 갤럭시와 같은 구체적인 노드가 됩니다. 둘째, 관계, relationship입니다. edge로 표현되며, node 간의 연결입니다. 반드시 방향성이 있으며, 이름, 즉 유형이 있습니다. 속성을 가질 수도 있습니다. 예를 들어, works@, 즉 어디 어디에서 근무한다, 나, nose, 즉 무엇 무엇을 안다, 와 같은 형태로 표현됩니다.

셋째, 속성, property입니다. node와 관계에 대한 추가 정보로서, t value 상으로 표현됩니다. 예를 들어, 이름은 김철수, 나이는 30, 근무기간은 3년, 와 같은 형태입니다. 정리하면, 김철수라는 node가 works@이라는 관계를 통해 삼성이라는 node와 연결되고, 그 관계에는 근무기간 3년이라는 속성이 붙는 식으로 그래프 전체가 구성된다고 이해하시면 됩니다. 이제 RDF와 LPG를 비교해보겠습니다. RDF, Resource Description 프레임워크는 기본 단위가 트리플, 즉, Subject, Predicate, Object입니다. W3C 국제표준이며 시멘틱 웹에 기반합니다. 속성은 관계에 직접 부여할 수 없습니다. 적합한 분야는 링크드 데이터와 지식 공유입니다. 대표 시스템은 아파치제나, 알레고로 그래프입니다.

LPG, Labeled Property Graph는 기본 단위가 노드, 엣지, 속성이며 자유로운 구조를 가집니다. 업체별로 구현되며 네오4J가 대표적입니다. 속성은 노드와 관계 모두에 부여할 수 있습니다. 적합한 분야는 산업용 지식 그래프와 고성능 탐색입니다. 대표 시스템은 네오포제이, 아마존, 넵튠입니다. 오늘 살펴보는 네오포제이는 이 가운데 LPG 방식을 사용합니다. 이제 온톨로지, 온톨로지를 살펴보겠습니다. 온톨로지란 개념, 컨셉트와 개념 간 관계를 명시적으로 정의한 체계입니다. 즉, 도메인 지식의 공식적인 표현입니다. 구성 요소는 클래스, 즉 개념의 분류, 인스턴스, 즉 개별 사례, 속성, 즉 개념의 특징, 관계, 즉 개념 간의 연결입니다. 경량 온톨로지와 중량 온톨로지로 나뉩니다.

경량 온톨로지는 단순한 분류체계, 시소로스, 즉 유의어사전, 분류법, 즉 텍소념입니다. 중량 온톨로지는 공리, 액시점을 포함하고 추론 규칙을 정의하며 OWL 웹 온톨로지 랭귀지를 사용하고 복잡한 제약 조건을 가집니다. 이는 이전 강의에서 살펴본 심볼 그라운딩이 명시적인 구조로 표현된 것이라고 이해할 수 있습니다. 이제 전통적 온톨로지와 현대적 온톨로지를 비교해보겠습니다. 전통적 온톨로지, 즉 철학에서는 아리스토텔레스가 존재하는 것은 무엇인가? 라는 질문을 던졌습니다. 철학적 탐구로서 실체, 속성, 관계에 분류였습니다. 즉 세상의 범주를 논리적으로 분류하는 고대 철학의 시도였습니다. 존재론이 온톨로지의 어원입니다. 현대적 온톨로지, 즉 AI에서는 지식 표현, 날리지 레플리젠테이션이 중요합니다.

컴퓨터가 이해할 수 있는 형태로 지식을 표현합니다. 스탠퍼드 의료 온톨로지, 진 온톨로지, 워드넷, 즉 언어 온톨로지가 그 예입니다. 즉 AI가 추론할 수 있는 지식체계를 구축하는 것입니다. 이제 온톨로지의 상속 예시를 살펴보겠습니다. 클래스 계층, 즉 상속은 다음과 같습니다. 동물 애니멀 아래에는 포유류 매멀이 있고 그 아래에는 개 도구와 고양이 캣이 있습니다. 동물 아래에는 또한 조류 버드가 있고 그 아래에는 독수리 이글이 있습니다. 네오프제이에서는 이렇게 표현합니다. 도구에서 이재어 관계로 매멀 그리고 매멀에서 이재어 관계로 애니멀 즉 상속관계를 그래프로 표현하는 것입니다. 추론이 가능한지 살펴보면 온톨로지 추론은 도구는 애니멀이다로부터 도구는 숨을 쉰다를 추론합니다.

이는 애니멀의 속성을 상속받는 것입니다. 사이퍼코리로는 도구인 노드와 애니멀인 노드를 찾아서 도구가 이지어 관계를 통해 애니멀로 연결되는지를 확인하고 그 이름을 반환할 수 있습니다. 이것이 바로 지식 그래프의 추론 능력입니다. 제 팔란티어와 온톨로지를 살펴보겠습니다. 팔란티어 테크놀로지스는 빅데이터와 AI 분석 플랫폼 회사입니다. 창업자 피터틸은 페이팔의 공동 창업자입니다. 핵심 제품으로는 정부와 국방을 위한 팔란티어 부담, 기업을 위한 팔란티어 파운드리, AI 플랫폼인 팔란티어 AIP가 있습니다. 주요 고객으로는 미국의 CIA, FBI, 군대, 그리고 영국의 NHS, 즉 보건부가 있습니다. 온톨로지의 활용을 보면 팔란티어의 핵심 기술은 방대한 데이터에서 숨겨진 관계를 탐색하는 것입니다.

예를 들어 테러 네트워크를 분석할 때 통화, 이동, 금융 데이터를 온톨로지로 연결하여 숨겨진 관계를 발견합니다. 즉 대규모 온톨로지는 국가 안보의 핵심 도구가 됩니다. 이러한 사례는 앞서 살펴본 온톨로지의 클래스, 인스턴스, 속성, 관계라는 추상적인 개념들이 실제 세계에서는 사람과 사람, 사람과 장소, 사람과 거래를 잇는 거대한 그래프로 구현된다는 것을 잘 보여줍니다. 이제 지식그래프, 날리지그래프를 살펴보겠습니다. 정의는 다음과 같습니다. 지식그래프란 실세계의 엔티티, 즉 개체와 그들간의 관계를 그래프로 표현한 구조이다. 대표적인 지식그래프로는 구글 날리지그래프는 검색 결과의 우측 패널에 표시됩니다. 네오포제인은 그래프 데이터베이스입니다.

dbpdn은 위키백과의 지식그래프입니다. 구성 요소를 보면 개체, 엔티티는 노드이고 관계, 릴레이션은 엣지이며 사실, 팩트는 트리플입니다. 예를 들어, 아이유에서 출생지로 전주, 아이유에서 직업으로 가수와 같은 형태입니다. 활용 분야로는 추천 시스템, 질문 답변, 즉 QA, 정보 검색, 대화 시스템, 그래프래그가 있습니다. 이렇게 보면 지식 그래프, 온톨로지, 그래프 데이터베이스, 노 SQL 데이터베이스라는 네 가지 개념은 서로 독립된 것이 아니라, 온톨로지로 설계된 지식의 구조를 그래프 데이터베이스라는 노 SQL의 한 형태로 구현한 것이 곧 지식 그래프라는 식으로 하나의 흐름 위에 놓여 있다고 이해할 수 있습니다. 이제 네오포제의 현업 활용 사례를 살펴보겠습니다

첫째 추천 시스템입니다 넷플릭스에서 이 영화를 본 사람은 저 영화도 봄이라는 관계 패턴을 탐색합니다 협업 필터링과 콘텐츠 기반 추천에서 그래프 탐색이 핵심 역할을 합니다 둘째 사기 탐지입니다 금융기관에서 이상한 거래 패턴을 탐지합니다 계좌, 거래, 주소, 전화 사이의 관계 그래프에서 비정상적인 패턴을 발견하여 실시간으로 사기를 차단합니다 셋째 의약품 연구입니다 제약회사에서 약물, 단백질, 질병 사이의 관계 그래프를 만듭니다 신약 후보를 발굴할 때 기존 약물의 새로운 관계를 발견함으로써 약물의 제 목적과 연구에 활용됩니다. 이제 네오포제이로 무엇을 할 수 있는지 정리해보겠습니다. 네오포제이는 2024년 기준으로 세계에서 가장 많이 사용되는 그래프 데이터베이스입니다.

사이퍼 언어로 관계 탐색을 SQL보다 훨씬 직관적이고 효율적으로 수행할 수 있습니다. 지식 그래프 구축에서는 온톨로지와 네오포제이를 결합하여 도메인 지식을 AI가 활용할 수 있는 형태로 만들 수 있습니다. 그래프렉으로 LLM과 결합하면 더 정확하고 설명 가능한 AI 시스템을 구축할 수 있습니다. 뉴로심볼릭 AI의 심볼릭 부분에서는 네오포제이가 추론과 설명의 역할을 담당합니다. 이렇게 보면 네오포제이는 단순한 데이터베이스를 넘어서 오늘날 AI 시스템에서 의미와 관계를 담당하는 핵심적인 도구라고 할 수 있습니다. 이번 모듈의 목표를 달성하기 위한 질문을 스스로 해봅시다. 네오포제를 간단히 설명하시오. 그리고 지식 그래프를 설명하시오.

오늘은 그래프 데이터베이스가 왜 필요한지 데이터베이스의 여러 종류 그래프 데이터베이스의 노드와 관계와 속성 온톨로지와 지식그래프 그리고 네오포제이의 다양한 현업 활용 사례를 살펴보았습니다 4강에서는 정보이론, 정보기호학 그리고 SQL과 네오포제이라는 두 가지 데이터베이스를 통해 정보의 크기와 의미 그리고 그것을 실제로 다루는 도구들까지 함께 살펴보았습니다 감사합니다