14._빅데이터_정보철학_구성적 정보철학 정보이론(2)_(4-2)

안녕하세요. 안녕하세요. 빅데이터 정보철학, 구성적 정보철학, 정보이론 두 번째 시간입니다. 지난 시간에는 샤넌의 정보이론, 즉 비트와 엔트로피라는 개념을 통해 정보를 양쪽으로 측정하는 방법을 살펴보았고 샤넌이 의미를 배제했음에도 오히려 그것이 정보이론을 보편적인 학문으로 만들었다는 역설도 살펴보았습니다. 오늘은 그 정보가 실제로 어떻게 전달되는지를 보여주는 샤넌의 일반적인 통신 시스템 도식을 중심으로 살펴보겠습니다. 이번 모듈의 목표는 샤넌의 일반적인 통신 시스템의 다이어그램을 설명할 수 있는 것입니다.

오늘 먼저 이 통신 시스템을 이루는 5가지 요소를 살펴보고 부호화와 복호화의 목적을 살펴본 뒤 이러한 통신 시스템의 도식이 생물학적 통신과 사회적 통신 그리고 오늘날의 AI 에이전트에까지 어떻게 확장되어 적용되는지 살펴보겠습니다. 먼저 일반적인 통신 시스템의 5가지 요소를 살펴보겠습니다. 첫째, 정보 원천, 인포메이션 소스입니다. 수신 장치에게 전달될 메시지나 메시지의 열을 생산합니다. 둘째, 송신기 트랜스미터입니다. 채널로 전송에 적합한 신호를 생산하도록 메시지를 처리합니다. 셋째, 채널, 채널입니다. 송신기에서 수신기로 신호를 전송하는 매체입니다. 이때 자봉원천, 노이즈소스가 함께 작용하여 전송 중 신호에 의도치 않은 간섭이 더해질 수 있습니다.

넷째, 수신기, 리시버입니다. 송신기의 처리를 역으로 처리하여 신호부터 메시지를 재건, 즉, 복호화합니다. 다섯째, 목적지, 베스티네이션입니다. 메시지가 의도하는 사람이나 대상입니다. 정리하면 정보 원천에서 송신기로, 송신기에서 채널을 거쳐 잡음이 더해진 채로 수신기로, 그리고 수신기에서 목적지로 이어지는 흐름이 바로 통신 시스템의 기본 구조입니다. 이 5요소는 다음 슬라이드에서 보게 될 도식의 기초가 되며 앞으로 이 강의에서 여러 번 다시 등장하게 될 가장 중요한 틀입니다. 이제 부호화와 복호화의 흐름도를 살펴보겠습니다. 화면에는 샤넌의 통신 시스템 도식이 그림으로 제시되어 있습니다. 왼쪽에는 정보 원천, 인포메이션 소스가 있고 그 옆에 송신기 트랜스미터가 있습니다.

정부 원천에서 나온 메시지 즉 코드는 송신기에서 부호와 코딩 과정을 거쳐 신호, 시그널로 변환됩니다. 이 신호는 화살표를 따라 채널을 통해 전달되는데 부식의 아래쪽에는 별도의 사각형으로 잡음 원천 노이즈 소스가 그려져 있고 여기서 위쪽으로 화살표가 올라가 채널 중간에 신호와 합쳐지면서 수신된 신호, 리시브 시그널에 영향을 줍니다. 이 수신된 신호는 부식의 오른쪽에 있는 수신기 리시브로 들어가고 수신기는 복호와 디코딩 과정을 거쳐 다시 메시지 즉 코드로 되돌립니다. 그리고 이 메세지는 도식의 맨 오른쪽에 있는 목적지 데스티네이션에 도달합니다. 이러한 부호화와 복호화의 목적은 표준화, 압축, 오류정정, 암호화입니다.

샤넨의 이 도식은 기호학과 커뮤니케이션 모델로써 매우 광범위하게 사용되고 있습니다. 이 그림을 머릿속에 하나의 흐름으로 그려두시면 앞으로 살펴볼 생물학적 통신이나 AI 에이전티의 통신을 이해할 때도 큰 도움이 됩니다. 이제 부호화와 복호화의 4가지 목적을 좀 더 자세히 살펴보겠습니다. 첫째, 표준화입니다. 공용화를 위한 표준으로서 서로 다른 시스템이 동일한 코드로 소송할 수 있게 합니다. 둘째, 압축입니다. 데이터의 양을 줄여 효율적으로 전송합니다. jpeg mp3, 칩 압축이 그 예입니다. 셋째, 오류정정입니다. 잡음에도 불구하고 정확한 전송을 가능하게 합니다. CD의 스크래치 보정이나 QR코드가 그 예입니다. 넷째, 암호화입니다. 인가된 수신자만 복부화할 수 있게 합니다. HTTPS나 SSL과 같은 인터넷 보안이 그 예입니다.

이 네 가지는 지난 시간에 살펴본 데이터 압축, 오류 정병 코드, 암호학이라는 주제들이 결국 부호화와 복호화라는 하나의 틀 안에서 어떻게 자리 잡고 있는지를 보여줍니다. 이제 코드 체계의 핵심을 살펴보겠습니다. 디지털화의 핵심은 세상을 자연수, 즉 숫자로 표현하는 것입니다. 이것이 가장 기본적인 정보화입니다. 관심있는 사건을 개념화함으로써 전체에서 개별을 구별하고 발생 확률을 계산할 수 있게 됩니다. 따라서 디지털화란 세상을 코드로 번역하는 것이라고 할 수 있습니다. 코드란 관심있는 사건의 정보를 표현하는 체계적인 모델입니다. 생물학에서는 환경신호를 보호화하고 복구화합니다. 언어학에서는 자연 발생적인 코드 체계를 분석합니다.

물리학에서는 물리법칙이 코드 수신기의 규칙이 됩니다. 예술학에서는 새로운 코드가 영감이 됩니다. 이렇게 보면 코드란 단지 컴퓨터 안에서만 존재하는 것이 아니라 우리가 세상의 어떤 측면을 구별 가능한 사건들의 체계로 바라보는 순간 이미 코드화가 시작된다고 할 수 있습니다. 이제 알고리즘 정보 이론과 코드의 관계를 살펴보겠습니다. 콜 모그로프와 카이티는 이렇게 말했습니다. 문자열의 정보량은 그 문자열을 발생시킬 수 있는 가장 짧은 다른 문자열의 길이이다. 쉐넌과 알고리즘적 접근을 비교하면 쉐넌은 확률론적 정보, 즉 숫자적 사건을 다루지만 콜 모그로프와 카이티는 알고리즘적 정보, 즉 문자열과 코드를 다룹니다.

여기서 코드는 알고리즘과 같습니다. 쉐넌의 메시지는 코드이고 복구화는 알고리즘입니다. 따라서 정보의 의미는 절차가 됩니다. 이는 알고리즘 정보이론과 채넌 이론을 연결하는 지점입니다. 정보철학의 확장이라는 관점에서 보면 언어, 즉 기호와 정보량에 대한 통찰을 제공하며 의미의 원천은 내부, 즉 관찰자의 세상 모델, 다시 말해 심볼 그라운딩에 있다는 것입니다. 즉 앞서 살펴본 부호화와 복호화의 흐름도에서 복호화라는 과정 자체가 이미 하나의 알고리즘이며 그 알고리즘이 곧 그 코드의 의미라고 이해할 수 있습니다. 이제 채넌 이론의 광범위한 영향을 표로 정리해보겠습니다. 통신공학 분야에서는 디지털 통신 이론의 기초를 제공하였고 인터넷 휴대폰 위성이 그 사례입니다.

컴퓨터과학 분야에서는 압축과 암호학에 기여하였고 집 jpeg ssl이 그 사례입니다. 생물학 분야에서는 유전자 코드 분석에 기여하였고 dna 정보 이론이 그 사례입니다. ai와 기계학습 분야에서는 엔트로피 기반 학습에 기여하였고 결정들이나 딥러닝의 손실 함수가 그 사례입니다. 물리학 분야에서는 연력학과 양자 정보에 기여하였고 블랙홀 정보역설이 그 사례입니다 이렇게 보면 쉐넌의 이론은 통신공학이라는 본래의 영역을 훨씬 뛰어넘어 거의 모든 과학 분야에 영향을 주었다는 것을 알 수 있습니다 특히 AI와 기계학습 분야의 사례는 4강 1부에서 살펴본 교차 엔트로피나 KL 발산이 결국 쉐넌의 엔트로피 개념에서 출발했다는 것을 다시 한번 보여줍니다

제 정보 이론에서 정보 철학으로 넘어가는 흐름을 살펴보겠습니다 위버의 확장 비전에 따르면 통신의 수학적 이론은 공학적 통신을 넘어서 인간의 거의 모든 사회활동을 포함할 수 있으며 기계들이 신호를 분석하고 동작하는 활동까지도 포함할 수 있습니다. 기호학적 확장의 관점에서는 전방위적인 기호학에서 의미 전달과 의미 작용을 구별합니다 이는 인간을 포함한 모든 생물과 기계들까지 포함할 수 있습니다 즉, 위버의 예상을 넘어서 더 많은 분야에 영향을 미치게 된 것입니다 이제 정보차락 연구자들을 내 영역으로 정리해보겠습니다 정량적 기초론은 쉐넌의 정보이론, 슈링의 컴퓨터이론, 위너의 사이버네틱스, 폰 노이만의 게임이론이 있습니다 정보와 지식론으로는 드레치키의 정보와 지식, 시몽동의 개체화론, 스티글러의 기술과 매체가 있습니다

사회와 체계론으로는 루만의 사회체계이론, 라트르의 행위자연결망이 있습니다. 이 세 영역이 합쳐져서 구성적 정보처락으로 이어집니다. 즉, 쇠넌과 기호학, 인지과학, 사회체계이론을 더하여 통합적인 정보 이해를 지향한다고 정리할 수 있습니다. 이제 알고리즘 정보이론과 심볼그라운딩의 관계를 살펴보겠습니다. 관찰자의 정보, 즉, 세상 모델은 문자열을 생성하는 또 다른 문자열, 즉 언어와 같습니다. 이 정보는 사회적 소통을 통해 이루어진 정보 구성의 차이로 인해 매우 다를 수 있습니다. 통할 수 있는 범위는 관찰자가 이미 구성한 정보들에 의해 허용되는 범위입니다 그 이유는 관찰자들이 각기 고유한 환경 속에서 이루어지는 심볼 그라운딩 때문입니다

결국 정보란 사건의 경험으로부터 관찰자의 내부에 구성되는 세상 모델 즉 구성적 정보라고 할 수 있습니다 이제 소통의 새 취미를 살펴보겠습니다 첫째, 기술적 문제입니다 물리적 신호의 정확한 전송을 다룹니다 이는 쉐넌이 다른 수준으로 채널, 잡음, 오류 정전과 관련됩니다 둘째, 의미적 문제입니다. 전달된 기호가 원하는 의미를 정확히 전달하는가를 다룹니다. 이는 기호학과 심볼그라운딩과 관련됩니다. 셋째, 화용적 문제입니다. 전달된 의미가 수신자의 행동에 얼마나 영향을 미치는가를 다룹니다. 이는 정보의 궁극적인 목적, 즉 수신자의 행위 결정과 관련됩니다. 이 세 층위는 쉐넌의 통신 시스템이 다루는 기술적 층위에서

의미와 행위라는 보다 넓은 층위로 어떻게 확장되는지를 보여줍니다. 예를 들어 누군가에게 메시지를 보냈을 때 글자가 깨지지 않고 도착했는가는 기술적 문제이고 그 글자가 의도한 뜻으로 읽혔는가는 의미적 문제이며 그 뜻을 읽은 사람이 실제로 행동에 옮겼는가는 화용적 문제라고 할 수 있습니다 이제 통신 시스템과 생물학적 신호를 살펴보겠습니다 생물학적 통신을 보면 DNA는 유전 정보를 부호하고 복호합니다 신경계는 전기신호로 정보를 전송합니다 호르몬은 화학신호로 장거리 통신을 합니다 세포막은 이온 채널이라는 생물학적 채널입니다 이렇게 보면 쉐넌의 도식은 모든 생명의 정보전달에 적용됩니다 사회적 통신을 보면 인간 언어는 가장 복잡한 코드 체계입니다

미디어는 메시지의 대규모 전달을 담당합니다 인터넷은 글로벌 통신 네트워크입니다 소셜미디어는 분산적인 정보 전파를 담당합니다 즉 채널의 5요소 도식이 모든 사회적 통신에도 적용된다는 것입니다 이제 잡음, 노이즈의 유형을 살펴보겠습니다 첫째, 물리적 잡음입니다 정기적 간섭이나 열 잡음으로 발생하며 오류 정정 코드의 반복 전송으로 대응합니다 둘째, 의미적 잡음입니다. 언어나 문화의 차이, 맥락의 불일치로 발생하며 공통의 코드 체계와 명확한 언어 사용으로 대응합니다. 셋째, 심리적 잡음입니다. 편견이나 손입견, 감정이나 주의 분산으로 발생하며 청취 훈련과 공감 능력으로 대응합니다.

넷째, 디지털 잡음입니다. 패킷 손실이나 지연, 사이버 공격으로 발생하며 TCP/IP와 암호화 통신으로 대응합니다. 이 네 가지 잡음은 채넌이 다룬 물리적 잡음을 넘어서 의미적, 심리적, 디지털적 차원에서도 잡음이라는 개념이 어떻게 확장될 수 있는지를 보여줍니다. 흥미로운 점은 앞서 살펴본 소통의 세 층위와 이 네 가지 잡음이 서로 대응한다는 것입니다. 물리적, 디지털적 잡음은 기술적 문제에 의미적 잡음은 의미적 문제, 심리적 잡음은 화용적 문제에 가까운 잡음이라고 볼 수 있습니다. 이제 현대 통신 기술과 쉐넌의 관계를 표로 정리해보겠습니다. 5G 통신은 OFDM과 마이모 다중안테나라는 핵심 원리를 가지며 채널 용량을 최대화하는 쉐넌 이론이 적용됩니다.

광통신, 즉 광섬유는 광자를 정보 빗으로 사용하며 초고속 데이터 전송에 쉐넌 이론이 적용됩니다. 와이파이는 무선 채널을 다중화하며 적응형 변조와 코딩에 Shannon 이론이 적용됩니다. 블루투스는 단거리 저전력 방식으로 적응형 주파수 호핑에 Shannon 이론이 적용됩니다. 인터넷, 즉 TCP/IP는 패킷을 분할하고 재조립하며 분산 채널 활용에 Shannon 이론이 적용됩니다. 양자통신은 양자 얽힘과 큐비트를 사용하며 양자 채널 용량에 Shannon 이론이 적용됩니다. 이렇게 보면 우리가 매일 사용하는 거의 모든 통신 기술의 밑바탕에 1948년에 발표된 Shannon의 이론이 여전히 자리잡고 있다는 것을 알 수 있습니다.

이제 통신이론과 AI 에이전트의 관계를 살펴보겠습니다. AI 에이전트 통신을 보면 멀티 에이전트 시스템에서는 에이전트 간의 메시지가 전달됩니다. 정보 원천은 한 에이전트이고 채널은 네트워크나 메시지 버스이며 목적지는 다른 에이전트입니다. 즉 채널의 통신 도식이 그대로 적용되며 에이전트 소통 프로토콜로 이어집니다. LLM의 정보처리를 보면 입력 즉 토큰은 정보 원천에 해당하고 어텐션 메커니즘은 채널 처리에 해당하며 출력 즉 토큰은 목적지로 전달됩니다. 트랜스포머 구조가 Shannon의 통신 도식과 유사합니다. 토큰화는 부호와에 해당하고 디토큰아이제이션은 복호와에 해당합니다. 이제 구성적 정보 이론을 종합해보겠습니다. Shannon의 통신 시스템에서 구성적 정보 철학으로의 확장입니다.

Shannon의 도식은 정보 원천에서 송신, 채널, 수신, 목적지로 이어지는 다섯 요소로 이루어지며 의미를 배제하고 기술적 전송을 최적화합니다. Weaver의 확장은 기술적, 의미적, 화용적이라는 세 층위로 이루어지며 인문과 사회활동 전반에 적용됩니다. 구성적 정보처락은 알고리즘 정보이론으로 의미를 포함하며 관찰자 내부에서 구성되는 세상 모델로 정보를 이해합니다. 제 오늘 다룬 핵심 내용을 정리해보겠습니다. 통신 시스템의 5 요소는 정보 원천, 송신기 즉 부호화, 채널과 잡음, 수신기 즉 복호화, 목적지입니다. 모든 통신은 이 구조를 따릅니다. 부호화의 4가지 목적은 표준화, 압축, 오류정정, 암호화입니다.

이는 코드체계의 다양한 목적을 보여줍니다. 알고리즘 정보이론은 정보량을 최단 생성 프로그램의 길이로 정의하며 문자엘에서 절차 그리고 의미로 이어집니다. 즉, 쉐넌의 확률적 접근과 콜모그로프와 카이틴의 알고리즘적 접근을 연결합니다. 이번 모듈의 목표를 달성하기 위한 질문을 스스로 해봅시다. 쉐넌의 일반적인 통신 시스템의 도식을 그리고 설명하시오. 그리고 알고리즘 정보이론을 설명하시오. 오늘은 정보 원천에서 목적지로 이어지는 쉐넌의 통신 시스템 5요소 부호화와 복호화의 4가지 목적 그리고 이러한 도식이 생물학적 통신, 사회적 통신, AI 에이전티에까지 어떻게 확장되어 적용되는지 살펴보았습니다.

정보이론 1과 정보이론 2를 통해 우리는 정보를 얼마나 되는가라는 양의 차원에서 측정하는 방법과 그 정보가 어떻게 전달되는가라는 흐름의 차원에서 구조화되는 방법을 모두 살펴본 셈입니다. 감사합니다.