13._빅데이터_정보철학_구성적 정보철학 정보이론(1)_(4-1)

안녕하세요 빅데이터 정보차락 구성적 정보차락 정보이론 첫 번째 시간입니다. 지금까지는 정보차락의 기본 입장과 인공지능 기술의 여러 아이디어들을 살펴보았습니다. 오늘부터는 정보라는 개념을 좀 더 본격적으로 다루는 정보이론으로 들어가 보겠습니다. 그 출발점은 바로 클로드 샤넌의 정보이론입니다.

이번 모듈의 목표는 샤넌의 정보이론을 간략히 설명할 수 있는 것입니다. 오늘은 정보를 양쪽으로 측정한다는 것이 무엇인지, 비트와 엔트로피라는 핵심 개념이 무엇인지, 그리고 샤넌이 의미를 배제한 것이 오히려 정보이론을 보편적인 학문으로 만든 이유는 무엇인지를 살펴보겠습니다. 먼저 정보의 크기와 의미라는 큰 그림을 살펴보겠습니다. 채넌 정보 위로는 정보를 양적으로 측정함으로써 정보통신 기술의 획기적인 발전을 가져왔습니다. 이때 의미로는 배제하고 순수하게 수량적인 정보만을 바릅니다. 그런데 흥미롭게도 이렇게 의미를 포기한 정보의 크기라는 개념은 인문사회학의 아이디어를 차용하면서 정보 기호학으로 발전하게 됩니다. 즉 의미를 포기함으로써 오히려 수많은 분야의 기초가 된 것입니다.

한편 콜모그로프와 카이틴의 알고리즘 정보 위로는 정보의 크기와 의미를 연결하는 실마리를 제공합니다. 확률적인 접근에서 절차, 즉 명령어로 정보를 바라보는 관점으로 나아가는 것입니다. 오늘은 이 가운데 샤논의 정보이론을 중심으로 살펴보고 알고리즘 정보이론은 그 연결점으로서 함께 다루겠습니다. 먼저 샤논의 정보 개념을 살펴보겠습니다. 샤논은 이렇게 말했습니다. 중요한 점은 실제 메시지는 가능한 메시지의 집합으로부터 선택되는 하나라는 것이다. 즉 샤논의 정보 개념은 개별 메시지 하나가 아니라 가능한 메시지들의 집합 전체를 대상으로 합니다. 이러한 메시지 집합에서 주어진 순서를 보존하는 함수, 즉 단조 함수가 있습니다.

그리고 변수를 측정한 값의 특성, 즉 메시지의 개수나 그 함수가 바로 정보의 특성이 됩니다. 이를 정보이론에서는 측도, measure라고 부릅니다. 이렇게 보면 정보란 어떤 하나의 메시지 자체가 아니라 있을 수 있었던 다른 메시지들과 비교했을 때 이 메시지가 선택되었다는 사실, 그 자체와 관련된 양이라는 점이 핵심입니다. 이제 비트와 로그의 선택을 살펴보겠습니다. 로그의 비트를 선택하는 것은 정보를 측정하는 단위를 선택하는 것과 같습니다. 밑이 2일 때 그 단위를 비트, 비트라고 부릅니다. 두 개의 상태를 가진 장치는 1비트에 해당합니다. n개의 장치가 있다면 n비트를 저장할 수 있습니다. 이때 가능한 상태의 수는 2에 n승이 되고 2에 n승에 밑이 2인 로그를 취하면 다시 n이 됩니다.

그렇다면 비트의 의미는 무엇일까요? 비트는 무엇인가를 표현할 수 있는 가장 작은 단위입니다. 그리고 이 표현을 물리적으로 만들 수 있는 기계장치도 가장 간단합니다. 0 또는 1, 두 가지 상태만으로 모든 정보를 표현할 수 있다는 것이 비트의 핵심입니다. 이제 개별 사건의 정보량을 살펴보겠습니다. 개별 사건 xj의 정보량 i는 -log 2p, 즉 그 사건이 일어날 확률에 밑이 2인 로그를 취한 값에 -를 붙인 것으로 정의됩니다. 이로부터 두 가지 직관을 얻을 수 있습니다. 확률 px가 작을수록 -log 2px는 커집니다. 즉, 드문 사건일수록 더 많은 정보를 담습니다. 로또 당첨 소식이 그 예입니다. 반대로 확률이 크면 정보량은 작아집니다.

뻔한 사건은 정보량이 적습니다. 해가 동쪽에서 뜬다는 사실이 그 예입니다. 동전을 가지고 예를 들어보겠습니다. 동전 1개를 던져 앞면이 나올 확률은 1분의 2이고 이때 정보량은 1비트입니다. 동전 2개를 던져 둘 다 앞면이 나올 확률은 1분의 4이고 이때 정보량은 2비트입니다. 이제 전체 사건의 평균 정보량 즉 엔트로피 hx를 살펴보겠습니다. 엔트로피 hx는 모든 가능한 사건들에 대해 각 확률 pxj와 그 정보량인 –log 2pxj를 곱한 값을 모두 더한 것입니다. 즉 모든 가능한 결과들의 평균 정보량이 바로 정보 엔트로피입니다. 몇 가지 사례를 살펴보면 동전 1개의 경우 H는 1비트, 동전 2개의 경우 H는 2비트, 주사위의 경우 약 2.585비트입니다.

그리고 앞면이 9, 뒷면이 1의 비율로 나오는 편향된 동전의 경우는 엔트로피가 감소하여 불확실성이 낮아집니다. 이제 엔트로피의 의미를 좀 더 살펴보겠습니다. 정보 엔트로피는 어떤 확률 변수가 나타낼 수 있는 상태의 총합입니다. 물리학적 엔트로피는 분자들의 배열이 나타낼 수 있는 상태의 총합에 자연 노구를 취한 것입니다 그렇다면 물리학적 엔트로피는 정보 엔트로피의 한 형태라고 볼 수 있습니다 엔트로피의 직관적인 의미는 다음과 같습니다 평균적인 논람의 정도, 평균적인 불확실성입니다 모든 결과가 비슷한 확률로 일어날 때 엔트로피는 최대가 됩니다 반대로 결과를 예측할 수 있을수록 엔트로피는 감소합니다 즉 정보는 다음 상태에 대한 알미라고 할 수 있습니다

여기서 샤넌의 의미 배제 선언을 살펴보겠습니다 샤넌은 이렇게 말했습니다 정보는 의미론적 내용과 관계없이 송신자와 수신자를 연결하는 채널을 통해 전달되기 위하여 부호화된 모든 것이다 의미를 포기하는 것이 오히려 많은 분야의 정보 연구에 기반이 되었습니다 샤넌은의 정보는 하나의 사건이 아니라 사건들의 체계를 대상으로 정의됩니다 의자의 무게나 길이는 사람마다 다른 의미로 받아들여질 수 있습니다 즉 의미는 주관적입니다 그러나 개별 사건의 정보량은 그 사건의 발생 확률로 정의되며 단위는 BP입니다 이렇게 의미를 떼어놓음으로써 정보량은 누구에게나 동일하게 측정될 수 있는 객관적인 양이 되었습니다. 이제 콜모그루프와 카이틴의 알고리즘 정보 이론을 살펴보겠습니다. 이들은 이렇게 말했습니다.

문자열의 정보량은 그 문자열을 발생시킬 수 있는 가장 짧은 다른 문자열의 길이이다. 예를 들어 ABC를 7번 반복한 ABC, ABC, ABC, ABC, ABC, ABC라는 21자의 문자열이 있다면 이는 ABC를 7번 반복하라는 명령으로 표현할 수 있습니다. 이 명령의 문자열은 12입니다. 물론 이는 언어에 따라 달라질 수 있습니다. 채널은 확률론적 정보 즉 숫자적 사건을 다루었지만 콜모그로프와 카이티는 알고리즘적 정보 즉 문자열과 코드를 다룹니다 가장 짧은 문자열이란 특정 언어에 의한 표현 즉 배상들과 관계를 표현하는 절차 다시 말해 프로그램입니다 이를 통해 정보의 의미를 절차 즉 프로그램으로 다룰 수 있게 되었고 이는 정보의 크기와 의미를 연결하는 중요한 실마리를 제공합니다

이러한 정보이론은 매우 광범위하게 적용됩니다 공학 분야에서는 데이터 압축 채널 코딩 오류 검출과 정정 암호학 우주통신 광학 디스크 인터넷과 휴대폰에 적용됩니다 과학 분야에서는 통계적 추론 신경생물학 생물정보악 열물리학 분자역학 양자컴퓨팅 블랙홀 연구에 적용됩니다 AI와 데이터 분야에서는 인공지능 기대학습 빅데이터 딥러닝 패턴 인식 이상탐지 정보 검색에 적용됩니다 입문과 사회 분야에서는 언어학, 커뮤니케이션, 기호학, 사회학, 예술창작, 표절탐지, 정보철학에 적용됩니다 정보유로는 거의 모든 학문 분야를 가로지르는 공통의 언어가 되었습니다 그렇다면 물리학은 왜 정보와 연결될까요?

물리학은 근본적으로 역학입니다 입자들의 운동을 탐구하며 하나의 상태에서 다음 상태로의 변화를 다룹니다 그리고 다음 상태의 확률이 핵심 주제입니다 그런데 정보란 다음 상태에 대한 알미입니다 따라서 물리학과 정보유로는 본질적으로 연결됩니다 엔트로피를 비교해보면 정보 엔트로피 h는 - 시그마 p 로그 2p, 즉 확률 변수의 상태 총합입니다. 물리학적 엔트로피 s는 k 곱하기 w의 자연 로그, 즉 분자 배열의 상태 총합입니다. 결국 물리학적 엔트로피는 정보 엔트로피의 특수한 형태라고 할 수 있습니다. 이제 샤넌 정보이론의 역사적 의의를 살펴보겠습니다. 1948년에 발표된 샤넌의 논문은 디지털 통신의 수학적 토대를 마련하였습니다.

이는 정보통신혁명의 기초가 되었습니다. 정보이론은 디지털 정보의 수량화, 저장, 통신에 관한 과학적 연구 분야입니다 나이키스트, 하틀리, 샤넌에 의해 확률이론, 통계학, 컴퓨터과학의 교차점에서 확률되었습니다 위버는 통신의 수학적 이론이 공학적인 통신을 넘어 인간의 거의 모든 사회활동을 포함할 수 있다고 보았습니다 샤넌이 의미를 배제했지만 그 배제가 오히려 보편성을 낳아 인문, 사회, 예술까지 확장되는 결과를 가져온 것입니다 이제 정보처락 샤넌을 넘어서 살펴보겠습니다 정량적 연구자들로는 샤넌의 정보이론, 앨런 튜링의 컴퓨터 정보처리, 노버트 위너의 사이버네틱스, 폰 노이만의 게임이론과 자기 복제가 있습니다.

인문사회 연구자들로는 드레츠키의 정보와 지식, 질베르 시몽동의 개체와 스티글러의 기술과 매체, 브리노 라트루의 행위자아 연결망, 루만의 사회체계 이론이 있습니다. 정보처락의 목표는 정보 개념의 풍부한 영감으로 새로운 차원으로 진입하는 인간과 문명에 대한 포괄적인 이해와 의사결정에 기여하는 것입니다. 이제 구성적 정보철학의 관점에서 샤넨 이론의 한계와 보안을 살펴보겠습니다. 샤넨 이론의 한계는 다음과 같습니다. 정보의 의미 시멘틱스를 배제합니다. 관찰자와 맥락을 무시합니다. 모든 메시지를 동등하게 취급합니다. 그 결과 수학적으로는 완벽하지만 인간의 정보 경험을 설명하기에는 부족합니다. 이에 대해 구성적 정보철학의 보안은 다음과 같습니다.

정보는 관찰자가 구성합니다. 정보의 의미는 심볼 그라운딩을 통해 형성됩니다. 알고리즘 정보이론으로 정보의 크기와 의미를 연결합니다. 결국 채넌과 기호학, 인지과학을 합한 통합적인 정보 이해를 지향한다고 정리할 수 있습니다. 여기서 채넌 정보이론의 핵심 공식을 정리해보겠습니다. 개별 정보량은 IXJ는 -log 2pxj입니다. 확률이 낮을수록 정보량이 크며 단위는 비트입니다. 평균 정보량, 즉 엔트로피는 HX는 -sigma pxj 곱하기 log 2pxj입니다. 모든 가능한 결과의 평균 정보량입니다. 동전 1개는 H가 1비트, 동전 2개는 H가 2비트입니다.

알고리즘 정보량 KX는 UP가 X가 되도록 하는 가장 짧은 P의 길이로 정의됩니다. 즉 문자열을 생성하는 최단 프로그램의 길이입니다. 이제 채널 이전의 정보 개념을 살펴보겠습니다. 1924년 나이키스트는 지속적인 신호의 전신 채널을 통해 전송될 수 있는 정보량을 계산하였습니다. 이는 나이키스트, 샤넌, 표본화 정리의 기초를 마련하였습니다. 1928년 하틀린은 h는 n 곱하기 로그 s라는 공식을 제시하였습니다. 로그 함수를 정보 측정에 적용한 최초의 형식화로써 샤넌의 직접적인 선구자가 되었습니다. 1948년 샤넌은 불확실성의 개념을 통합하고 확률론적으로 완성하였습니다.

통신의 수학적 이론, 즉 정보 이론의 탄생입니다. 그 공식은 hx는 -sigma p log 2p입니다. 이제 정보량의 단위를 비교해보겠습니다. 비트는 로그의 밑이 2이며 컴퓨터와 통신공학에서 사용됩니다. 넷는 로그의 밑이 자연상수 2이며 통계학과 정보이론에서 사용됩니다. 비트 또는 하틀린은 로그의 밑이 10이며 일부 엔지니어링 분야에서 사용됩니다. 큐비트는 양자중첩을 단위로 하며 양자컴퓨팅에서 0과 1의 중첩상태를 나타냅니다. 바이트는 저장단위로서 8비트가 1바이트입니다. 이제 채널 용량 샤넌 캐퍼시티를 살펴보겠습니다. 채널 용량 공식은 c는 b 곱하기 1 더하기 s 나누기 n의 비치인 로그를

취한 값입니다. 여기서 c는 최대 전송 속도 즉 bps 입니다. b는 채널 배역폭 즉 hz 입니다. s 나누기 n은 신호대의 자분비 입니다. 이는 이론적으로 오류 없이 전송할 수 있는 최대의 정보량을 의미합니다. 그 의의는 다음과 같습니다. 샤넌의 한계 정리에 따르면 어떤 채널도 c 이상을 전달할 수 없습니다. 부호화 기술이 아무리 좋아도 채널 용량의 한계를 넘어설 수 없습니다. 이는 현대 통신 시스템 설계에 이론적 한계가 됩니다. 이제 데이터 압축과 허프만 코딩을 살펴보겠습니다. 데이터 압축의 원리는 다음과 같습니다. 자주 등장하는 심볼에는 짧은 코드를, 드물게 등장하는 심볼에는 긴 코드를 부여합니다. 모스 부호에서 이는 짧은 점, T는 짧은 선으로 표현되는 것처럼

빈번한 알파벳에는 짧은 코드를 부여하는 방식입니다. 이러한 원리는 1952년에 허프만 코딩, 산술 부호화, 그리고 지배 기반이 되는 LZ77과 LZ78 알고리즘으로 이어집니다. 엔트로피와 압축의 한계를 살펴보면 채널의 한계 정리에 따라 압축의 이론적 관계는 소스의 엔트로피 hx입니다. 즉 hx 비트 이하로는 손실 없이 압축할 수 없습니다. 엔트로피는 최소로 필요한 정보양이며 현대의 압축 알고리즘은 이 엔트로피에 점점 가까워지고 있습니다. 이제 오류정정코드 에러커렉핑 코드를 살펴보겠습니다. 오류의 원인은 채널 잡음으로 인한 신호 왜곡입니다. 전송 중에 0이 1로 또는 1이 0으로 반전되는 일이 발생하며 이는 정보의 손실이나 왜곡으로 이어집니다.

이를 해결하기 위해 중복 비트를 추가하여 오류를 검출하고 수정합니다. 예를 들어 3중 반복 코드에서는 0을 000으로 전송합니다. 수신된 값이 001이라면 다수결에 따라 0으로 정정합니다. 현대 적용 사례로는 QR코드는 30%가 손상되어도 정보를 복원할 수 있습니다. CD나 DVD의 스크래치는 오류 정정 코드로 부정됩니다. 해밍, 리드솔로몬, 터보, LDPC 코드와 같은 방식들이 사용됩니다. 이제 암호학과 샤넌의 관계를 살펴보겠습니다. 1949년 샤넌의 암호 이론은 정보 이론의 도구를 암호학에 적용한 것입니다. 안전한 암호의 두 가지 조건은 다음과 같습니다. 첫째, 훈돈, 컴퓨전입니다. 암호문과 키 사이의 관계를 복잡하게 만드는 것입니다. 둘째, 확산, 디퓨전입니다. 평문의 통계적 특성을 분산시키는 것입니다.

이는 현대 암호학의 이론적 기반이 됩니다. 완전한 비밀성, 퍼펙트 시크릿은 암호문으로부터 평문에 대한 어떠한 정보도 얻을 수 없는 상태를 말합니다. 일회용 패드, OTP, One Time 패드가 그 예입니다. 키의 길이가 메시지의 길이와 같으면 수학적으로 완전히 안전합니다. 이는 현대 공개키 암호학에 기반이 됩니다. 이제 정보이론과 기계학습의 관계를 살펴보겠습니다. 규차 엔트로피, 크로스 엔트로피는 두 확률분포 P와 Q 사이의 불일치 정도를 측정하는 값으로 립러닝 손실함수의 기본 형태이며 분류모델 학습의 핵심입니다. KL 발산, KL divergence는 두 확률분포 간의 차이를 측정하는 값으로

변분추론, GAN학습, VAE의 목적 함수에 사용됩니다. 상호 정보량, mutual information은 HX에서 HX기분 Y를 뺀 값으로 X와 Y라는 두 변수 사이에 공유된 정보량을 나타내며 특성 선택, 독립성 검증, 인과관계 분석에 사용됩니다. 이제 정보이론과 AI 언어모델의 관계를 살펴보겠습니다. LLM과 정보이론의 관계를 보면 Perplexity, 즉 당혹도는 언어모델의 성능 지표로서 E의 H승으로 계산됩니다. 낮을수록 좋은 모델이며 더 예측 가능한 언어를 생성한다는 의미입니다. 토큰와 토큰 아이디에이션에서는 빈번한 토큰의 짧은 표현을 부여하는 허프망 코딩의 원리가 적용됩니다. 생성 모델의 엔트로피를 살펴보면 온도, 템퍼러처 파라미터가 있습니다.

온도가 높으면 엔트로피가 증가하여 다양하고 창의적인 출력이 나옵니다. 온도가 낮으면 엔트로피가 감소하여 결정적이고 보수적인 출력이 나옵니다. 즉, 쉐넌의 엔트로피 개념이 오늘날 AI의 생성 과정에 직접 적용되고 있는 것입니다. 이제 샤넌의 유상과 현대를 살펴보겠습니다. 샤넌은 1916년부터 2001년까지 살았으며 MIT 교수와 벨 연구소를 거쳐 정보이론의 아버지로 불립니다. 디지털 세계의 이론적 토대로서 현대의 스마트폰, 인터넷, AI는 모두 샤넌의 이론 위에 서있습니다. 샤넌의 G는 1950년에 만든 학습하는 기계 마우스 테세우스로서 AI의 성부적인 연구였습니다. 비트, 비트라는 개념은 샤넌이 대중화한 것으로 현대 디지털 세계의 기본 단위가 되었습니다.

샤넌의 역설은 의미를 버렸지만 가장 의미 있는 디지털 문명의 기반을 마련했다는 점입니다. 이제 정보이론과 구성적 정보철학을 비교해보겠습니다. 핵심 관점에서 샤넌 정보이론은 정보의 양을 측정하지만 구성적 정보철학은 정보의 의미를 이해합니다. 의미 배제에서 샤넌 정보이론은 의도적으로 의미를 배제하지만 구성적 정보철학은 의미를 포함합니다. 관찰자의 측면에서 샤넌 정보이론에는 관찰자가 없으며 객관적이지만 구성적 정보철학에서는 관찰자가 필수적이며 주관적 구성적입니다. 단위의 측면에서 Shannon 정보 위로는 비트를 사용하지만 구성적 정보철학은 의미있는 믿음체계를 단위로 합니다.

목적의 측면에서 Shannon 정보 위로는 전송 효율의 최적화를 목표로 하지만 구성적 정보 철학은 인간의 이해와 의사결정 지원을 목표로 합니다. 현대 AI에서는 Shannon 정보 위로는 LM 훈련의 손실함수로 구성적 정보 철학은 뉴로심볼릭 AI와 그래프랙으로 이어집니다. 마지막으로 정보이론의 미래, 즉 양자 정보를 살펴보겠습니다. 양자역학과 정보이론이 결합한 것이 양자 정보이론입니다. 큐비트는 0과 1의 중첩 상태입니다. 양자 얽힘, 엠탱글먼트는 두 큐비트가 서로 분리될 수 없는 상태입니다. 이를 통해 고전 정보이론을 양자 세계로 확장할 수 있습니다. 양자 컴퓨터의 가능성을 살펴보면 퓨어 알고리즘은 RSA 암호를 해독할 수 있고,

글로버 알고리즘은 데이터베이스 검색에 사용됩니다. 양자우위 퀀텀 슈프리머신은 특정 문제에서 고정 컴퓨터를 압도적으로 뛰어넘는 성능을 의미합니다. GPT와 같은 다음 시간에는 쉐넌의 일반적인 통신 시스템 도식을 중심으로 정보 이론을 좀 더 깊이 살펴보겠습니다.

감사합니다. 감사합니다.