딥러닝과 GPU: 이미지넷에서 LLM까지

그의 의미는 그의 기능이 바닥에 생성하는 기능이 아니라고 하네요. 다른 방법은 방향에서 전염 공개하는 데요. illes 대상으로 추가적으로 도용할 수 있는 기회가 아니라 지루한 일들을 기회가 대신해주는 것입니다. 그게 이제 머신 러닝이 되는 겁니다. That's the machine running. What's the deadline? The deadline is just part of the machine running.

There are several different techniques for machine learning, and deep learning is just one of them. However, nowadays deep learning became really popular, and these days, more than 99% of machine learning applications are using deep learning. Really. So why became deep learning really popular? So you may remember that the kind of, you know, in 2016, there was a kind of competition.

He played a series of matches against the AlphaGo, you might remember that. However, before that, there was a really big huge impact. It's called ImageNet Competition. So in this competition, there was a kind of workshop in a conference. They call it the ImageNet Large Scale Visual Recognition Challenges. It was held in 2010, so they kind of, you know, Stanford University, they collected more than 14 billion images with labels, annotations.

So the label here means that each image has some correct answers, the name, for example, these images are cats, and these images are dogs, these images are horses, something like that. Each image, more than 14 million images, they have their own name, recorded label, and there are a thousand different classes in there, thousand different objects. So they kind of pick up 1.2 million images for training your model, and then 50,000 images for validation, and 100,000 images for testing, and they kind of profile those images to the scientists.

And then they evaluate the error rate of each machine learning algorithm they propose. So back then, 2010, they achieved the error rate of 20.2. So it is higher than the error rate, so it is higher than the worst. Between 2010 and 2011, there was about 2.5 improvement. So back then, they just used the evolutionary techniques. However, in 2012...

First deep learning architecture, RxN was introduced in 2012, it's called the RxN, and they introduced this deep learning technique first time, and then there was a huge improvement between 11 and 12, about more than 8% improved. After which, Google and Microsoft beat tech companies, joined this competition, and finally Microsoft beat the human average. Back then, 2015, they achieved even better results than human.

The classification error rate by human was about 5.1, however, they achieved 3.6, and then they finished this competition. After that, the deep learning became really, really popular. So the first deep learning technique, architecture, we call it architecture, the model, was introduced by the research team, read by Professor Jeffrey Hinton, University of Toronto. So Jeffrey Hinton's professor, he kind of won the Nobel Prize in 2020.

A couple years ago. 노벨상을 타는 분입니다. 노벨 물리학상을 받았고, 노벨상에 AI라는 항목이 없어요. 그런데 2024년도에 AI를 연구하는 학자들이 물리학상이나 화학상이나 세 가지 상을 받았어요. 서로 다른 분야에서. 그 정도로 AI가 노벨상을 받을 정도로 퍼플루해진거죠. 그 가격을 받았고, 알렉스는 공부하는 사람처럼 보이는데, 이 친구가 퍼스토스에요. 알렉스라는 사람이고,

The name of the architecture is Alex. He just named his name. He gave his name to the model. And then he is the second author, and then this is Jeff Linton. This paper, Ingenet classification with deep conversion neural network, is one of the most cited papers in the book. One of the best papers ever. And that this paper has a huge impact on the application of the model.

So how did the UN do the complex tasks compared to the old machine techniques? Suppose you have one parameter. One parameter can classify two different objects. So one parameter can, for example, suppose you can separate or classify cats and dogs. What if you have two parameters? Then you can separate cats and dogs and humans. If you have three, then you can separate cats and dogs. And house is like that.

And then suppose you have 100 parameters, it means that you can classify 101 different objects This is a very simple assumption So in reality, actually, it's not going to do that But however, let's suppose I just wanted to give a very simple example here So 100 parameters can classify about 100 objects That's what the old machine learning did However, after introducing the deep learning, they can use more than

7천만 개의 파라미터를 사용하게 되었어요. 여자는 100개나 200개밖에 사용을 못했는데, 갑자기 딜만으로 바뀌면서 파라미터 숫자가 7천만 개가 되었고, 그 다음에, 지금 현재 라기념지 모델을 사용하여 GEMINI와 GPT을 사용하여 현재 라기념지 모델을 사용하지 못했지만, 많은 라기념지 모델을 사용하는 라기념지 모델을 사용하여

2, 3 trillion parameters. 1 trillion means 1조예요. 파라미터 개수가 여러분이 사용하는 AI 모델들은 보통 조 단위를 넘어가요. 2조에서 3조 개를 사용하고 있다라는 거예요. 과거에 비해서 compared to the old machine run algorithm Can you imagine how the AI current AI can do? 100 versus 1 trillion or even more than 1 trillion 2 or 3 trillion So they can do really complex tasks.

Whatever you imagine, they kind of mimic your intelligence and your insight, your thinking, thoughts. That's the large language model, a technology that understands and generally tests similar to what you are doing. The human language, how can they do that? Through the training on massive amount of data. So they kind of collect a massive amount of data from which were inline. The large language model, they started...

the text, training text. Huge amount of text are fed into the machine learning model, I mean the timeline model. They pick up and collect those information from the Wikipedia, and books, and code used out there. Where? In our website. However, there are some fake news, right? So, internet, it doesn't necessarily provide you the exact information. Some information are fake or incomplete. So, instead of just using and collecting all of the data from the internet, they kind of do some filtering. After collecting those data, they did some filtering, and they just pick up some useful information and feed them into the machine.

That's why they trained the large language model and then after using a lot of machine amount of data for training, the machine, the large language model kind of learns some capability. Everybody didn't expect this, but at the end of the stage, they kind of, you know, do this prediction. So the large language model didn't expect this to be a prediction. So the mic doesn't expect this to be like this. I shouldn't expect this to be a prediction.

So this is a review session, so this is probably okay with this. Anyway, the large-range model, they can do after training of a large and huge amount of data, they got this ability of partition. So suppose you have some of these vectors. You may see here implies that I'm going to do something with that.

So this sentence is incomplete, and just you provide the incomplete sentence to the machine then it will practice something you didn't expect before. For example, you just fit this sentence into the machine and then you can type some kind of, you know, give yourself orders. Just couple this sentence and it will return these five sentences here. In the evening I'm going to do some exercise and then in the evening I'm going to miss some of my friends.

and watch some movies in the house and things like that so he can do this prediction but you know that this prediction capability that the scientists who developed the radio-energy model actually they didn't expect this in the first stage so you can't, how do you think it is? it is a huge amount of data if you look at the data, how do you think it is? not only they can do some testing but actually they can also do some coding programming that's the rest of the music as well

they can discredit that is one of the key abilities of the large range model. Then prompt engineering, prompt engineering, what is prompt engineering? So what is prompt engineering? It is the process of designing and optimizing the text prompts to obtain desired output. The desired output, which I am going to learn, is the desired output from the large range model. Because beyond simple just asking simple questions, it's a technique for guiding your model to generate more accuracy.

and your desired result you want for specific tests. So I also give another example here. So suppose you want some information about the AI. So instead of just kind of, you know, give this sentence to the machine, explain AI. Instead of this, you can do perhaps like this. Explain what a large language model is, and then, for example, including, well, you know, the examples, and advantages, and disadvantages, and in-script paragraphs. This kind of work, details, specific questions.

will return more accurate results you deserve. This is because the large language model is not the entities that know the correct answers, but rather it's kind of the pattern generator. So it's what it means. So actually the large language model, if they know the correct answer, whatever your question is, they will return the same answer.

the correct answer result. But actually it's not. That means, even if you are asking the same questions, if the expressions are different, then they will return different answers. Because they are paragenerator, not the one that knows the correct answer. This is the very important insight here. We've probably heard the kind of we know of this word, hallucinations. This kind of we know providing you some fake information.

This issue was very critical about 2 years ago. However, they kind of fixed the machine again and on and again. So this alternation problem has been fixed a lot. But still, there is still a chance that your larger language model returns you some kind of fake information. Still, there is a small chance. Why? Because larger language model is a parallel generator. So, what is the best larger language model? In the last 6 months, this is already outdated but still works for you. So, in the last 6 months, another one...

어 시스템하amoto MURDING 3주일을 해보고 그래서 여러분들이 there is kind of a website that you guys have a large range of them out there so I kind of picked up this information a couple of days ago

그래서 이순희가 보통 2, 3주 단위로 계속 바뀌고 있죠. 하도 라지랭귀지 모델이 업데이트되고 많이 바뀌니까.

현재는 크롬스 코딩에 많이 사용하고 있는데 이 친구가 크롬스는 아주 좋은 프로그래밍에서 코딩을 하고 있습니다. 하지만, 테스트는 잘 못하는 것입니다. 텍스틱을 말하는 것입니다.

클로우드가 요즘 텍스팅은 별로 안좋고 코딩은 굉장히 잘합니다. 여러분 굳이 리포트를 사용할때는 If you want to write something, then I kind of recommend using chat GPT. GPT is very good at texting. But I'm not sure. What will be the best next week? 근데 일주일에 어떻게 또 바뀔지 잘 모르겠어요. 하도 많이 바뀌니까. 그 다음 시간에 뵙겠습니다. 그 다음 시간에 뵙겠습니다. 그 다음 시간에 뵙겠습니다.

이제 한국말을 할께요, 한국말로 하고 그 다음에 다음주에 우리 리뷰할 때 다시 영어로 하도록 하겠습니다 Any questions from this one? 질문 있나요? 질문? 네 그럼 얼마든지 질문 언제든지 해도 좋습니다 자 그럼 도대체 이제 그 질러닝이 이런 LLM 모델이 어떻게 이렇게 복잡한 테스트를 하게 됐나 그 이유에 대해서 한번 알아볼게요 그래서

세가지 큰 이유가 있는데, 진로는 이렇게 유명해지고 그 다음에 많이 사용되고 이런 능력을 갖게 된 세가지 이유가 첫번째는 빅데이터, 두번째는 그래픽 프로세스 유닛, GPU, 세번째는 뉴럴 네트워크라는 알고리즘이 있습니다. 첫번째는 빅데이터를 보게되면, 아까 텍스트 정보를 위키피디아나 인터넷 뉴스에서 많이 가져온다고 했잖아요. 여러분들 아마 인터넷 하다보면 이 이미지 많이 보지 않았나요? 이 화면은 사람인지 아닌지 판별하는거 이런 이미지 많이 봤을텐데, 이 화면을 볼 수 있습니다.

그래서 여기서 여러분들이 자전거 이미지를 선택하잖아요? 그러면 이 인포메이션이 여러분이 사람이 아닌지만 판매할까? 어딨을까? 이게 바로 레이블 이미지에 활용이 되는 거예요. 아까 스탠포드 학교에서 이미지 컴퓨터에서 1,400만 개의 이미지 데이터를 활용했다고 했잖아요. 그 데이터가 다른 게 아니라 각 영상에 매치되는 레이블 이미지를 갖고 있는 거예요. 이건 자전거 이미지죠. 그리고 이건 하우스고, 이건 신호등인가요?

이것도 자전거고 이것도 집 어떤 현관 분이 되겠네요. 이런 게 레이블인건데 여러분들이 이렇게 찍은 사진들을 구글이나 정보를 이제 가져다 쓰는 거예요. 그럼 이 이미지는 레이블된 이미지가 되는 거죠. 굉장히 스마트한 방법이죠. 이런 식으로 수집한 이미지가 2년 전 기준으로 2조장이에요. 아까 이미지를 컴퓨터에서 1,400만 장이라고 했잖아요. 근데 그게 이제 그 당시에는 한 10년 전의 빅데이터였는데 구글이 재작용까지 수집한 이런 이미지가 2조장 정도 돼요.

지금은 뭐 사실 숫자 세는게 무의미할 정도로 많은 이미지 데이터가 수집이 됐겠죠. 이런식으로 굉장히 스마트한 방식으로 이미지를 수집하고 있다는 겁니다. 그래서 이런식 빅데이터가 필요하고 그런 빅데이터의 종류가 예전에는 텍스트였지만 이미지, 그 다음에 동영상, 그 다음에 포인트 클라우드, 지하스 데이터로 계속해서 확장이 되고 있는거에요. 그 다음에 what's next? What makes the demand available? The second is the neural network. 그래서 두번째는 neural network이라고 하는 머신로이드 테크닉이 있는데 이 neural network의 결론적으로 확장성이 굉장히 좋아요. 이 neural network은 사람의 뇌에 있는 neuron을 흉내는 기관이거든요. 흉내는 알고리즘인데

사람의 뇌가 확장성이 우한한 것 처럼, 여러분들이 가능성이 우한한 것 처럼 이 뉴럴 네트워크 딥러닝에 사용될 이유가 뭐냐 하면 확장성이 끝이 없어요. 이건 컴퓨팅이 받쳐주고 데이터를 받쳐주는 이상 끝없이 확장할 수 있는 그런 알고리즘인거에요. 이 뉴럴 네트워크 컨셉이 언제 먼저 소개가 됐냐 하면 1950년도 개발이 됐습니다. 그땐 이름이 뉴럴 네트워크가 아니고 풀셉션이라고 하면 굉장히 펜시한 이름으로 사용이 됐는데 말은 굉장히 멋있지만 사실 굉장히 단순한 이진분류기였어요. 아주 단순한 문제밖에 해결할 수 없었던 그런데 여기서 재미있었던 사실은 뭐냐 하면 이 뉴럴 네트워크가 인간의 뇌를 흉내 낸, 모방 낸 알고리즘이라는 거에요.

그래서 그 컨셉이 1950년대에 처음으로 소개가 됐고 그 다음에 1970년대에 문제에 도착했는데 그 문제가 뭐냐면 이 뉴럴 네트워크의 알고리즘은 굉장히 간단한 Linear Classifier, 선형 문제밖에 분류할 수 없었는데 예시를 하나 들어볼게요. 선형 문제랑 비선형 문제�

Yeah, you don't have to do that.

여러분들 지금 빨간 공이랑 선형적으로 이 빨간색 공이랑 파란색 공을 분류할 수 있을까? 여기서 리뉴얼처럼 선형적으로 하는 거예요 이걸 비선형으로 회전시키거나 선을 이렇게 회전, 곡선을 보거나 not using the curve, not linearly, but linearly

Can you separate this blue from the red hole? If you can do that, then I'll give you a plus. Of course, this is key, because I first asked this question. When I asked these questions, I bet you will earn a plus if you are solving this problem. And then, I felt like something will happen. So I kind of, you know, retreat by, kind of, you know, prize, because I kind of, you know, worried about someone who will solve this problem. And actually, every class, when I first introduced this question,

There was a solution to solve it. 그래서 이거 벌써 네 번째 수업시간이 보여졌는데 그때마다 학생들이 이 문제를 풀었어요. 그리고 이 문제를 푸는 머신론이 알고 실제로 있어. 이 비선형 문제를 사정적으로 푸는 알고 있는 건데 그래서 instead of I giving you a plus, then I will do it. We can't do it. How can you solve this problem? Renewally, not non-renewally. 와, 진짜 이거 지노스. 이거 바꿀 수 있다니까? So I'm not going to do it.

이렇게 적은 다음에 if you fold the paper and then cut the right then you can separate it from blue this is still linear problem 이런 방식으로 문제를 푸는게 support vector machine이라는 알고리즘이 있어요 이게 차원을 변형시키는거야 so this is the two dimension however if you convert this problem into 3D dimension then you can solve this problem linear

There is a version of the algorithm called the sub-protective machine It can address this non-linear problem linearly by changing the dimension of the data So, congratulations So, okay Just pick up one of the top of it It's been a long time ago, I didn't know how much it was It might be updated, but probably it will be ok because it's a very strong line Because I couldn't use it, I had to stop my question

이래서 내가 이 플러스를 줄 수가 없다니까. 그래서 섬뜩했네. 어째거나 그래요. 잘했어. 잘했고. 그런데 뉴럴 네트워크는 이 문제를 풀지 못했어요. 풀지 못해가지고 한 20년 넘게 고민을 하다가 1980년대에 이 문제를 푼거야. 그때 처음으로 뉴럴 네트워크가 비사람 문제를 풀 수 있도록 모델을 복잡하게 만들었어요. 어떻게 해야 할까요? 히든 레이어로 사용할 수 있도록 히든 레이어라고 불리는 레이어를 추가하는 거랑 백플루프 기존 방식으로 통해가지고 이 문제에 대한 문제입니다.

1990년대에 대해선 이 문제였어요. 그리고 1990년대에 대해선 굉장히 큰 컴퓨티션이었어요. 여러가지 유명한 컴퓨티션이 있었는데 이게 뭐냐면 여러분들이 주소에 집코드 안해요? 요즘 한국도 집코드 사용하잖아요. 여러분들이 집코드 잘 알아요. 집코드 잘 알아요. 집코드 잘 알아요. 집코드 잘 알아요. 집코드 잘 알아요. 97730 when I was in the States.

It's actually my zip code number. 그래서 오리원이 5R이 5R 2자 줄이는 거고 97330이 내 zip code였는데 그 포스트오비스에서 이 zip code의 숫자만 인식을 해도 사랑할 수 있는 태스크가 엄청나게 줄어드는 거예요. 하루에도 정말 수천만 장인 편집을 오고 가는데 숫자만 인식을 해도 그래서 이 zip code를 인식하는 데서 뉴로렉터웍이 가장 좋은 성능을 나타냈어요. 이때 반짝 인기를 얻다가 다 다음 영상에서 만나요

이제 이때 뉴런 네트의 확장성을 보고, 이건 무한히 They wanted to expand the neural network to solve more complex problems. After recognizing the numbers, what they want to do then? Recognizing the text. However, recognizing text is more complex than recognizing the numbers. Number는 여기서 두 가지밖에 없잖아요. 텍스트는 훨씬 더 복잡하고, 사람마다 필기하는 게 굉장히 알아보기가 힘듭니다. 그래서, 뉴런 네트워크, unfortunately, they didn't do that. They couldn't do that. 그래서, 다시 하락세를 걸어요.

그래서 2000년도에는 여러가지 문제점으로 인해 뉴럴 네트워크가 다시 인기를 못 얻었다가 Back then, 2010, they kind of we know, made a big return. 그래서 2010년도에 AlexNet이 초계되고 나서부터는 다시 뉴럴 네트워크가 엄청난 인기를 끌게 됐습니다. 그래서 뉴럴 네트워크, 우리 나중에 배울거에요. Where are the 뉴럴 네트워크 later in this course? 그래서 뉴럴 네트워크 나중에 배우게 될거고 여기는 아주 굉장히 심플한 뉴럴 네트워크 아키텍처인거죠. 이게 히든 레이얼이고, 이게 인풋값이고, 이게 아프시고, 루스값을 계산해서 업데이트한다. 그런 컨셉은 Back Propagation인데, 어쨌거나 이런 컨셉은, 사업적인 백그라운드는 We are going to this way in this class.

근데 오늘 내가 얘기하고 싶었던 것, I wanted to talk about here today is that GPU, that's the processing unit. GPU에요. GPU 얘기를 좀 많이 하고 싶었는데, 그러니까 여기는 기사가 있죠. 아마존이 NVIDIA로부터 GPU를 200만 장을 구입을 할 예정이래요. 언제까지? 2027년부터 2028년까지. 그리고 일러포스트 100만 장까지 작년까지 구입하려고 했었고, 지금 전세계가 다 GPU 유닛 구입할 현안이 되어있죠. 지금 우리 한국실도 GPU 사려고 열심히 노력하고 있고, 컴퓨터가 2대 정도 있는데.

이게 GPU가 하루에 좀 비싸다 보니 컴퓨터 가격이 천정부시로 언제부턴가 비싸지기 시작했어요. 그래서 연구실에 딥러닝 컴퓨터가 두 대가 있는데 하나는 1500만원짜리고, 다른 하나는 2500만원짜리에요. 비싸보이지. 그런데, 사실은 딥러닝 컴퓨터 가격이 비싸지기 시작했어요. 그래서, 어... 사실 그렇게 비싼게 아니야. 딥러닝 컴퓨터 가격을 너무나 비싸게 만들었어요. 여러분 아마 게임을 좋아할까요? 요즘 GPU가 엄청나게 비싸죠? 게임 한 번 하는데도 GPU가 비싼데 왜 이렇게 비싸졌냐면, GPU가 AI에 사용되기 때문이에요.

Not only for gaming, but for AI, GPU can't be wrong, it can't be really expensive these days. 그럼 GPU가 도대체 뭐냐, 이 동영상을 Let's watch this video to understand what's the difference between CPU and GPU.

그래서 CPU는 굉장히 똑똑한 아인슈타인 같은 유닛이에요. 컴퓨터마다 한 대씩 있거든, CPU라는 게. 근데 GPU는 뭐에 특화되어 있냐면, 이게 말하는 게 뭐였냐면, 병렬처리에 특화되어 있어요. 굉장히 단순한 계산을 동시에 여러 개 수행하는 게 GPU거든요. For example, CPU is one Einstein, the genius. And on the other hand, the GPU is kind of, you know, ordinary hundred students. 그래서 여러분들이 예를 들어 가지고, 어떤 복잡한 문제를 풀 때는 아인슈타인 한도의 똑똑한 천재로 실할 수 있는데, 여러분들이 라벨을 뿌린다고 생각해요.

We're talking some ramen. Very simple task. And you have to make 100 different ramen. And you have the 100 different dimension.

color and row as well. 그러면은 총 100만개의 픽셀이 있잖아요. 여러분 컴퓨터에서 RGD를 다운로드합니다.

그래서 저기 아는 동안에 동시에 튜브가 페인팅 발사해서 화면에 주사를 했잖아 그게 컴퓨터 모니터의 프레이시플 이에요 그래서 여기서 이제 RGB를 주사를 해야 되는데 자 여러분들이 예를들어 이거 들어봤을까요 프레임퍼 아 FPS죠 세컨 1초에 몇 번 주사할 수 있냐 프레임퍼 세컨 그래서 여러분들부터 컴퓨터 모니터는 30에서 60 굉장히 익스펜스 모니터를 can provide 120 프레임퍼 세컨 뭐에 대해서

번 싸우는 픽셀에 대해서 이런 처리를 한다라는 거예요. 엄청난 1억번 이상 처리를 해야 되는 거잖아요. 그런데 여러분들이 모니터는 이것보다 해상도 훨씬 높죠. 프레임스 같은 경우에는. 그리고 우리가 하나의 픽셀마다 하나의 색깔만 하는 게 아니라 RGB를 포함하고 있어요. RGB. This is a very simple task, but we have to do this a lot of times for each second. 그러니까 1초에 엄청 단순한 작업을 많이 해야 되는데 아인슈타인이 필요가 없는 거야. 그럼 누가 이걸 잘하느냐? 100명 학생이 잘한다는 거지. 그러니까 심플한 계산을 여러분들이 동시에 패러렐 프로세싱을 하는 게 GPU의 원리예요.

GPU의 원리는 단순한 계산을 병렬주를 통해서 빠르게 처리하는 It's more purpose than efficiency. 그게 이제 GPU의 원리인거고 rather than doing the conference job. That's the GPU. 그래서 GPU를 가장 잘 만드는 회사가 어디죠? NVIDIA. Their capitalization kind of went up through this kind of, you know, to this kind. 그래서 작년에 수업을 할 때 8월 15일 기준으로 그네들이 capitalization 자산가치가 4.4 trillion dollars. It's about the...

굉장히 큰 금액이고 이게 원약이라 4.4조 달러에요 달러 4조 달러인거고 그게 After one year, they can win on more than 5.3 trillion dollars. Their capitalization 이게 얼마나 많은 수치냐 하면 They can win on bigger than Japan But the number of their employees are just 42,000 employees 결국 4,000,000 직원들이 일본의 국민 총 생산연보다 훨씬 많은 돈을 벌어들이고 있어요

그게 바로 NVIDIA야. 이제 자장같이 이런식으로 엄청나게 스카이 워케팅하고 있는거죠. 그러면 도대체 NVIDIA가 어떻게, How did NVIDIA grow so big in a nutshell? We can summarize this, Gaming, AI, and Crypto. 이 세가지 이유가 있어요. So, let's have a 10 minute break, then I'll come back and give you another lecture. Okay? Let's have a 10 minute break. So, I'll try it.

이쁠게 먹으신 사람 먹어요. OK. I'll be here. 나 머리 동절하게. 신속해. 우리 살만 머리 동절하게 이러고 다시 일어나는데 나는 또 뭐 말해가지고 초콜릿 피인자 난 뭐 말하길래 공연 봤는데 사람들 막 일어나길래 자리 바꾸나. 그치가 아닌가. 나는 뭐 실습 시작한다고 일어나. 그래서 뭐 하는 거야? 놀래가지고 쉬는 것 같아요.

신의 소름이 났어. 너 여기 봐봤어. 대부의 KBS.