New Note

이 Augmented User Prompt로 Generate를 해도 이 모델 아웃풋이 Generate를 합니다. 우리 지난주에 배웠던 이 Parametric Memory를 아주 잘 활용을 해서 Generate를 하죠. 근데 이 Generate 된 결과는 지난주 우리 Staleness 얘기할 때도 했지만 영국 총리에 대한 최신 정보가 없다 보니까 그 Parametric Memory 속에 들어있는 총리에 대한 정보를 가지고 잘못된 답을 생성해 준 것처럼 여기에 나오는 판매 수치나 전략은 지금 리어타임의 정보가 아니라 그 Parametric Memory 속에 있는 잘못된 정보일 확률이 매우 높습니다.

그래서 결국 여기서의 가장 큰 문제는 그 질문, 즉 retrieve된 리서트 결과와 관련해서 부족한 내용을 판단하고 다시 검색할 수 있는 과정이 필요한데 그런 과정이 생략돼 있는 게 가장 큰 문제다라고 할 수 있습니다. 그래서 what is deep research라고 되어 있는데 이 deep research, 깊은 조사, 깊은 연구라는 것은 결국은 앞에 예제처럼 찾은 자료를 바탕으로 retrieve된 리서트를 바탕으로 다음 조사 방향을 결정하면서 조정을 하면서

근거를 모아서 evidence를 gather해서 답을 찾아 나갈 수 있는 iterative research process, 반복적인 조사 과정을 우리가 deep research라고 얘기합니다. 그래서 deep research의 전반적인 흐름을 아래에 적어놓으면 question, plan, search, and read, assess, evidence, and synthesize라고 정리를 할 수가 있습니다. 먼저 question, plan을 보게 되면 질문을 먼저 question을 해요. 그리고 나서 내가 무엇을 알아봐야 하는지에 대한 계획을 세웁니다.

그래서 제가 오늘 파트 1에서 소개할 프레임워크 중에 React와 Plan Based Retriever인데 거기서 그 Planning에 해당하는 과정이 Plan이라고 볼 수가 있어요. 그래서 자동차 회사를 비교를 해야 돼요. 그러면 내가 어떤 회사들을 비교할지 어떤 항목을 정할지 이제 Planning을 하는 거죠. 다음에 Search and Read는 여기서는 읽는다라는 게 중요한데요. 검색 결과를 그냥 내가 Retrieve 하는 거에서 끝나는 게 아니라 그 Retrieve한 Document에 실제 내가 필요한... 다이아몬 그 후에

스탠닝에서 필요하다라고 했던 정보가 있는지를 보는 걸 얘기합니다. 그리고 그 과정을 통해서 우리가 assess evidence, 즉 내가 회사의 목표 수치가 필요한데 그게 없어. evidence를 평가해봤더니 그게 없어. 그러면 그 수치를 더 찾아야 될 겁니다. 따라서 비교하려면 그 항목의 의미가 회사마다 다른지 비교 기준이 어떤지 등등을 우리가 assess evidence를 하게 되고요. 마지막 이 synthesize는 그렇게 해서 모은 자료들을 종합을 하게 됩니다. 이렇게 종합된 것들을 바탕으로 아까 이제 이...

Augmented User Prompt에 그렇게 Synthesize 된 자료가 들어오게 되면 그것들을 가지고 단순 이 RAG보다는 훨씬 더 좋은 결과를 보여줄 수가 있고요. 만약에 내가 플래닝에 조사해야 한다고 넣어놨는데 확인하지 못한 자료가 있으면 그런 것도 Synthesize 할 때 언급을 해주는 게 중요하다고 할 수가 있습니다. 그래서 지난주까지 계속 배웠던 내용을 연결을 해보면 결국은 Embedding이라는 기술은 텍스트를 벡터로 인코드해주는 기술을 의미하고

이 인베딩이 되었기 때문에 우리가 스토링도 할 수 있고 이 Retriever를 통해서 내가 찾고자 하는 정보들을 파인드 할 수가 있죠. 그리고 Red는 내가 파인드한 자료를 나의 컨텍스트에 넣어가지고 그 유스 인포메이션 할 수 있도록 도와주는 방법인데 이거를 단순히 유스 인포메이션 하는 것에서 더 나아가서 우리가 리서치 측면에서 무엇을 찾을지를 정하고 그리고 읽어보니까 부족한 내용이 있으면 다시 찾고

이렇게 모은 근거들을, 에비던스들을 어세스하고, 신세사이즈를 해가지고 종합된 결과를 가지고 컨텍스트 베이스트 제너레이션을 하는 것들을 우리가 딥 리서치다라고 얘기는 합니다. 그럼 이제 다음 떠오르는 질문이 자료가 부족하니까 다시 검색하자는 판단을 모델이 해야 되는데 그런 판단을 어떻게 할 수 있을까에 대해서 보도록 하겠습니다. 그때 많이 활용되는 게 리즈닝

추론 vs. 액팅, 이 수행이 있습니다. 그래서 일단은 가운데에 퀘스천이 하나 있어요. 그 퀘스천을 보면은 내가 애플 리모트가 원래 제어하던 프로그램이 있는데 그거를 다른 어떤 기기로 제어할 수 있는지 궁금해? 라고 이제 물어보오요. 이것은 이제 핫스팟 QA라고 하는 벤치마크 속에 들어있는 이 질의이고요. 거기에 대한 라벨로서 정답 answer 데이터셋이 있겠죠. 근데 이제 이 질문에 답을 하려면서요.

그 애플 리모트가 원래 제어하던 프로그램 이름도 알아야 되고 그 프로그램을 제어할 수 있는 기기에 대한 정보가 필요합니다. 따라서 이거를 리소치하기 위한 정보들이 필요하죠. 그런데 왼쪽에 Reason Only를 먼저 보게 되면 얘는 중간 풀이 우리가 Reasoning Traces라고 얘기를 하는데요. 걔를 작성을 하게끔 됩니다. 그래서 프론프트로 먼저 일단은 퀘스천이 들어와요. 필요한 사실을 순서대로 생각하고 마지막에 답해라라고 지시를 하게 되면 프론프트가 X야.

이제 X는 여기 핫 스팟 퀘스천에 나오는 이 퀘스천입니다. 이게 이제 들어왔을 때 얘를 여기서 프로그램을 뭘로 해야 되고 얘를 제어하는 다른 기기가 Y가 무엇이고 따라서 정답을 Y로 주면 되겠다라고 하는 이 리즈닝 트레이스스를 만들게 됩니다. 그러면은 이렇게 이 리즌 온리에서 생성된 리즈닝 트레이스스가 우리 레그 방식에서 보자면은 컨텍스트 베이스드 제너레이션을 할 때 그 출력의 컨텍스트로 들어가게 됩니다.

그러면 이 reason only에서는 외부 자료를 내가 검색하지 않고 이 모델 스스로가 reasoning을 통해서 생성한 reasoning traces를 컨텍스트로 해서 output을 generate 할 수 있는 모델이라고 볼 수가 있어요. 그래서 우리가 reason only라고 얘기를 하고요. act only는 뭐냐? 얘가 그렇다고 reasoning은 아예 안 하는 건 아닌데 reasoning보다는 action과 observation이 더 주가되는 모델이고 예를 들면 얘는 내가 사용하기를 원하는 도구와 호출 형식을 내려줍니다. 이제

예를 들면 정보가 필요해요. 뭐 여기서 지금 보면은 애플 리모트가 원래 제어하던 프로그램이 뭔지 궁금해. 그러면은 그 정보를 서치를 사용해서 검색을 해라. 라고 해서 검색에 필요한 이 액트를 하기 위한 도구, 서치를 알려주고요. 그리고 네가 답을 다 찾았다고 판단을 하면은 피니쉬라고 하는 도구로 줄여서 끝내보라. 라는 식으로 이 액션과 업서베이션에 대한 룰을 주게 돼요. 그래서 뭐 모델이 실제로 서치 요청을 하면은 주변 프로그램의 실제 검색을 수행을 하게 되고요. 그 결과 업서베이션이 이제 모델의 컨텍스트로 들어가서 모델의 다음 도구 요청, 액체를 만들게 되고

옵저베이션이 충분히 누적되었다라고 판단이 되면 그 때 피니쉬라고 하나의 액션을 호출을 해가지고 그 때까지의 옵저베이션들을 컨텍스트에 넣어가지고 답변을 생성하는 게 바로 Act-only의 도형입니다. 근데 이런 Reason-only와 Act-only가 각각의 장점이 있지만 동시에 각각의 단점이 있어요. 먼저 이 Reason-only 같은 경우에는 처음에 만약에 프로그램 이름을 잘못 기억하게 된다라든지 잘못 입력하게 되는, 즉 첫 단추를 잘못 끼게 되는 이 Listening Traces 자체가 엉뚱한 답으로 갈 확률이 없습니다.

이럴 때는 사실은 필요한 게 리즈닝이 아니라 프로그래밍이 맞는지 외부 자료를 통해서 확인하는 액션이 필요합니다. 즉 내가 아무 외부 검증 정보가 없는 상태에서 혼자 머리를 불린다고 답이 안 나오죠. 반대로 액트올리도 액션, 즉 서치를 통해서 검색만 하게 되는 다양한 검색 결과들이 쌓이게 될 때 그러한 검색 결과들이 단순히 언급만 된 검색 결과인지 아니면 지금 내가 풀고자 하는

그 question에 대해 도움이 되는 검색 결과인지에 대한 reasoning이 필요합니다. 이게 reasoning 없이 acting만 할 경우에는 결국은 observation에 쌓이는 자료는 점점 늘어나는데 그 자료가 lost in the middle 같이 결국은 context problem으로 연결될 수 밖에 없다고 할 수가 있습니다. 그래서 필요한 사실을 acting을 통해서 밖에서 확인을 하고 이렇게 찾은 사실이 질문과 어떻게 연결됐는지를 reasoning을 할 필요가 있다는 게 연구들의 결과라고 할 수가 있습니다.

그런 결과를 바탕으로 이 줄, 리즈닝과 액팅을 연결한 방식이 여기 나오는 REACT라는 프로그램. 그래서 2013년에 ICLR에서 소개되어서 화제가 됐던 프레임워크인데요. 보시면 왼쪽에 핫스팟 QA 벤치마크 데이터셋에 대해서 스탠다드는 스탠다드 베이스라인 모델인 거죠. 그리고 그 밑에 1B, C-O-T, 체인오프소우트는 리즌올리의 예제로서 사용이 됐고요. 1C의 ACT-only는 보시면 서치를 계속 써가지고, ACT-1, 서치, Observation, 별가 나오고, 그 다음에 이 Observation을 기반으로 ACT-2, 서치, Observation-2, 이렇게 나오는 걸 볼 수가 있습니다.

그런데 이제 리액트, 리즌과 액트를 더한 것은 이 액트와 옵저베이션을 하기 전에 thought를 해서 액트를 결정하고 옵저베이션하고 그 결과를 가지고 thought를 해서 액트와 옵저베이션을 하는 그 리즈닝과 액션이 결합된 형태에 해당한다는 것을 볼 수가 있습니다. 그래서 얘는 이제 프론트 로우라는, 실제로 여러분들이 읽어보시면 애플 리몬트를 찾았더니 프론트 로우라는 걸 찾았고 프론트 로우 소프트웨어에 꽂혀가지고 끝나버리는데 얘는 그 프론트 로우 소프트웨어와 관련된 키보드 펑션 키라는 보다 세부적인 기능까지를 찾아서 마무리하는 것을 볼 수가 있습니다.

그래서 여러분의 오른쪽의 결합 구조, 리스닝 트레이스, LN, 그리고 인바러먼스가 있는 것을 보시면 LN이 중간 추론과 도구 요청을 번갈아서 생성을 하고 외부 결과를 컨텍스트 받아서 다음 판단을 이어가는 모습을 보여주고 있고요. 이때 리스닝용 모델, 액팅용 모델이 따로 있어야 하는 건 아닙니다. 결국은 여기서는 프롬프트와 수행 예시를 워크플로우로 디자인해서 이런 형식을 따르게 합니다. 이 리액트라는 프레임워크가 ICLR에서 화제가 됐던 이유가 뭔가 리액트를 위해서 추가적인 가중치 학습을 하는 게 아니라 워크플로우를 디자인하는 것만으로도 유의미한 향상이 있었기 때문에 그렇고요. 가중치 학습을 통한 모델 학습에 대해서는 파트2에서 조금 더 다뤄보도록 하겠습니다.

결과 테이블을 볼 수가 있는데요. 아까 봤던 핫퀘스천, QA 같은 경우에는 여러가지 사실들을 연결하는 지리융단이고요. 그리고 이 Fever 같은 경우에는 주장이 근거를 뒷받칭하는지 뒷받칭 되는지에 대해서 판별하는 과제라고 볼 수가 있습니다. 그래서 QA 같은 경우엔 Exact Match, 정답을 Exact하게 맞춰야 되고요. Fever는 이제 Accuracy로 평가를 하는 Exact Match까지 필요가 없어요. 그리고 옆에 이제 6-Shot, 3-Shot 같은 경우에는 이 Profit를 입력할 때 넣는 그 3-Shot example의 예제라고 볼 수가 있습니다.

그래서 먼저 결과에서 그 act-only와 리액트를 보시면 되게 재밌는 게 그 스탠다드와 비교했을 때 act-only와 리액트가 hot-qa, 이 exact match에서는 더 감소하는 것을 볼 수 있어요. 그럼 이제 여기까지 보면, 야, 그 리액트라는 프레임워크 별로 신뢰할 수 없는 거 아니냐고 판단을 할 수가 있는데 여기서 사실 되게 중요한 부분은 best-react-plus-cut-method입니다. 즉, 리즈닝과 액팅을 우리가 아까 워크플로우적으로 설계한 다음에 걔네가 잘 돌아가기 위해서 여러분 어플레이션을 했을 때

어떤 식으로 시스템 프롬프트를 구성하는 게 좋을지에 대한 설정값이 있을 수 있겠죠. 그래서 단순한 act-only나 단순한 react는 그러한 설정값을 최적화하지 않은 예제라고 볼 수가 있고요. 그러한 설정값을 최적화한 결과가 여기 아래쪽 두 번째에 나오는 best-react-plus-cot-method라고 할 수 있습니다. 그리고 얘네들을 보면 스탠다드, 단순한 reason-only-cot, act-only-react 등과 비교했을 때 유의미하게 결과값이 높아지는 것을 볼 수가 있고요. 근데 이제 또 이 벤치마크 데이터셋을 여러 개 비교하는 이유 중에 하나는

이 ExactMatch에 해당하는 합파 QA는 스탠다드와 비교했을 때 ActOnly나 React가 좀 성능이 저하됐었는데 이 Fever 벤치마크 같은 경우에는 이 스탠다드와 비교했을 때 오히려 ActOnly나 React 프레임웍이 훨씬 더 높아지는 것을 볼 수가 있습니다. 물론 Best React 플러스 COT 메소드가 가장 높은 결과를 보여주긴 하지만요. 그리고 이 페이퍼에서는 본인들이 확보한 데이터를 가지고 SFT도 진행을 해요. 그래서 Supervised and Sota 모델을 만들어서 비교했을 때 물론 우리가 이 Workflow 디자인을 통해서 React 같은 프레임워크로 이 베이스라인 LN보다 성능을 높일 수 있는 건 맞다. 하지만 이 베이스라인 LN 보다 이 베이스가는 SpecITี and Operating

진짜 우리가 성능을 파격적으로 올리기 위해서는 결국은 어느 정도의 슈퍼바이스드 파인튜닝은 필요하다라는 것을 이 연구에서 보고를 하고 있습니다. 어쨌든 슈퍼바이스드 파인튜닝이 좋지만 이게 쉽지 않기 때문에 우리가 베스트 엔지니어링을 통해서 도구와 추론을 결합시켜주는 게 중요하다라는 이야기를 하고 있습니다. 리액트에서 좀 나아가서 플래닝을 볼 텐데 이번에는 조금 더 복잡한 리서치를 해볼게요. 만약에 우리가

이 세 개의 자동차 회사의 정책을 여러 항목으로 비교해서 보고서를 쓴다라고 한번 해볼게요. 그래서 검색을 계속 반복적으로 하다 보면 특정 회사만 되게 자세히 조사가 될 수도 있고 다른 회사의 중요한 항목은 빠뜨릴 수도 있습니다. 그래서 우리가 부계획하게 마트에 가서 물건을 사다 보면, 어 맞아 이거 샀어야 되는데 안 샀다, 소금 안 샀다, 쌈장 안 샀다, 무 안 샀다 놓칠 수 있잖아요. 그럴 때 우리가 필요한 게 계획이죠. 따라서 플랫폼을 만들고 있습니다.

플래닝은 내가 원하는 목표를 달성하기 위해서 어떠한 계획을 세워야 될지 미리 짜두는 기술을 플래닝이라고 얘기합니다. 그래서 일단 첫 번째 문장에 plan the search process when information is distributed across the corpus. 즉 내가 연구하고자 하는, 내가 찾고자 하는 정보가 어떤 완벽한 단일 문서에 있는 게 아니라 여러 문서들, corpus에 distributed 되어 있을 때 그때 플래닝이 매우 필요하다고 할 수가 있고요.

또 이 planning이 필요한 이유 중에 하나는 no single optimal query, 즉 완벽한 optimal query가 없어요. 즉 이 키워드를 가지고 검색하면 내가 원하는 것을 100% 찾을 수 있어가 아니라 내가 찾고자 하는 이 연구 목표를 달성하려면 이런 것도 검색해봐야 되고 이것도 검색해봐야 되는 다양한 query가 필요할 때, 그럴 때 우리가 여기 나온 것처럼 decompose the question into subquery, 즉 나의 question을 이 subquery, 작은 검색질문들로 나누게 됩니다. 그래서 예를 들면

원래의 퀘스천이 새 회사의 전기차 목표를 비교해줘 라고 하는 퀘스천이 있었어요. 그럼 그 퀘스천을 가지고 새 회사, 전기차 목표, 비교 라고 하는 어떤 쿼리를 만드는 게 아니라 얘를 서브 쿼리로 도요타의 2030년 목표는 무엇인가, 폭스바겐의 2030년 목표는 무엇인가 이런 식으로 서브 쿼리화 시키는 게 플래닝에서의 중요한 요소라고 할 수가 있어요. 이렇게 하면은 검색 뿐만 아니라 내가 계획대로 잘 했는지를 판단할 때도 되게 좋아요. 그러니까 예를 들면은 새 회사의 목표를 잘 비교했어? 라고 물어보는 게 아니라

도요타 목표 찾았어? 폭스박의 목표 찾았어? 이런 식으로 그 서브 커리에 대한 달성 여부를 세세하게 평가할 수가 있습니다. 마지막에 이 인디펜던트 커리와 디펜던트 커리라는 개념이 있는데요. 이건 말 그대로 검색들이 서로 독립적이기 때문에 동시에 해도 되냐? 아니면 서로 디펜던트 하기 때문에 순서대로 해야 되냐?에 대한 문제입니다. 예를 들면 비교할 회사와 항목이 정해졌다면 각 회사의 목표, 예를 들면 도요타의 판매량, 목표, 그리고 폭스박의 판매 목표, 이건 동시에 해도 상관없습니다. 그럼 이런 것들을 우리가 병렬적으로 실행할 수 있는 것을 인디펜던트 커리라고 얘기하는데요. 아까 앞에 소개했던 예제처럼 그 방법도는 여러번 그럼

애플 리모트에서 어떤 프로그램을 조작할 수 있도록 해줘라고 했을 때는 애플 리모트의 어떤 프로그램인지를 먼저 알아야지 그 다음에 그 프로그램을 조작할 수 있는 다른 하드웨어를 우리가 찾을 수가 있습니다. 따라서 뭔가를 찾아야지만 그 다음 거를 찾을 수 있을 때를 우리가 이 디펜던트 퀄이 나왔다고 얘기를 합니다. 그래서 이런 플래닝과 리액트를 제가 나눠서 설명했지만 사실 플래닝과 리액트를 동시에 할 수도 있다고 얘기할 수가 있습니다. 그러면 이거를 이 계획에 관련해가지고 필요한 예제를 제가 가지고 와봤어요. 자 이제 계획을 만들고 질문을 나누고 검색한 답을 글로 연결하는 실제 과정인데요. 일단은 람세스 4세에 대한 소개글을 만드는 걸 하려고 해요. 그래서 일단은 유저 프롬프트를 넣어봅니다.

남체사세, 인물로 검색을 하게 되죠. 그러면 이 유저 프롬프트, 모델퍼리, 리트리브, 리서츠 이 흐름에서 굉장히 여러가지 정보들이 나오게 됩니다. 그래서 어떤 인물인지, 남체사세, 가족관계는 어떤지, 얘가 지금 어디에 붙여 있는지 이런 것들이 나와요. 근데 이 오른쪽에 보면 어떤 게 생겼습니다. 바로 이 플랜 제너레이션에 대한 시스템 프롬프트예요. 그럼 이 플랜 제너레이션이 하는 일은 뭐냐? Given the above search results, 이 주어진 검색 결과에 대해서 Write a list of instructions for how to provide an answer to write a bio about entity in the format. 즉 내가 이 리절트를 가지고 이 사람에 대한 설명을 위한 이 패러그래프 1, 패러그래프 2 같은 거를 만들 수 있도록 해달라 라고 얘기를 합니다. 예를 들면 첫 번째 패러그래프에는 인물의 기본 정보, 그 다음 패러그래프에는 왕이의 온 과정 같은 것들을 할 수가 있겠죠. 특히 그리고 엑소스의 눈정보를 하는 말이 어떤지, 그 다음 패러워지 dziixon관계는 이유로 감상할 수 있을까?

여기에 대해서 아래쪽에 N개의 패러그래프를 만들 때 그 N개에 대한 소개를 하고 있는데 각 문단에 넣을 내용, 그때 제외할 내용, 어떤 식으로 우리가 근거를 찾아야 될지에 대한 것들을 이렇게 시스템 프롬프트에서 주게 됩니다. 그리고 그거를 리서치를 가지고 플랜을 제너레이트 하도록 우리가 시키게 되죠. 그럼 이제 이 리서트를 가지고 이 플랜 제너레이트에 대한 시스템 프롬프트를 가지고 만들어진 결과가 바로 이 플랜, 패러그래프 1, 2, 3에 해당하는 이 결과 노란 상자로 볼 수가 있습니다.

그래서 아까 우리가 시스템 프롬프트를 시킨 대로 첫 번째 문단은 인물의 어떤 기본 정보와 가족관계, 그리고 두 번째는 왕위에 오는 과정, 세 번째는 매장과 관련된 내용들을 보여주고 있죠. 그리고 이 패러그래프가 그 과정을 소개하는 게 아니라 그 문단에 어떤 내용을 적을지를 시키는 겁니다. 그래서 람체스 사세에 대해서 맨션에 대한 내용이 이 패러그래프에 들어가야 되는지에 대한 계획이 있습니다.

이 완성된 패러그래프가 아니라 어떤 패러그래프가 들어가야 되는지에 대한 계획을 적용합니다. 그러면 그 계획을 가지고 제일 중요한 부분이 바로 이 independently generate questions per paragraph거든요. 이 부분이 바로 그 서브 커리를 만드는 과정이라고 생각을 합니다. 이 계획을 우리가 실제 확인해서 문장으로 만들기 위해서 어떤 질문이 필요할까를 만들게 됩니다. 그래서 오른쪽 프롬프트를 보면 이 문단을 쓰기 위해 답을 알고 싶은 질문을 작성하라고 여기 패러그래프에서 쓰고 있어요.

그래서 예를 들면 두 번째 문단이 왕위에 오르는 과정을 설명하는 부분이라면 람세스 탓에는 언제 왕위에 올랐을까? 궁금하네. 조사해야 되겠다. 지휘에 어떤 사건이 영향을 주었는지 써야 되는데 뭔지 모르겠네. 조사해야 되겠네. 그런 질문들을 만들 수가 있습니다. 그리고 나서 각 질문들을 따로따로 읽어도 이해할 수 있도록 해달라고 여기 이제 이 프롬프트에서 명시를 하고 있고요. 이런 프롬프트를 우리 이제 repeat for k-parallel, 즉 k-parallel에 대해서 계속 반복을 해서 서브 커리를 만들게 됩니다.

그럼 결국은 이 패러그래프 문단별로 확인할 질문의 목록이 만들어지게 되고 이제 우리가 그것들을 활용을 해서 이 딥 리서치라는 것을 하게 됩니다. 자 이 퀘스천 제너레이션 파트를 끝내고 나면은 결국은 리츄리브 되는 부분이 이런 식으로 바뀌어요. 그래서 일단은 왼쪽과 오른쪽을 비교를 해보면요. 왼쪽은 그 패러그래프 1을 작성하기 위해서 필요한 이 서브 퀘스천들

이 각각의 성퀘스천은 독립적이면서 이것들이 있으면 패러그래프를 답변할 수가 있어요. 패러그래프 2도 마찬가지고 3도 마찬가지고 얘가 K번 반복했으니까 K계가 있겠죠. 그리고 얘에 대해서 리출입을 하게 돼요. 그럼 리출입의 결과가 이 퀘스천과 앤서의 폐열을 만들게 되는데요. 패러그래프 1의 퀘스천 1.1을 내가 조사했더니 앤서를 1.1이 조사가 되었다. 그래서 원래는 이런 것들이 무작위적으로 나의 레그에서는 퀘리 기반으로 리출입가 됐는데 이제는 그 서브퀘리에 대한 리출입된 결과들이 세세하게 나오게 됩니다.

이것들을 통해서 내가 이 딜린 서치의 목표를 달성하기 위해서 필요한 결과들을 다 얻을 수가 있게 되는 겁니다. 그래서 이렇게 정리된 이 question answer pair가 나오게 되고 이것들을 활용해서 제일 오른쪽의 generation에 되면 Consider the following question answer pair. 이 question answer pair를 활용을 해서 Write a full and clear paragraph about query using only facts in the above. 즉 여기서의 query는 이제 오리지널 query예요. 내가 원래 원했던 거기에 대해서 자, 네가 딜린 서치한 거를 바탕으로 해서 한번 멋들어지게 작성을 해봐라. 라고 지시를 하게 됩니다.

그리고 이제 마지막으로 모델 아웃풋이 결국은 이 패러그래프 1, 2, 3에 대해서 딥미서치의 결과를 바탕으로 이 퀘스천 앤서 페어를 잘 활용해서 이 플래닝을 따라서 구현된 것을 볼 수가 있습니다. 그래서 큰 차이가 인물의 이름에서 그냥 대충 검색해서 바로 글을 생성하는 게 아니라 이 플래닝을 통해서 이 계획을 짜고 그 계획을 달성하기 위한 서브커리를 만들고 그 서브커리 질문에 대한 앤서들을 찾고 그 세부적인 퀘스천 앤서 페어를 내가 컨텍스트 재료로 삼아서

이 수행한 게 바로 이 플래닝 기반의 딥 리서치다라는 것을 여러분들이 기억해 주시면 되겠습니다. 그래서 이제 이것은 그러한 플랜 베이스트 리트리벌과 다른 기법들을 좀 비교해 본 결과표예요. 그래서 일단은 첫 번째 데이터셋과 어프로치에 관련해서 보게 되면 검색 없이 노 리트리벌로 작성할 조건도 있고요. 위키 이벤트, 위키 잉글리쉬, 리서치 뉴스 이벤트는 데이터셋입니다. 그리고 뭐 노 리트리벌은 리트리벌 없이 하고 원 리트리벌은 한 번 리트리벌 한 거고 원 리트리벌 투 엑스 스니팻은 리트리벌을 한 번 하는데 그때 리트리벌 할 수 있는 토큰

컨텍스트의 양을 두 배로 늘려준 겁니다. 그리고 이 Plan Retrieval은 계획 기반의 Retrieval인데 Variable A, B라고 해서 두 가지의 버전을 나눠서 얘가 제안을 했어요. 그리고 실제로 얘가 가장 제안하고 싶은 버전은 버전 A라고 생각을 해 주면 됩니다. 그래서 AIS Street이라고 하는 지표가 있는데 얘는 이제 작성된 내용이 출처 자료로 뒷받침이 됐는지에 대한 정량적 평가를 할 수 있는 지표입니다. 그래서 뭐

선거 검색하면 74.5, 검색량을 좀 늘려주면 75.39, 0.8 늘긴 하죠. 그런데 플랜 베이스 리트리거를 하면 거의 10 이상 AIS 스트릭 지표가 상승하는 것을 볼 수가 있습니다. 그래서 이러한 패턴은 여러 가지 데이터셋에 대해서도 반복이 되고 있고요. AIS 스트릭 외에도 마크로, 마이크로, 로가, 런, R2 등등 여러 가지 지표에 대해서도 반복이 되고 있습니다. 그리고 되게 재미있는 것 중에 하나는 이 토큰 사용량이 생각보다 엄청 많지 않다. 즉 이 플랜 레트리벌이라고 해서

얘가 엄청난 토큰을 사용하는 게 아니라 얘를 잘 최적화하게 되면 오히려 No Retriever에서 완전 제로 베이스에서 뭔가를 만들어낼 때보다 이 토큰 사용량이 더 효율적일 수 있다는 것을 보여주고 있습니다. 왼쪽 같은 경우에는 One Retriever, Plan Based Retriever 이렇게 했을 때 어떤 식으로 Example Generation 되는지를 보여주고 있어요. 그런데 이제 Plan Based Retriever를 했을 때 조금 더 촘촘한 내용이 작성될 수 있다는 것을 보여주는 Example Generation Figur라고 볼 수가 있습니다.

이런 식으로 우리가 딥리서치 에이전트를 만들 수가 있고요. 여기서 보여주는 것은 올모2랑 올모3에 대해서 어떻게 다른지 아까 서두에 얘기했던 거죠. 여러 가지 모델들이 있는데 모델 비교해봐 라고 했을 때 얘를 이 딥리서치 에이전트한테 시킨 겁니다. 그러면 왼쪽 기록을 보시게 되면 그 프로세스를 우리가 띄워줄 수가 있는데요. 먼저 관련해서 공식 자료를 서치를 하죠. Searched for 올모2 and 올모3 모델 그리고 이 Read를 하게 됩니다. 여기서는 이제 Act까지 다 할 수 있도록 해준 거죠. Reasoning과 Act가 섞여져 있는데 이런 식으로 읽고 나서 오른쪽에 보시면 그것들을 비교해서 모델 스케일, 아키텍처에 모델 사이즈에 대해서

Key differences and comparison을 보여주고 있습니다. 이렇게 해서 뒤에다가 우리 attribution 붙이는 게 중요하다고 했는데 이런 reference까지 달아가지고 보여주고 있어요. 자, 그런데 이제 이러한 딥리서치 에이전트를 여러분들이 만든 다음에 얘가 잘하나 못하나를 이제 evaluation을 해야 되는데 그 evaluation에 대한 내용, 그리고 그때 필요한 어떤 벤치마크 데이터 세트를 한번 살펴보도록 하겠습니다. 딥리서치 연구에서는 이거를 평가할 때 크게 한 세 가지 컨셉이 중요해요. 첫 번째는 이 complex verifiable short form question이라는 게 중요합니다.

일단은 딥리서치를 정의할 때 컴플렉스한 리서치를 하기 위해서 딥리서치라는 기술을 만들었다고 했잖아요. 따라서 첫 번째는 찾기 어려운 문제 데이터셋을 활용을 하거나 만들어야 됩니다. 즉 이때 찾기 어렵다, 컴플렉스하다는 것은 어떤 의미냐면 하나의 자료를 리트리거 하면 정답을 알 수 있는 게 아니라 내가 그 정답을 답하기 위해서 여러 자료들을 찾아서 걔네들을 연결해야지만 마지막에 답을 제시할 수 있는 것들을 우리가 컴플렉스한 패션이다라고 얘기를 합니다.

그래서 찾는 능력을 컴플렉스하게 시험하는 게 중요한데 근데 보면 이 Verifiable Short Form Question이잖아요. 즉 우리가 진짜 리서치 연구를 하게 되면 그 연구의 결과를 논문이나 학회 페이퍼로 쓰고 리뷰를 받게 되는데 그런 논문을 평가하듯이 딥리서치의 성능을 평가하기가 어렵기 때문에 비록 푸는 문제는 컴플렉스하지만 그 문제를 잘 풀었는지 못 풀었는지에 대한 정답은 단답형으로

Verifiable 하고 Short Form 해야 된다. 그래야지만 이것을 벤치마크 데이터셋으로 쓸 수가 있습니다. 그래서 첫 번째, 컴플렉스한 Verifiable Short Form 퀘스천이 되어야 된다. 두 번째, 이 Lubric Based Evaluation입니다. 이거는 방금 얘기한 논문이나 그런 컨퍼런스 페인퍼 같은 경우도 결국은 이 Lubric Based Evaluation이라고 할 수가 있는데요. 우리가 여러분들이 논문이나 어떤 것들을 쓰면 거기에 대해서 리뷰어들한테 Lubric Based Evaluation, 이 논문은 이런 측면에서 평가해야 된다. 논리성 측면에서 평가해야 된다.

좌독성 측면에서 평가해야 되고 신뢰성 측면에서 평가를 해야 되고 그러한 평가 지표들을 우리가 이 루브릭이라고 합니다. 그래서 정답이 정해져 있지 않은 오픈 엔디드이면서 논문이나 보고서 같은 롱폼한 것을 작성하는 테스크에 대해서는 우리가 이 루브릭 베이스드 이바우디어신 기법을 쓸 수가 있다. 마지막 세 번째는 이 휴먼 이바우디어신인데 결국 우리가 딥리서치라는 기술을 만들었어요. 걔가 뭔가를 잘해.

그런데 오픈 AI에서도 딥 리서치라는 기술을 만든 이유가 컨설팅 펌이라든지 아니면 법률 회사 같은 데에서 여러분 앞으로 우리 오픈 AI나 엔트로픽에서 만든 기술을 사용을 해서 법률 자문도 하시고 연구도 하세요라는 측면에서 만든 거거든요. 그런데 인간이 쓰기 불편하면 안 되겠죠. 따라서 실제 사람이 쓰기 좋은가를 평가하는 게 휴먼 이벌 유지입니다. 그래서 미리 정한 질문을 평가하는 것을 스태틱이라고 하고

사람이 실제 질문을 막 써보는 것을 라이브 퀄리 기반의 Human Evaluation이라고 하는데 이런 세 가지로 나눌 수 있다고 알아주시면 되겠습니다. 이거는 이제 베이스라인이에요. Simple Factoid Question, Open Domain QA라고 하는데요. 얘는 지금 질문을 보시면 Where is the world's largest ice sheet located today? 이라고 되어 있죠. 세계에서 지금 현재 가장 큰 빙상은 어디에 있냐 이런 걸 물어봐요. 근데 이 질문은 사실 문서 하나 사자면 답할 수 있어요.

아이스시트에 대한 위키피디아 문서 하나 찾으면 바로 답할 수 있습니다. 그래서 엔탈트카라고 바로 대답을 합니다. 이렇게 특정 사실을 묻는 질문이 팩토이드 퀘스션인데 얘가 단순하고 정답이 명확하기 때문에 이것을 심플 팩토이드 퀘스션이라고 얘기합니다. 근데 이게 베이스라인이라고 하는 이유가 우리가 딥리서치 기술을 만들었는데 이런 것에 대해서 답변을 잘해서 벤치마크 인터셋에 대한

지표가 높다고 해서 우리가 딥리서치 기술을 잘 만들었다고 할 수 있느냐? 없습니다. 왜냐하면 이건 너무 심플하기 때문에 사실은 잘 만들어진 파라메트릭 메모리를 통해서도 답변을 할 수가 있고요. 서로 파라메트릭이 없어가지고 논파라메트릭으로 검색을 해야 된다고 하더라도 그냥 문서 하나 검색하면 바로 답변을 할 수 있기 때문에 딥리서치 평가에 적합하다고 할 수가 없습니다. 그래서 중요한 게 바로 이 easy to verify but hard to solve 하는 question인데

이런 데이터셋을 만드는 것도 연구가 될 수 있습니다. 그래서 사실 AI 분야에서 제일 어떻게 보면 좀 럭키하면서 편하게 했던 연구 중에 하나가 이미지넷 연구인데 이미지넷 연구의 제일 큰 컨트리뷰션은 뭘까요? 이미지넷 연구의 제일 큰 컨트리뷰션은 다양한 이미지를 모으고 이건 강아지입니다. 이건 개입니다. 이거는 고양입니다. 이거는 배입니다. 이런 식으로 그 이미지에 대한 카테고리를 부여하는 게 이미지넷이라고 하는 페이퍼입니다.

이게 컴퓨터 비전 쪽에서 일종의 가장 영향력 있는 벤치마크 데이터셋이 되다 보니까 인용이 지금 오늘날에도 어마어마하게 되고 있죠. 그런 측면에서 이 Browse Comp라는 연구는 Easy to verify but hard to solve on questions에 대한 벤치마크 데이터셋을 만드는 연구라고 볼 수가 있습니다. 그래서 예제 질문이 이런 거예요. Please identify a fictional character level라고 되어 있는데 가상의 캐릭터, fictional character 이름을 찾으라고 합니다. 단서들이 나와요.

관객에게 직접 말을 거는 것처럼 우리가 이제 뭐 제사의 벽이라고 하는데 그거를 깨기도 하고 유머로 되게 잘 알려져 있고 과거 에피소드를 보면은 헌신적인 수행자들의 도움을 받은 적도 있고 뭐 그 TV TV 프로그램이 1960에서 80년대 사이에 방향이 되었고 에피소드의 대수가 fewer than 50 에피소드이다. 그래서 결국은 물어보는 것은 이 픽셔널 캐릭터가 뭐야? 라고 물어보지만 거기에 대해서 답하기 위해서

다양한 단서들을 hard-to-solve 해야되는 문제라고 할 수가 있습니다. 그러면 이런 것들을 우리가 찾아 나가는 과정 자체가 되게 중요하고 그때 이 데이터셋을 만든 조건이 핑크색 박스 속에 들어있는 것과 같습니다. 첫 번째, 일단은 그 문제를 만들 때 정말 찾기 어려운지 골라내야 돼요. 예를 들면 GPT-4한테 물어봤을 때 일단 틀려야 돼요. GPT-4가 그 당시에는 제일 쏟아였기 때문에 그리고 구글 검색을 다섯 번 사용을 해도 이게 can't be answered 돼요. 그리고 인간한테 풀려고 해도 인간이 10분 안에 풀지 못해요. 그러면 충분히 이게 벤치마크 데이터셋에 포함될 정도로

Hard-to-solve 하다. 하지만 정답은 단답형, Plastic Man 이런 단답형 하나이기 때문에 Easy-to-verify 하다 라고 얘기를 할 수가 있습니다. 그래서 사실은 ImageNet가 비교했을 때 훨씬 데이터를 구축을 하고 라벨링 하기가 어려운 문제라고 할 수가 있어요. 그래서 이러한 연구는 후발주자 연구다 보니까 훨씬 더 어렵습니다. 지금 하나의 문제 유형을 봤고요. 그 다음에 이런 것도 있어요. 이게 아까 여기 Lubric Based Evaluation에 해당하는 데이터셋이라고 볼 수가 있는데요.

Realistic but unverifiable research question is 여기서는 What's the state of the art? Immunotherapy for cervical cancer 어떤 암에 대해서 항암 치료의 어떤 state of the art가 뭔지를 조사해 달라고 해요 그럼 얘가 막 조사를 해가지고 아, 이게 뭐 기법이 뭐가 있고, 여기에 대한 레퍼런스는 1번, 여기에 대한 레퍼런스는 2번 그래서 우리가 그때 중요하다고 했던 애트리비션도 잘 달았고 그리고 자료들도 나름 업투데이트한 자료들을 잘 찾았고 그 다음에 크레디버한 소스의 레퍼런스들을 가지고 와서 문제들을 만들었습니다

그런데 이제 이런 연구 기반 답변에 대해서 얘가 정말 잘 된 답변인지 잘 못 된 답변인지 아까처럼 이 플라스틱맨, OX로 평가하기가 매우 어렵습니다. 그런 것들을 우리가 리얼리스틱하지만 Unverifiable한 리서치 퀘스션이라고 얘기를 해요. 그런 게 어렵긴 한데 결국은 딥리서치를 잘하는지를 평가하기 위해서 필요하고요. 그래서 이제 진행된 제가 소개할 두 번째 연구는 이 스콜라 QA 벤치라고 하는

엑스퍼트가 어노테이션을 진행한 딥 리서치에 대한 벤치마크입니다. 그리고 이게 되게 어렵다 보니까 이 연구가 올해 네이처에서 발표가 됐어요. 제목은 Synthesizing Scientific Literature Read Retrieval Augmented Language Model 이라는 제목으로 소개가 됐고요. 그 안에 스콜라 QA 벤치가 여러 논문들을 종합해서 답변을 딥 리서치를 통해서 생성하는 능력을 평가하기 위한 벤치마크 데이터셋을 제안했습니다.

그래서 여기 보면 크게 두 섹션은 아니는데요. 왼쪽은 Understanding Single Paper이라고 해서 논문 한 편을 이해하는 과제입니다. 예를 들면 이 논문의 실험 결과가 이런 주어진 주장을 뒷받침하냐고 물어봤을 때 거기에 대해서 LLM이 잘 판단할 수 있는지를 평가할 수 있도록 구축된 데이터셋이라고 볼 수가 있고요. 주로 싱글 페이퍼에서 근거를 찾을 수가 있습니다. 오른쪽에 Synthesizing Multi-Papers, 여기를 보게 되면 다양한 분야에서 여러 가지 논문을 종합해야지만 답변할 수 있는 질문을 들어보고 그 질문을 통해서 잘 답변하는지를 평가하도록 합니다. 예를 들면 우리가 만약에

RAG에서 검색 성능을 높이는 방법들이 어떤 것들이 있고 각각 어떤 한계가 있는지 알려줘 라고 우리가 딥 리서치를 시켰습니다. 그랬을 때 이 생성된 열과를 만들려면 Synthesizing Motifle Paper를 통해서 뉴립스나 AAAI나 여러가지 메뉴에서 논문들을 종합해서 찾아야 되겠죠. 그래서 관련 연구들을 잘 찾아야 되고 또 어떤 접근을 사용하는지를 묻고 그리고 서로 다른 실험 조건이나 하실까지도 비교할 수가 있습니다.

논문들을 잘 이해하고 관계까지 정리할 수 있는지를 평가하는 게 바로 이 벤치마크의 핵심이다라고 볼 수가 있습니다. 그래서 아웃풋 행을 보게 되면은 understanding single paper는 단순하게 그냥 multiple choice나 classification 즉 선택이나 아니면 단답형 같이 볼 수가 있는데 그 오른쪽은 non-form generation 즉 긴 설명형 답변입니다. 그리고 그 긴 설명형 답변이 바로 앞에서 얘기했던 이 realistic unverifiable question에 대한 답변이다라고 볼 수가 있고요. 얘는 이제 되게 여러가지 분야에 대해서 다 보여주고 있어요. Computer Science, Biomide, Neural Science, CS 등등등 이런 것들을 가지고 이 데이터베이스 여러가지의 question과 거기에 대한 answer를 가지고 다음 시간에 또다른 고맙습니다. 그럼 여기라고 할 수가 있죠. 참고로 하면은 그냥 자유롭게 됐어요. 그럼 조금만 더 한번 볼 수가 있죠. 그럼, 그럼 이거 그래도 감사하지 마요.

벤치마크 데이터셋을 구성했다. 라고 소개할 수가 있습니다. 그러면은 이 페이퍼에서 이 스콜라 QA에서 자, 그럼 이제 벤치마크 데이터셋을 만들었어. 그러면은 그 벤치마크 데이터셋에 대해서 어떤 질문을 했을 때 답변이 잘 나왔다는 것을 어떻게 평가할 것이냐. 아까 이 우리가 EC2L5를 할 수 소프트 컷션처럼 단답형이 아니다 보니까 어떻게 할 거냐. 그래서 이 루프릭을 만들게 됩니다.

그래서 왼쪽의 input은 질문이 이런 거예요. 외부의 라이브러리의 취약점으로부터 소프트웨어를 오화하려는 어떤 방법을 쓰는 게 좋냐 이런 부분. 그러면 거기에 대해서 이 answer rubric이 정답을 주게 되는데 먼저 must have과 nice to have가 있습니다. 그 must have 같은 경우에는 반드시 있어야 되는 내용을 평가를 하고요. 여기 읽어보시면 the answer should discuss best practice that can be used to prevent these implications such as reliable source, update, monitoring, code. 즉 이 질문에 대해서 이거는 꼭 있어야 될 것 같은 것들을 갖추고 있는지 평가해라 라고 지지를 하고 있죠.

그런데 nice to have는 꼭 있어야 되는 건 아니지만 있으면 좋을 것 같고 answer가 some examples of famous third-party libraries that can be used in different programming languages 같은 거를 주면은 우리에게 꼭 있어야 되는 건 아니지만 있으면 좋을 것 같애라고 얘기를 합니다. 물론 이 루브릭 기반의 평가가 루브릭을 만들었다고 해서 판단이 완전 객관적이 되는 건 아니에요. 그래도 이 루브릭이 있으면 좋은 게 어떤 기준을 가지고 평가했는지를 우리가 알 수 있다 보니까 그 평가 결과에 대한

해석 가능성을 부여할 수 있다는 장점이 있습니다. 예를 들면, 이 벤치마크 데이터셋에서 이 input question에 대해서 우리가 만든 deep research agent가 이렇게 output을 generate 했어요. 그럼 이 output이 정답인지 아닌지가 아니라 얘가 잘 만들어졌는지를 이 answer rubric을 기반으로 평가하게 됩니다. 그럼 내 output에 보면 처음에 소프트웨어 against vulnerabilities stemming from search party libraries is a crucial aspect. 당연한 얘기했어요. 이거는 rubric 평가시표가 아니에요. 근데 여기 보면, below are some of the best practices based on the existing literature.

1번, 2번, 어쩌고 저쩌고 나오고 있어요. 하나는 지금 우리가 분홍색으로 쓴 이 부분은 이 머스테브 아이템, 루브릭과 매칭되는 부분이고요. 따라서 우리가 이데비에이션을 할 때 어? 머스테브 아이템을 갖췄네. 플러스 1점과 같이 평가를 하게 됩니다. 이런 식으로 평가를 하는 것을 루브릭 기반 평가다. 우리가 이 딥 리서치 분야에서 얘기를 하고요. 그 외에도 네이처에 퍼블리시된 것 말고도 그리고 여러 가지 재미있는 벤치마크나 혹은 이 루브릭 베이스드 이바류에이션 기법들이 있어요. 여기서는 항목마다 충족 정도를 구분하거나 아니면 중요도에 따라서 가점과 감점을 주는 방법이 있는데요. 예를 들면 왼쪽에 이 리서치 QA라고 하는 벤치마크 데이터셋은 굉장히 공들여서 만든 벤치마크 데이터셋인데 예제 질문이 뭐 이런 거예요. 사전학습 데이터에서 용어가 등장하는 빈도가 퓨셔스 사과의 수치 추론 성능이

어떤 영향을 주냐 이런 걸 물어봤어. 그러면 그 쿼리에 대해서 우리가 답변을 해야 되는데 그 답변에 어느 정도 연구적으로 무조건 참고해야 될 페이퍼 같은 것들이 있는 거예요. 그러면 그 루브릭에서 구체적으로 아까 루브릭 같은 경우에는 그냥 최신 사례를 언급을 했냐 이렇게 봤다고 하면 얘는 이 리스판스가 이 2022년 페이퍼에 등장하는 퍼포먼스 갭이라는 평가를 레퍼런스를 하고 거기에 대해서 언급을 했냐 안 했냐를 가지고 평가를 합니다. 따라서 막연하게 그냥 평가를 하는 게 아니라 구체적으로 어떤 논문을 인용을 했는지 그리고 여기에 대한 답변이 알겠습니다.

examples of studied or experienced and investigated the effect of a term frequency on the rank of visiting performance. 즉, term frequency의 이펙트에 대해서 언급을 했냐 안 했냐. 이런 식으로 이 질문에 대한 답변을 생성하기 위해서 꼭 연구적으로 갖춰야 될 핵심 요소들을 전문가가, 엑스퍼트가 annotated 합니다. 그걸 가지고 평가 기준을 만들게 되고요. 그걸 달성을 했을 때 사전 만점에 얘는 달성을 안 했어. 0점, 나래로. 얘는 완전했어. 사전 만점에 4점, 얘는 사전 만점에 1점. 이런 식으로 평가할 수 있는 것을 Research QA라고 하는 벤치마크 데이터셋으로 만들어볼게요.

오른쪽 같은 경우에는 헬스 벤치라고 해서 의료 분야에서 어떠한 리스판스를 만들 때 그 리스판스에서 좋은 크리테리온과 나쁜 크리테리온을 정의를 했어요. 그래서 좋은 크리테리온일 때는 높은 플러스 점수를 주고 나쁜 크리테리온일 때는 마이너스, 페널티 점수를 줘서 이러한 리스판스에 대한 최종 평가 점수를 우리가 낼 수 있도록 제시한 것을 헬스 벤치라는 이름으로 연구를 했습니다.

어쨌든 이 루브릭 베이스드 이바류이션 벤치마크가 검색을 해보면 여러 가지가 존재하고 있고요. 만드는 데 굉장히 힘들지만 어쨌든 만들면 그 자체도 연구 성과가 될 수가 있습니다. 그런데 이제 여기 보시면 Issues with Rubric Based Evaluation Framework라고 되어 있는데요. 이런 기준을 만들었다고 해서 사실 평가 문제가 끝나는 게 아니에요. 모델이 필요한 내용을 잘 설명하기보다 점수를 잘 받기 위해서 표현을 길게 쓸 수도 있거든요.

예를 들면 그런 거예요. 우리가 교육 시스템을 바꿔서 앞으로는 주관식에 대한 채점을 AI가 한다. 그런데 AI가 답변이 길어지면 뭔가 채점 점수를 더 잘 주는 것 같아요. 그런 경향이 실제로 존재한다는 것을 아래에 보여주고 있습니다. 이 아래 표는 X축은 주어진 답변의 길이를 나타내고 있고요. 나와있습니다.

그런데 그 답변의 퀄리티와 상관없이 답변의 길이가 길어지면 길어질수록 이 스코어가 양의 상관관계, 0.2 또는 0.47과 같이 양의 상관관계를 보이는 것을 볼 수 있습니다. 실제로 여러분들 시험 볼 때 주관식 답변을 말씀에 대해서 잘 모를 때 뭐라도 일단 쓰죠. 그런데 그게 놀랍게도 LLM에도 긍정적 영향을 준다는 것을 볼 수가 있고요. 그래서 첫 번째는 이 루버릭 이바두에이션이 brittle to length biases, 길이 바이어스에 루버릭 드럼 평가가 좀 취약한 경향을 보인다라는 거고요.

두 번째는 이 어노테이티드 루브릭이라는 게 결국은 전문가가 어노테이션을 해야 되는데 그게 전문가의 전문가 자체가 가지고 있는 인적 바이어스나 아니면은 이 리미티드 커버리지 루브릭 자체의 한계에 영향을 받을 수 없다라는 게 이 두 번째 한계점으로 볼 수가 없습니다. 그래서 뭐 이제 그 루브릭 기반의 평가를 하긴 하지만 그런 것들에 대한 한계점들을 우리가 좀 명치를 해야 되고요. 그래서 이렇게 언베리파이어블한 퀘스천에 대해서

굳이 원베리파이어블 한 것을 우리가 평가하려고 하지 말고 그럼 그런 롱폼의 딥리서치 결과 중에서 내가 평가할 수 있는 걸 평가하자라고 해서 많은 연구들이 이 2026년 ICLR 딥리서치 벤치 또 그렇지만 얘네들이 많이 사용하고 있는 평가기법이 차라리 사이테이션 애큐러시 인용 정확성이나 평가하자. 왜냐하면 인용을 정확하게 했냐 안 했냐는 내가 이건 평가할 수 있잖아. 이건 객관할 수 있잖아. 즉 연구처럼 주관성이 있는 게 아니잖아. 라고 해서 이런 것들을 평가합니다. 그리고 이 연구가 ICLR에서

그 소개됐던 이유 중의 하나는 그 데이터셋을 만들 때도 적극적으로 LLM을 사용했다는 측면에서 좀 좋은 평가를 받았습니다. 그래서 일단은 처음에 그 첫 번째 항목, 그리고 왼쪽에 이 Extract 여기를 보시게 되면은 이 Team Research Report에 대해서 이 JudgeLLM이 Extract를 해서 스테이트먼트와 URL을 리스트를 뽑게 됩니다. 그래서 이 스테이트먼트와 URL을 리스트를 이제 이 기억에 가져왔을 때 얘네들을 페어링을 해서

페어1 스테이트먼트에 대한 URL, 페어2 스테이트먼트에 대한 URL, 페어N 스테이트먼트에 대한 URL을 가지고 오게 되고요. 걔를 이제 다시 저치 NLM이 평가를 해서 페어1이 서포트인지, 페어2가 not 서포트인지, 페어N이 서포트인지를 평가를 하게 됩니다. 이렇게 평가된 열과를 가지고 우리가 평가한 전체 페어N개 중에서 과연 서포티드 된 게 몇 개인지를 새게 됩니다. 만약에 전체 페어가 열 개인데 그 중에서 여덟 개가 디퍼칭이 되었다고 하면은 아, 우리 사이테이션 액셀시가 80%다 라고 평가를 할 수 있는 게 바로 이 딥 리서치 벤치에서 사이테이션 액셀시 평가 지표라고 볼 수가 있습니다.

그런데 이제 사이테이션을 정확하게 했다라고 해서 사실 좋은 연구성과, 좋은 롱텀 보고서라고 할 수 있는 건 또 아니에요. 그래서 결국은 이 루브릭 베이스드 이발리에이션을 통해서 좀 필요한 내용을 충분히 다뤘는지 어떻게든 최선을 다해서 평가를 해보고 그 다음에 그렇게 쓴 내용을 근거가 잘 뒷받침을 하는지를 이 사이테이션 액틀시를 통해서 평가함으로써 상호 보완을 할 수 있다고 이야기를 합니다.

지금까지 우리가 평가 방법 두 가지를 봤고요. 마지막 세 번째가 Human Evaluation인데요. 여기서는 필요한 내용과 근거를 확인하는 데서 날아가서 사람이 읽었을 때 이게 실제로 사람에게 도움이 되는 답변인지를 보는 겁니다. 그래서 사실 reinforcement learning with human feedback의 화면과 되게 비슷할 수가 있는데 일단 여기 static이라는 표현은 평가할 질문이 미리 static하게 정해져 있다는 뜻입니다. 그래서 같은 질문에 여러 시스템이 맞는 답변을 놓고 사람이 비교해서 평가를 하게 됩니다.

그래서 왼쪽에 질문을 주고, 이 질문은 긴 컨텍스트를 처리하는 트랜스포머를 학습을 시킬 때 Sequence Palladism을 어떻게 사용하고, 방법들 간에 어떤 차이가 있는지를 레퍼런스를 가지고 answer하도록 지시를 하고 있어요. 그러면 평가자가 이 answer와 레퍼런스를 보고 A에 대한 평가, 여기는 A라고 있죠. 밑에 쭉 내리면 D도 나와요. 그런 식으로 A와 B에 대한 평가를 보게 됩니다. 그리고 나서

일단은 B가 생성한 아웃풋에 대해서 이 요소에 대해서 평가를 해라 라고 지시를 하는데 이 요소는 또 인간이 평가할 수 있는 일종의 루프린이라고 볼 수가 있어요. 보통 많이 쓰는 기법이 먼저 Organization이라고 해서 읽어보시면 Organization 키워드가 나오게 되는데 설명의 구성, 조직, 즉 방법별 특징과 차이를 잘 쉽게 따라가기 쉽게 정리를 했는지를 얘기를 하고요. 두 번째는 여기 읽어보시면 Sufficient Coverage and Amount of Information 라고 되어 있는데요. 필요한 내용을 충분히 다뤘는지 이렇게 보고 평가를 하게 됩니다.

그리고 세 번째는 우리가 Focus, 그리고 Relevance 같은 것들을 봐서 질문이 정말 잘 집중이 되어 있는 평가를 하고 마지막에 Overall Usefulness라고 해서 전반적으로 얘가 유용했는지를 5점 적도로 평가를 하게 됩니다. 그리고 마지막에 Preferences에 대한 평가 차원에서 A가 Better했는지, 아니면 Type, B였는지, B가 Better했는지를 평가를 하고 거기에 대한 Explanation을 입력하도록 합니다.

이것들을 통해서 우리가 개발한 님리서치 에이전트에 대해서 휴먼의 이바류에이션을 받을 수가 있게 되죠. 그런데 이것들을 비교를 했을 때 실제 이 2016년 페이커에서 가지고 왔어요. 비교를 했을 때 일단은 사람이 쓴 답변과 GPT-4, 5, 그리고 오픈 스칼라를 연결한 8배짜리 모델, 그리고 오픈 스칼라를 연결한 GPT-4 모델과 비교를 하게 됩니다. 그랬을 때 일단은 GPT-4, 5와

휴먼을 봤을 때 비등비등해요. GPT-4에 대한 선호비율이 40%고 인간에 대한 선호가 46.3인데 약간 높긴 하죠, 인간은. 8도 14.6으로 꽤 높습니다. 근데 그냥 오픈 스칼라와 8b짜리 되게 스몰한 LM을 엮은 것만으로도 리서치에 대한 QA를 할 때 인간의 선호가 여기로 확 옮겨가게 됩니다. 그리고 이 당시에는 GPT-4처럼 굉장히 파워풀한 모델과 오픈 스칼라를 연결해 주니까 당연히 8b짜리 모델보다 20% 이상의 성능 향상이 나타나고요. 그리고 모델이 좋아지면 좋아질수록 타이가 점점 없어지죠. 14.6, 16.1, 4.1 그리고 인간에 대한 선호도가 점점 낮아진다. 인간이 생성한 답변에 대한 선호도가 낮아진다라고 보면 됩니다.

인간이 생성한 답변과 AI가 생성한 답변을 비교했을 때 점점 AI 모델의 발전에 따라서 인간 생성 답변이 낮아진다는 것을 볼 수가 있고요. 그런데 이거를 이렇게 오버럴하게 때려가지고 야, 인간이 점점 줄어든다 라고 하면 아, 그래? 그러면 뭘 개선해야 되지? 그 개선에 대한 부분을 알기가 어렵고요. 아까 평가를 할 때 organization, coverage, relevance, overall usefulness를 봤잖아요. 그래서 organization, coverage, relevance 측면에서 비교를 해보면

일단은 위에가 휴먼과 아래가 각각의 모델들 휴먼 모델 휴먼 모델 휴먼 모델을 보여주고 있고 짙은 파란색으로 갈수록 very good 하다라고 평가한 것으로 5점 만점으로 평가해준 것으로 보면 됩니다. 그래서 제일 아래에 GPT-4O와 휴먼을 한번 비교를 해보시게 되면 organization과 coverage 측면에 있어서는 꽤 재미있어요. 그러니까 꽤 재미있는게 아무래도 GPT-4O는 지금 이제 연구와 관련된 오픈 스카다 정보를 지금 못 받고 있는 상황이다 보니까

이제 커버리지 측면에서는 그냥 인간이 생성한 답변보다는 조금 더 부정적으로 평가를 받고 있는 것을 볼 수가 있습니다. 하지만 이제 당연히 OS랑 연결이 되는 순간 인간이 AI의 커버리지를 따라갈 수 없는 것을 볼 수가 있죠. 그리고 이제 Organization 같은 경우에는 얼마나 조직을 잘 해주냐, 즉 글을 얼마나 잘 썼냐에 대한 부분이기 때문에 당연히 GPT-4, 5나 OS와 GPT-4를 연결시킨 게 이 Organization 측면에서 되게 잘 작성된 것을 볼 수가 있습니다. 그런데 여러분들 중에 혹시 8인짜리

오픈모델을 써보면 알겠지만, 얘네가 글을 못 써요. 확실히 그 상향 모델보다 못 씁니다. 그러다 보니까 인간과 비교했을 때, 이 organization 측면에서 더 낮게 점수가 나온 것을 볼 수가 있습니다. 그리고 재미있는 부분이 이 relevance에 대한 부분인데, 이 relevance라는 것은 결국은 우리가 앞에서 react, reasoning과 act를 조합해 가지고 need research를 한다. planning, 계획을 통해서 이 question을 서버 쿼리로 남아가지고 최대한 relevant한 것을 뽑는다 라고 얘기를 했지만,

그런 모든 것을 해도 이 AI와 인간의 차이가 다른 지표와 비교했을 때 크지 않습니다. 그리고 이게 이제 의미하는 것은 여전히 AI가 많이 발전했지만 이 relevance에 대한 평가를 인간 수준으로 AI가 하기는 쉽지 않다. 물론 OSGPT4와 Q1이랑 비교하면 여기서는 얘가 좀 더 높은 걸로 나오긴 하지만 나머지 두 개에서는 굉장히 비중하거나 인간이 조금 더 잘하는 걸로 나오는 것 자체가 이 relevance에 있어서 어려움을 보여주고 있습니다.

예를 들어서 요즘에 많이 화두가 되는데 아니 같은 LLM, 같은 생성형 AI를 쓰는데 왜 내가 쓸 때랑 네가 쓸 때랑 달라? 왜 내가 쓰면 잘 쓰는데 너는 왜 그렇게 밖에 못 써? 라고 하는 게 결국은 이 GPT-4가 Organization, Coverage 측면에서는 인간의 부족한 점을 보완해 줄 수 있지만 Relevance 측면에서 내가 relevant 하지 않은 direction을 주거나 Relevance, Relevance 하지 않은 방식으로 alignment를 주거나 가이드를 해 주면 결국은 이것도 일종의 Garbage in, Garbage out로

잘못된 아웃컴이 나올 수밖에 없다는 것을 보여주는 결과라고 볼 수 있습니다. 그래서 이 연구에서도 디스커션을 할 때 이런 엘러벤스를 어떻게 휴먼인 덜 루프로 만들지 이런 얘기들을 하는 게 이런 데이터를 가지고 보여줄 수가 있고요. 스태틱과 비교되는 개념으로 라이브 휴먼 이바이레이션이 있는데 스태틱은 미리 정해둔 스태틱 질문으로 답변을 평가했더라고 하면 라이브는 인간이 정말 이게 이제 reinforcement learning, human feedback인데 내가 궁금한 거 딱 쳤을 때 에이전트 A의 답변, 에이전트 B의 답변을 본 다음에 나 A가 좋아, 나 B가 좋아 이런 식으로 라이브로 평가를 하는 것을 우리가

라이브 휴먼 이바디웨이션이다라고 이야기를 합니다. 그래서 인간의 어떤 직관적인 평가를 제공받을 수 있다는 측면에서 라이브 휴먼 이바디웨이션의 장점이 있습니다. 그래서 우리가 파트 1, 디네소스 파트 1 진행을 했는데요. 첫 번째 보면 리서치, 조사, 연구라는 것은 결국은 리즈닝, 추론과 액션, 그리고 거기에 대한 행동들, 그리고 마지막으로 리버스틱 플랜

Revisable plan, 내가 수정하고 계속 완성해 나갈 수 있는 계획이 중요하다는 것들을 알 수가 있었습니다. 그리고 이러한 딥 리서치를 잘 하나, 못 하나를 평가하기 위해서는 우리가 ethical to search, 즉 검색하기는 겁나 어려워. 여러 가지의 소스들을 합쳐서 검색을 시켜야 되기 때문에 검색은 되게 어렵지만 easy to check한 소스 앤서가 일단 제 디포트라고 볼 수가 있고요. 하지만 최근에 이러한 딥 리서치를 우리가 보고서를 작성한다든지 연구 논문을 쓴다든지 이런 데 많이 쓰고 있다 보니까 그런 long-form evaluation은 사실은 realistic하지만

언베리파이어블을 하기 때문에 그 언베리파이어블을 한 것을 평가하기 위해서 우리가 루프릭 기반으로 루프릭 베이스드 이바이베이션을 할 수도 있고 또는 사이테이션 액베이스 체크를 할 수도 있고 아니면 휴먼의 저치만큼 휴먼이 이바이베이션을 제공할 수도 있다라는 내용들을 소개할 수가 있겠습니다. 네, 지금 이제 2시 12분이니까 저희 그러면 한 10분 정도 채워서 24분에 다시 시작하도록 하겠습니다. 잠깐 시작부터 진행할게요.

ご視聴ありがとうございました

Peace.

Стараться не снижать.

Thank you.

Thank you.

고기는 바로 비주얼 치킨을 하러 갔어요 오이의 아저씨 치킨을 만들어보았어요 치킨을 많이 먹기 치킨을 먹었고 치킨을 먹게 되는 거에요 치킨을 먹기

Thank you.

네, 이어서 한번 시작해보도록 하겠습니다. 자, 파트 2. 앞에서는 우리가 검색과 판단을 이어가는 에이전트의 워크플로우를 갖다 라고 할 수가 있어요. 워크플로우를 이제 좀 문의를 해봤고, 지금은 이제 딥 리서치 에이전트를 이제 학습시키는 어떻게 행동하는 모델의 가중치를 바꿔나갈지에 대해서 봐보도록 하겠습니다.

우리가 결국은 학습을 하려면 학습의 기준이 제일 중요하죠. MLT 같은 경우에도 어떤 식으로 로스 펑션을 잡느냐가 중요한 것처럼 이제 파트 1의 마지막으로 이벨루에이션을 배웠는데 어떤 이벨루에이션 지표를 가지고 딥 리서지 에이전트의 행동을 평가할 것인지가 결국은 제일 중요하다고 볼 수가 있습니다. 그런 측면에서 How can you train agents with verifiable rewards? 에서 이 verifiable rewards가 되게 중요한 키워드인데요.

정답을 확인할 수 있는 질문으로부터 시작을 할 수가 있어요. 즉, 내가 직접 검색을 해서 딥리서치 에이전트에 답을 하고 그 답이 verifiable한 리워드여서 거기에 대한 보장을 주면 검색 행동이 달라질 수 있다는 게 딥리서치 에이전트 학습의 첫 번째 교수라고 할 수가 있고요. 두 번째 우리가 고민해야 될 부분은 아까 hard to solve, easy to verify 그 short form question은 쉬웠는데 오픈 엔딩에 대한 리서치는 사실

리워드를 주기가 쉽지가 않아. 그러면 이 오픈 엔딩 리서치에 대해서 리워드를 어떻게 줄 것인가가 이 두 번째 연구의 고민 포인트라고 할 수가 있습니다. 거기에 대한 힌트는 우리가 이 루브릭 베이스드 이발리에이션 아까 그 오픈 엔딩 리서치를 루브릭 기반 평가로 평가할 수 있다고 했는데 그 루브릭이 하나의 힌트가 될 수 있는데 그러면 이제 또 맞닥뜨리게 되는 질문이 루브릭이 완벽하지 않을 수 있잖아. 그러면 그 완벽하지 않은 루브릭을 가지고

우리가 이 오픈 엔딩 리서치에 대해서 학습을 시켰을 때 걔가 과연 좋은 학습이라고 할 수 있을까? 라는 질문이 발생합니다. 거기에 대한 궁극적인 연구의 바향성은 루브릭도 개선을 하잖아요. 그래서 How can evolving rubrics improve training? 그래서 evolving rubrics 이라는 개념을 만들어서 루브릭 또한 개선될 수 있도록 했을 때 얘가 빈 리서치 에이전트의 성능 향상에 어떤 영향을 주시는가를 이제 연구 개발하게 됩니다.

자, 그래서 오늘 파트 2에서 볼 순서는 다음 것 같아요. 일단 첫 번째 폼업 같은 경우에는 우리가 이제 RLVR이라고 해서 Reinforcement Learning with Verifiable Reverse라고 하는 기법이 있습니다. 그래서 검증 가능한 보상을 사용하는 이 강화학습 기법을 살펴볼 텐데요. 대표적으로 이 Search R1이라는 페이퍼도 있고 그리고 웹단서라고 하는 게 있어가지고 이제 얘네들이 모델이 검색을 수행한 결과를 어떻게 학습에 사용하는지를 한번 살펴보도록 하겠습니다.

두 번째는 검색을 통해서 여러 번 읽어오다 보면 이 자료들이 계속 쌓입니다. 얘는 학습이라기보다는 계속 그렇게 쌓인 컨텍스트 자료들을 어떤 식으로 매니지먼트를 해서 이 Long Research Trajectory에서의 컨텍스트 매니지먼트 기법을 살펴볼 겁니다. 그래서 다음 판단에 필요한 정보를 어떻게 관리하고 남겨두는 것이 성능 향상의 모델링 측면에서 주요한 영역이 있는지

마지막으로, 아까 루브릭 기반의 학습이긴 했는데, 루브릭 베이스트 리인포스먼트 러닝을 통해서 이 오픈 엔디디딜 리서치의 성능을 어떻게 향상시켜 줄 수 있을지를 이 DR 툴루, 디비 리서치 툴루라고 하는 연구랑 그것에서 파생된 이 이볼빙 루브릭에 대한 연구를 통해서 소개하도록 하겠습니다. 그래서 이제 쇼폼 QA를 먼저 한번 가보도록 할게요. 그래서 앞에서 봤던 이 브라우즈 컵

여러가지 물어봤을 때 플라스틱맨이라고 답변을 해야합니다. 단서가 굉장히 여러가지죠. 여기서 쇼폼은 최종 답이 짧다는 의미이고 대신에 그 답에 이르기까지의 추론이나 검색은 Hard to very fun, 매우 어렵고 길어질 수 밖에 없습니다. 왼쪽 하단에 Browse Pump 벤치마크에 대한 그래프를 보시게 되면 여러가지 시스템이 이러한 쇼폼 QA Browse Pump 벤치마크에 대해서 얼마나 맞췄는지를 비교한 결과를 보여주고 있습니다.

앞에서 이제 이바루에이션에 사용을 했었죠. 근데 이제 여기서 우리는 이러한 결과 성능을 결국은 모델링을 향상시키는데 사용을 하게 될 겁니다. 오른쪽에 이 박스를 보게 되면은 Short answers can require long search. 그러니까 짧은 answer가 long search를 필요로 할 수가 있는데 거기에 대한 answer prettiness가 이 트레이닝 리워드를 제공할 수 있다고 이야기를 하고 있습니다. 이제 그런 것들을 어떻게 이제 할 수 있도록 하는지를 이제 다

다음 페이지에 좀 볼텐데요. 여기 그래프를 보게 되면 RL with Verified Word, RLDR 이라고 하는 비법이 나와있어요. 얘는 결국은 답을 검증해서 보상을 계산하고 그 보상으로 모델을 학습할 수 있는 방식이라고 얘기를 할 수가 있는데요. 제일 중요한 부분이 결국 이 가운데 있는 LMPolicy, Pytheta에 해당하는 부분이라고 할 수가 있습니다. 이 LMPolicy의 역할은 주어진 문맥에서 다음 출력을 선택하는 언어모델이고, 세타의 역할은 학습할 가중치라고 볼 수가 있겠죠.

그래서 만약에 우리가 여러 가지 데이터셋, 트레이닝셋을 가지고 prompt, 질문을 주게 되면 이 스테이트를 거쳐서 이 액션이 리스폰스를 선택을 하게 됩니다. 스테이트는 지금 내가 보고 있는 질문과 생성 기록 같은 것들, 리즈닝 트레이시스 같은 것들, 액션에 대한 트레이시스 같은 것들이 스테이트라고 볼 수가 있고요. 여기에 대해서 내가 리스폰스를 내놨을 때 라벨을 가지고 이 verification 펑션이

코렉트인지 아러바이즈인지를 통해서 이 R값을 결정하겠죠. 그리고 그 리워드 값을 가지고 이 모델의 파라베터를 업데이트하게 되는 게 바로 이 RLVR의 핵심 구조라고 볼 수가 있습니다. 그래서 이제 이러한 RLVR을 가지고 우리가 모델을 만들었을 때 그 모델의 예제 중에 하나가 이 서치 R1이라고 하는 모델이에요. 그래서 이 서치 R1은 결국은 검색을 하면서

밥을 찾는 그 과정까지를 학습시켰기 때문에 이 서치에 대한 R1이다 라고 얘기를 하고 있습니다. 질문은 What types of profession does Chris Jericho and Gary Ballow have in common? 그러니까 이 두 이름의 주인공들이 공통으로 가지고 있는 이 프로페션, 직업이 뭐냐라고 물어보고 있습니다. 결국 이거를 내가 알아내기 위해서는 이 Chris Jericho에 대해서 검색을 하고 그리고 이 Gary Ballow에 대해서 검색을 하고 그 둘의 검색 결과를 종합을 해야 되겠죠.

그 때 서치 아론이 가장 중점적으로 학습을 시키는 액션의 4가지 요소가 Think, Search, Information 그리고 Answer입니다. 일단 Think에서는 현재까지 알아낸 것과 더 확인할 것을 정리할 수 있도록 Reasoning Token을 사용할 수 있도록 우리가 훈련을 시키게 되고요. 그 다음 서치에서는 실제 쿼리를 여기 넣어서 쓰게 됩니다. 그래서 실행 프로그램이 이전에 어떤 검색 인증에 보내고 그 자료를 받게 되는데 그 서치의 결과를 우리가 Information 안에다가 집어넣게 됩니다.

그리고 마지막에 이제 모델이 이 Think와 Search와 Information의 정보를 종합해서 최종적으로 이 Answer의 Final Answer를 생성하게 됩니다. 그래서 이런 구조 자체는 어떤 부분에서는 그 Planning 또는 React에서 우리가 봤던 모습들이랑 되게 유사한 모습이라고 이해를 해주시면 됩니다. 이제 이것들을 가지고 우리가 어떻게 학습을 시키냐라고 보게 되는군요. 이게 GRPO라고 해서 Group Relative Police Optimization 이라는 기법이 있고, 얘가 이제 딥지크 때 사용이 돼가지고 되게 화제가 됐던 기법 중에 하나입니다.

일단은 학습 데이터는 당연히 질문, 퍼리가 있고 거기에 대한 정답, 앤서가 있습니다. 그리고 이 정답, 앤서는 채점을 할 때 사용이 될 수가 있고 그리고 계속적으로 우리가 퍼리, 휴가 질문을 줘서 거기에 대한 보상을 제공할 수 있도록 하죠. 여기 보시면 퍼리에 대해서 롤아웃 모듈이라고 있는데요. 이 롤아웃 모듈의 역할 같은 경우에는 LMPolicy, 폴리스 LLM이 중점적인 역할을 아까 앞에서처럼

여기서처럼 중점적인 역할을 하게 되는데 얘가 이제 검색을 하고 거기에 대해서 선시 엔진에서 나오는 결과 값을 가지고 답변을 행성하는 과정을 여러 번 수행을 하게 됩니다. 여러 번 수행을 하게 됩니다. 그때 이제 한 번의 실행을 우리가 롤아웃이라고 하게 되는데 이 롤아웃도 마치 우리 앙삼블 기법처럼 샘플링에 따라서 검색어나 경로 같은 것들이 미묘하게 달라질 수밖에 없습니다. 그래서 이제 그러한 결과 값들을 우리가 O1, O2, OG까지

G번 반복을 하게 되겠죠. 그러면은 그 G번 반복한 결과에 대해서 우리가 이 리워드 모델을 통해서 평가를 하게 됩니다. 예를 들면은 여기 지금 이 리워드 모델은 내가 이제 예측한 값과 이 골드 스탠다드의 차이를 이 EM로 평가를 한다고 되어 있는데요. 얘는 데이터셋 자체가 그 숏포만 랜서이기 때문에 이 Exact Match라고 해서 생성한 결과가 정확히 일치하는지 아닌지를 가지고 1 또는 0에 보상을 주게 됩니다.

그러면 우리가 어떠한 O값에 대해서 어떠한 R값을 제공할 수 있을지에 대한 리워드 모델을 통해서 총 G개의 롤라웃에 대해서 계산을 할 수가 있고요. 그 과정에서 이 레퍼런스 LLM이 이 폴리스 LLM으로 뭔가를 집어넣게 되는데요. 여기서 이 레퍼런스 LLM의 역할은 얘가 엉뚱한 것을 생성했을 때 너 방금 엉뚱한 것을 생성했어 라고 알려주는 역할을 하게 됩니다.

얘는 미워드로서의 역할, 얘는 이 종의 레퍼런스로서의 역할이라고 보시면 되고요. 그렇게 알값들을 구한 다음에 GRPO는 같은 질문에서 얻은 보상들, 알값들을 그룹 컴퓨테이션 할 땐 GRPO 기법이 사용이 됩니다. 예를 들면 4번, 이게 G값이 4에요. 4개의 평가를 했을 때 4번 중에 2번은 맞추고 2번은 틀렸어. 2번은 보상을 받고 2번은 보상을 못 받겠죠.

그랬을 때 마친 실행, 내가 지금 정답에 해당하는 O1, O2가 정답이라고 해보자. 그러면 O1, O2에는 평균보다 높은 보상을 더 주게 되고요. 즉 보상의 수치가 좀 달라집니다. 그리고 틀린 O3, O4 같은 경우에는 평균보다 더 낮은 수준의 페널티를 주게 되는 것을 우리가 이 Group Relative Policy Optimization이다 라고 얘기합니다. 그렇게 해서 우리가 상대적으로 얼마나 잘했는지를 결정하는 이 Advantage 값을 계산을 하게 되고요.

어드랜지지 값이 다시 폴리스의 LLM으로 들어가서 이 폴리스의 LLM을 결정하게 만듭니다. 그래서 우리가 오늘 이 딥리서치라는 파트를 계속 수업을 하면서 여러분들을 깨달을 수 있는 것은 결국 딥리서치에 있어서의 핵심은 이렇게 워크플로우를 쭉 늘어뜨려 놓고요. 이 워크플로우 안에서 오늘 파트2에서 학습에 대해서 배울 때 염두할 부분은 이 워크플로우 안에서의 평가 결과를 언급하십시오.

어떤 방식으로 이 폴리스 LLM에 반영되도록 만들 것이냐가 이 모델링이 핵심이다라고 볼 수가 있습니다. 그리고 이제 마지막에 이 서치 엔진 같은 경우에 서치 엔진 구성이 2018 리키피디아를 기반으로 할 수 있고 E5 리키퍼버를 사용해야 된다라는 것을 명시하고 있는 파트입니다. 이러한 이 서치 엔진을 가지고 우리가 이제 메인 리조트를 보게 되면요. 일단은 QN 2.57밀리언짜리를 베이스 모델이나 인스트럭트 모델에 대해서 보여주고 있고요. 그리고 이 서치 R1이라는 아키텍처 방식을 가지고 학습했을 때의 결과도 베이스 모델과 인스트럭트에 대해서도 보여주고 있습니다.

그래서 General QA 같은 경우에는 그냥 딱 질의를 했을 때 그 질의에 대해서 바로 답할 수 있는 게 General QA 벤치마크이고요. 그랬을 때 그 결과 자체가 당연히 이제 그냥 Direct Influence나 단순 어떤 COT 등과 비교했을 때 레그가 꽤 좋아지는 것을 볼 수가 있고요. 그리고 Supervised Fine Tuning도 좋아지지만 레그가 훨씬 더 좋죠. 그런데 이 Search R1이라고 하는 학습 기법을 적용했을 때 베이스 모델이든 인스트럭트에 대한 모델이든 더 좋아지는 것을 볼 수가 있습니다.

이러한 패턴은 제너럴 QA뿐만 아니라 멀티럭 QA에서도 반복이 되고요. 그런데 하나 되게 흥미로운 부분은 우리가 보통 베이스 모델이라고 하면 우리 트레이닝, 파인튜닝에 대해서 배울 때 프리트레이닝과 포스트트레이닝을 언급을 했었죠. 그래서 프리트레이닝을 통해서 도출된 모델이 베이스 모델이고 개에 대해서 우리가 파인튜닝 같은 거 포스트트레이닝을 거쳐서 인스트럭트 GPT 같은 인스트럭션 튜닝을 할 수 있다고 했습니다.

했을 때 완전 베이스 모델에서 인스트럭트가 주어진 것과 그냥 베이스 이 두 개에 대해서 서치 R1 학습을 접목을 했을 때 인스트럭트가 주어지기 전 베이스에다가 서치 R1으로 학습을 시킨 게 성능이 보시면 꽤 차이가 나요. 0.1까지는 아니지만 그래도 한 0.0 몇 정도로 일관된 패턴으로 차이가 나는 것을 볼 수가 있구요. 이게 시사하는 바는 결국은 우리가

이 학습을 통해서 이 Policy LLM을 바꿔주는 그 과정을 거치고 있는데 Instruct라는 것 자체가 이미 그 Instruct Tuning을 통해서 이 Policy를 건드려 놓는 거기 때문에 그 Policy를 한번 건드리고 또 건드리는 것과 건드리기 전에 내가 이 Base에다가 이 Search 아론을 통해서 건드리는 것과는 서로 패턴 차이가 있다 라는 관점에서 해석을 해주시면 되겠습니다.

그래서 이제 이 서치 아러는 결국은 어떤 2018 위키피디아와 E5를 출입하려고 하는 이 한정된 서치 엔진 상황에서 꽤 재미있는 이 결과를 보여줬어요. 대신에 이제 그 한정된 결과 자체가 한계이기도 하고 원 리즈 투 스케일업이라고 되어 있는데 우리가 보통 스케일은 액스케일업, 규모가 큰 거를 우리가 이제 스케일업이라고 얘기를 합니다. 그럼 실제 이 액스케일로 만약에

웹조사까지 포괄해서 딥 리서치를 할 수 있으면 뭐가 더 필요할까? 이 서치 아론에서 뭐가 더 필요할까? 일단은 트레이닝 데이터 is too simple. 학습에 사용한 데이터가 너무 단순해. 내추럴 퀘스천이랑 핫팟 QA 같은 것밖에 안 썼어. 따라서 실제 우리가 웹상에서 검색을 하려면 여러 가지 페이지들을 검색하다 막히면 다른 거 로트로 찾아 봐야 되고 즉 검색에 대한 능력이라든지 찾는 탐색 능력 같은 것들을 학습할 필요가 있습니다.

두 번째는 Too strict for verbose elements라고 되어 있는데 우리가 이 exact match나 F1 같은 것들을 써요. 근데 여러분들 검색할 때 인터넷 검색을 해보면 알겠지만 내가 찾고 싶어하는 exact한 키워드로 검색하는 게 생각보다 쉽지가 않습니다. 즉 내가 찾고 싶은 것을 누군가는 오탈자로 쓰기도 하고 다른 동음이에요로 쓰기도 하고 유사한 어떤 댄스한 개념으로 쓰다 보니까 내가 exact match나 F1 string matching을 통해서

리머드를 주는 게 그 자체가 한 개가 될 수 있어요. 따라서 좀 유사한 다른 문장을 주더라도 잘 답했지만 이게 지금 현재 EM이나 F1에서 낮은 보상이 주어진 상황들을 극복할 수 있는 새로운 보상 체계가 필요하다. 마지막으로 환경적으로도 2018 위키피디아 말고 조금 더 리얼리스틱한 세팅에서의 연구가 필요하다는 이야기는 합니다. 그래서 2025년에 뉴립스에서 생겼던 연구가 웹댄서라는 연구이고요. Toward Autonomous Information Seeking Agency

어떻게 하면 자동적으로 정보를 찾아 나가는 웹상에서의 춤을 추던 이 웹댄서를 만들 수 있느냐 그래서 여러 단계에서 검색과 페이지 방문을 잘 활용할 수 있도록 만들 수 있느냐를 연구한 페이퍼입니다. 이때 이 페이퍼에서는 두 가지가 주로 많이 쓰이는데요. 첫 번째는 이 SFT 즉 Supervised Fine Tuning이 쓰이고요. 두 번째는 우리 앞에서 봤던 RLVR이 마찬가지로 사용이 됩니다. 대신에 그 RLVR에 대한

리워드 방식이 좀 바뀌었다. 먼저 왼쪽의 Supervised Fine-Tuning 및 Teacher Trajectory를 보면요. Teacher라는 것은 일종의 가이드 데이터를 주는 거죠. 그래서 티처가 수행한 조사 기록 웹서치 트라젝토리를 보여줍니다. 그리고 얘가 주어진 데이터셋에 대한 최종 답만 주는 게 아니라 어떤 검색어를 입력을 했고 거기서 어떤 결과를 하는데 관찰한 Observation에 대해서 내가 어떠한

또 다른 액션을 선택했는지에 대한 트라젝토리를 모두 포함한 정보를 주게 됩니다. 그럼 이제 모델은 이 기록의 다음 출력을 생성할 수 있도록 즉 이런 결과를 봤을 때 이걸 클릭했다. 이런 결과를 봤을 때 새로운 검색어를 입력했다. 그와 같은 것들을 생성할 수 있도록 이제 슈퍼바이스 파인튜닝을 진행을 해서 가중치의를 학습을 하게 되고요. 이것은 지금까지 봤던 프롬트에지 투샷으로 넣어주는 것과 완전 다르게 됩니다. 그래서 우리가 슈퍼바이스 파인튜닝을 진행하게 된다는 것들이고요. 여기 보면 크롬 QA나 22RT QA 같은 것들이 있는데 이것들을 이제 슈퍼바이스 파인튜닝을 할 때 그 질문을 만들 때 이것들을 통해서 여기에 대한 수행 기록들을 가지고 우리가 학습을 할 때 활용을 했다. 그리고 이제 여기 보면은 리젝션 샘플링이라는 법이 있는데요. 리젝션 샘플링이라는 것은 내가 이제 그 리젝션 샘플링이라는 것은 리젝션 샘플링이라는 것은

이 crawl QA나 easy-to-hard QA를 가지고 데이터셋을 만든 다음에 그 중에서 이제 rejection, 이건 별로야, 이건 별로야, 이건 좋아, 이런 식으로 어떤 것들을 내 학습 데이터로 쓸지에 대해서 결정한 것들을 이제 rejection 살펴보는 기법이다라고 이야기를 하고 있습니다. 이제 하나 특이한 게 그거를 인간이 한 게 아니라 LLN저치를 썼다. 즉 예로 데이터셋을 만들고 만들어진 데이터셋을 인간이 한 땀 한 땀 검사한 게 아니라 LLN저치를 가지고 최종적으로 이 데가

프롬프트와 리스펀스에 대한 이 티처 트라젝터리 데이터셋을 만들었다. 만든 거를 가지고 슈퍼바이에서 파인 튜닝을 했다. 그리고 이제 그렇게 파인 튜닝된 모델을 가지고 이 reinforcement to learning with a verifiable reward을 수행을 하게 돼요. 그래서 모델이 직접 조사를 하게 되고요. 그 조사를 할 때 프롬프트가 들어왔을 때 LNPOLICY가 리스펀스를 만들게 했죠. 그럼 그 리스펀스를 또 원래는 exact match라든지 여러가지 스코어를 구해서 그게 아니라 이 리스펀스를 또

LLM 절치가 평가를 합니다. LLM 절치가 평가를 해서 거기에 대한 보상을 주고 그 보상을 통해서 reinforcement learning with verifiable reward을 할 수 있도록 한다. 따라서는 이 연구에서는 기존과의 가장 큰 차별적이라고 하면 결국은 LLM 절치를 사용을 해서 teacher trajectory 데이터셋을 만들고 그걸 가지고 supervised fine tuning을 한 다음에 그거를 reinforcement learning을 했는데 그때도 LLM 절치가 역할을 했다는 게 스페셜티라고 할 수가 있습니다.

네, 웹댄서가 질문을 받고 판단을 해서 도구를 사용하는 과정을 보여주고 있어요. 그래서 이쪽에 패션을 여러분들이 한번 읽어보면은 영화 리모를 찾아서 파인딩 리모에서 주인공으로 알려진 물고기가 있는데 원래 서식지가 아닌 다른 곳에서 발견된 기록을 찾아 그리고 그 서식지 발견된 장소에서 USGS의 기록을 기준으로 2022년 이전의 발전 장소를 찾은 다음에 거기의 장소에 5자리 요편번호를 알려준다라고 얘기해요. 뭔가 이렇게 복잡해. 뭔가 복잡한 거를 시켰어요.

이게 easy to verify지만 굉장히 hard to solve한 question이라고 볼 수가 있습니다. 그럼 먼저 think를 보면 사용자가 뭐를 원하는지를 정리를 하고 있는 것을 볼 수가 있어요. 그래서 화면에서 니모가 나오는 물고기가 보이는 장소를 찾아야 되는데 그러면 종을 측정해야 될 것 같고 발견 기록을 찾고 우편변으로 연결을 해야 되겠네 이런 것들을 주절주절히 일종의 chain of swords처럼 얘기를 하고 있습니다. 그리고 나서 툴 콜이 나오겠는데 이 툴 콜 파트를 보게 되면 툴 콜 펑션을 보게 되면 이제

이게 서치에 대한 호출로 연결되는 것을 볼 수가 있습니다. 즉, 그리고 그 서치에 대한 것을 할 때 알루먼트 쿼리를 USGS Amphith Prion Ocellaris Non-Native Locations Before 2020 라고 하는 이 쿼리를 가지고 서치를 해보자 라는 것을 얘가 이제 학습을 통해서 진행을 하게 되고 거기에 대한 툴 리스폰스를 이제 얻어서 그 구글에다가 서치를 했더니 나의 리스폰트를 찾았다 블라블라블라 이렇게 얘기를 해주고 있습니다.

자 그러면은 이제 그거 다음에 또 이제 어떻게 됐냐 얘가 Step 2로 넘어가요 자 그래서 그 9 Results를 종합해서 얘가 또 다시 이제 Think를 하게 되겠죠 한번 Think에 보면은 이제 내용들이 막 나오게 되고 그 Think를 기반으로 다음에 Tool Call을 하게 되는데 얘가 일괄적으로 Search Tool Call을 하는 게 아니라 이제 웹댄서가 학습을 통해서 이런 경우에는 얘가 강화 학습을 해보니까 이런 경우에는 Visit을 하는 게 좋아요 Visit 그래서 얘가 Tool Call을 Visit을 하게 되고요 그때 내가 Visit하고자 하는 웹사이트 그리고 그 웹사이트 Visit의 골은 Identify States with Non-Indigenous Occurrences of Amphiprion or Scenarios before 2020 그러니까 명확한 골을 가지고 특정 웹사이트에 방문하는 것을 볼 수가 있습니다 이런 식으로 Think로 이제 보치가 démol hotels 그래서 우 Alder하기 THERE 그리고 octet에 간격을 만나서 그리고 다시 놔두고 그리고 이제 오일이

지금까지의 툴 콜과 툴 콜 결과의 툴 리스판스를 종합해서 다음 행동의 목적을 Think로 정리를 하고 거기에 Think 결과로 툴 콜을 하고 툴 콜 리스판스를 다시 해석을 해서 다음 행동을 계속 결정하는 과정이 웹댄서의 핵심 메커니즘으로 볼 수가 있고요. 그거를 여기 보시면 멀티 툴 콜링이라고 해서 여러 번 툴 콜링을 해서 활용한다라고 얘기를 하고 있습니다.

그 웹댄서와 관련해서 학습을 위한 데이터 신세시스를 다뤄봐야 되는데요 아까 저희가 crawl QA를 가지고 데이터셈 만들었다고 얘기를 했었죠 여기서 이제 teacher trajectory를 만들어 가지고 했다고 얘기를 했었죠 crawl QA를 보게 되면 step 1에서 identify source website url 이라고 되어 있습니다 그래서 일단 출발 웹사이트를 정해요 그 다음에 이제 step 2는

Is it linked to website by clicking hyperlink? 그러니까 hyperlink 클릭해서 웹사이트에 들어가게 됩니다. 그리고 그 안에서 연결된 자료들을 계속 수집을 하게 됩니다. 예를 들면 행사 페이지에서 개회 결과로 넘어가고 개별 작품 소개를 넘어가고 이렇게 해서 서로 관련된 정보가 여러 페이지에 걸쳐서 모이게 됩니다. 그리고 Step 3는 GPT-4가 Synthesizes QA pairs from the collected content based on the predefined types 즉 우리가 GPT-4를 통해서 그 질문과 정답 이 QA 타입을 만들어야 됩니다.

그래서 내가 이 스텝 2까지 모은 하이퍼링크를 통해서 퀘스천은 뭐고 거기에 대한 앤서는 무엇인지를 이제 얘기합니다. 근데 하나 중요한 게 우리는 hard to solve을 그리고 easy to verify 해야 되기 때문에 answer은 easy to verify 해야 되고요. 이 퀘스천은 hard to solve 즉 최소 두 개 이상의 소스를 종합해서 풀 수 있어야 돼요. 그리고 이 퀘스천에 이 칼라 코딩 된 부분은

우리가 몇 개의 데이터 소스를 찾아서 문제를 풀 수 있는지 보여준 겁니다. 즉 답의 이름은 하나이지만 이 답을 확인하려면 여러 자료를 대조할 수밖에 없도록 우리가 이 질문과 정답을 준비합니다. 그러면 그렇게 한 다음에 티처 모델이 질문을 풀게 해서 바로 조사 기록을 만들 수가 있어요. 그래서 이 질문이야 풀어봐 정답 도출하고 그 사이에 트러덱토리를 기록을 하면 그게 여기서 얘기했던 티처 트러덱토리가 될 것입니다.

두 번째 이제 E2HQA가 뭐의 약자는 Easy2HQA라고 해서 얘는 이제 쉬운 질문을 더 어려운 질문으로 바꾸는 방법입니다. 그래서 보면은 여기 Q1, Q2, QN, QN 플러스 1이라고 되어 있잖아요. 그 왼쪽에 일단은 Q1 질문을 보게 되면 처음에는 단순해요. 뭐 예를 들면 2010년에 아이트리 프랭크 로젠블렛 어워드를 받은 사람이 누구게? 이렇게 물어봐요. 그러면은 그냥 우리가 검색 퀄이 나뉠 때 싱글 루티를 둬도

2010년에 IEEE 프랭크 로젠글랜드 워드 받은 사람, 그러면 바로 나오겠죠. 이거는 굉장히 easy한 question입니다. 근데 여기서 질문에 있는 key entity들이 있을 텐데 Step 1, identify key entities in seed question. 즉 이 seed question에서 key entity를 찾아요. 그 다음에 Step 2는 retrieve articles related to the entity. 즉 이 entity와 관련된 article을 유출입 한 다음에 Step 3가

즉, 내가 이 retrieven information 속에 있는 간접 정보로 이 키 엔티티를 바꿔버린다. 여러분들이 보면, Who received the IEEE Frank Roosevelt Award를 2010년에 An accolade named after a pioneer in artificial intelligence was awarded who was market based. 그러니까 AI 분야에서의 pioneer의 이름으로 명명된 IEEE 상을 누군가 받았어. 그러면 Frank Roosevelt Award라고 바로 알려주는 게 아니라 Frank Roosevelt Award를 맞출 수 있는

related information을 대신 주는 것. 그런 식으로 계속 Q1에 대한 키 엔티티를 바꿔주고, 나중에는 질문이 이렇게 복잡하게 바뀌어요. 2010년에 Who received an estimated award name after a technology pioneer honoring their significant contributions to fuzzy logic, particularly in the realm of intelligent digital technologies and industrial processes, utilizing a system noted for complex reasoning as opposed to traditional binary logic and different from the

남다리 approach가 누구냐 이런 식으로 이 하나의 entity를 표현할 수 있는 여러가지 정보들 이걸 다 조합해야지만 이 하나 둘 셋 넷 개에 대한 정보를 이 R 값을 다 조합해야지만 내가 이 질문에 답할 수 있도록 바꾸는 것을 우리가 Easy to hard Question Answering QA이다 라고 이야기를 합니다. 이게 웹댄서에서 사용됐던 데이터 생성 방법 중의 하나입니다. 억지로 만드는 것일 수도 있지만 어쨌든 그만큼

이 벤치마크 데이터셋 만들기가 어렵다 보니까 이렇게 열심히 그 벤치마크 데이터셋을 제작을 하게 되고요. 이렇게 이제 그 만들어진 데이터셋을 가지고 이런 것들이 이 Synthetic QA 퀄리티가 퍼포먼스에 얼마나 영향을 주는지를 이제 연구를 해보게 됩니다. 여기서 소개될 연구는 이제 또 웹 익스플로러라고 하는 다른 연구인데요. 여기 보시면은 위에 이니셜 QA랑 이 Evolved QA에 대한 그 평가지표가 있어요.

이거는 Cloud4Sonet 모델에게 서로 다른 질문들을 풀게 했을 때 이니셜 QA는 처음 만든 질문이고요. 그 Evolved QA는 아까 웹댄서의 Easy-to-hard Question-Answering 같이 좀 어렵게 맞는 QA법을 얘기합니다. 당연히 응답을 할 때 평균 응답에 필요한 턴이 두 턴 증가하고 Accuracy도 한 20% 정도 감소하는 것을 볼 수가 있죠. 그만큼 더 어려워졌다는 것을 얘기를 해요. 근데

얘를 우리가 웹댄서를 가지고 하면은 5.4만에 답할 수 있다. 그래서 얘가 참 좋다. 근데 아크러스는 좀 안 좋네. 뭐 이런 얘기를 보여주고 있고요. 근데 이제 그거를 웹 익스플로러라는 연구가 내가 80년짜리 모델을 가지고 FFT, SFT나 그 Reinforcement Learning을 이 Evolved QA를 가지고 시켜봤더니 기존의 단순 보고되었던 웹쉐이퍼, 웹세일러, 에이서이처 웹, 얘네들은 기존의 다른 SOTA 모델입니다.

Q&A와 비교했을 때 우리가 이런 여러 가지 벤치마크 데이터셋에 대해서 이 Evolved QA와 유사한 형태의 성능이 Reinforcement Learning 상황에서 다른 SOTA 대비가 훨씬 더 높은 걸 보였다. 물론 X-Bench DS에서는 WebSailor 72밀리언짜리 모델보다 성능이 낮았지만 그 외에는 꽤 높은 점수를 보여주고 있다고 보고를 하고 있습니다. 그래서 실제 이런 식으로 LLM 애플리케이션 연구에서 데이터 신테시스, 데이터를 합성해 가지고 개를 가지고 학습을 하는 게 매우 중요한 포인트 중의 하나이고요. 그리고 이렇게

최적 연구 결과를 보고할 때도 내가 주장하고자 하는 방안 명확하면 꼭 모든 벤치마크에서 내가 소타를 찍지 않아도 돼요. 그리고 얘는 심지어 71년짜리 모델이기 때문에 70이나 32B보다 8B짜리가 근소하게 맞아도 나머지 이런 지표들에서 훨씬 더 높은 성능을 보여주고 있기 때문에 괜찮다라고 할 수가... 앞에서는 우리가 여러 단계의 탐색이 필요한 질문을 만들고 그러한 문제로 모델을 학습시키는 방법을 봤어요. 근데 이제 실제로...

긴 조사, 굉장히 긴 리서치를 수행하다 보면 또 다른 문제가 생겨요. 그게 뭐냐 하면 검색하고 페이지를 읽고 또 검색하고 그러다 보니까 모델이 읽어야 될 기록이 계속 늘어나는 겁니다. 실제로 인간 여러분들의 입장에서도 여러분들이 나중에 연구를 하다 보면 리터러처 리뷰를 하다 보면 점점 리터러처 리뷰의 험적에 빠져요. 내가 뭘 하고 있었지? 여긴 어디지? 혼란한 상황에 처하게 됩니다. 따라서 여기 지금 브라우스 컴프의 데이터셋을 고백해내는

세로축은 정답률이고 가로축은 각각의 비용과 도구의 호출 횟수라고 볼 수가 있어요. 이랬을 때 빨간색이 Search1의 결과인데요. 도구 호출을 더 사용한 설정에서 정답률이 올라가긴 올라가요. 그런데 이 말이 즉슨 어려운 문제에서 추가 탐색이 도움이 될 수 있다는 얘기입니다. 그런데 이 주황색에 Slim Hours라고 되어 있는 걸 보면 얘네들은

호스트를 덜 들였을 때에도 더 적은 호출로도 비슷하거나 높은 정답에 올라가는 것을 볼 수가 있습니다. 따라서 여기서 여러분들이 기억해야 될 거는 단순히 many tool calls, tool calling을 겁나 많이 한다든지 아니면 deep research를 통해서 계속 뭔가를 검색하고 관찰하고 검색하고 관찰하고 하는 게 무조건 능사는 아니다만 즉 무엇을 찾아오고 찾아온 정보를 어떻게 관리하느냐에 따라서도 탐색의 어떤 효율이 달라질 수 있다입니다.

인간이 정보를 참고 공부하는 거랑 비슷해요. 그냥 무작정 앉아서 공부만 한다고 성적이 올라가는 게 아니잖아요. 그건 전략이 필요한 것처럼 여기에 대한 관리가 필요하다. 따라서 오른쪽에 HLE라고 하는 데이터셋도 보면 얘도 얘는 조금 더 어떻게 보면 오버피팅 같은 걸 보여주는데 호출이 늘어날수록 성능이 감소하는 기관도 있습니다. 그래서 오히려 높은 호출이 성능에 도움이 되는 게 아니라 방해가 될 수 있습니다.

그래서 불필요한 정보를 줄여야 된다. 이런 것들을 우리가 컨텍스트 매니지먼트다 라고 얘기를 해요. 그래서 이 페이퍼도 제목 자체가 Lost in the middle이 아니라 Lost in the maze, 그러니까 중간이 아니라 위로에서 길을 잃었다. Overcoming Context Limitations in Lumberized Information Seeking에 대한 흥미로운 연구를 발표를 했습니다. 아까 앞에서 Slip이라는 기법이 Calling이나 Post 대기, 효율적인 무브먼트를 보여줬는데요. 이제 여기 보면 Context Summarization 기법을 보여주고 있습니다.

위쪽 같은 경우에는 React의 구현이라고 볼 수가 있죠. 그래서 보시면은 인풋에 대해서 얘가 search and fetch all url content라고 해가지고 검색 결과에 연결된 페이지 내용을 가져와서 이전 기록 뒤에 계속 concat하고 있는 걸 볼 수가 있습니다. 이게 일종의 lost in the base라고 할 수가 있겠죠.

아래에 Slim 모델을 보게되면, 이 Slim 모델에서는 첫번째는 일단 search라는 브라우저를 독립시킵니다, 패럴러로. 그래서 여기서는 search를 하고 브라우저를 했는데, 얘는 search와 브라우저를 나눠가지고, 여기 쌓이는 정보 자체가 컨켓을 할 때 search에 대한 리절트 따로, 그리고 search 결과 나온 이 웹 컨텐츠에 대한 내용을 따로 해요. 근데 이거를 따로 하는 이유가 뭐냐면은,

이러한 축적된 결과물을 1.n term마다, every n term마다 Summarize를 진행합니다. 그래서 얘는 이 컨텍스트에 웹 컨텐트가 쌓이는 게 아니라 이 summary가 쌓인다, 이 빨간색의 summary가 쌓인다. 그러면은 당연히 이 로우한 웹 컨텐트를 무작정 이 Lost in the Maze로 쌓이는 게 아니라 훨씬 더 효율적인 내가 뭐를 서치했고 거기에 대한 웹 컨텐트 어떤 내용이 있었는지를 이제 명확하게 정리할 수 있다 보니까 여기서 지금 주장하는 것처럼

얘는 액세시브한 툴콜이 발생하고 irrelevant한 페이지를 패치할 수 밖에 없고 그 컨텍스트 윈도우가 exploding, 폭발한다고 얘기하지만 얘는 조금 더 flexible하고 덜 irrelevant한 컨텐츠를 할 수 있고 툴콜도 줄어들고 컨텍스트도 reducible하다. 즉 컨텍스트를 효율적으로 관리할 수 있다는 얘기를 할 수가 있습니다. 결국은 딥 리서치도 그렇고 요즘에 에이전틱 AI 자체가 컨텍스트 싸움이라고 볼 수 있습니다. 어떻게 컨텍스트를 관리하느냐가 이 모델의 성능에 영향을 미칠 수 있다는 것을 보여주고 있습니다. 그래서 얘는 실제 동작을 보여주는 모습인데요.

왼쪽에 watch this movie 라고 해가지고 이제 그 퀄이로써 question을 주죠. 그러면 얘가 이제 generate 해가지고 Cinematograph or Children's Bookstore에서 검색을 해요. 검색을 해서 여기 이제 관련된 내용들이 막 나오게 됩니다. 그 내용들을 가지고 또 뭔가를 질문을 해서 또 찾고 해서 막 나오게 됩니다. 그렇게 해서 나오게 되는 여러가지 URL과 관련된 정보들 웹 컨텐츠와 관련된 정보들을 이제 모아서 모으는 것도 이제 LME 역할을 해서 모아가지고 이제 이런식으로

이런 것들은 시스템 프롬프트로 어떤 식으로 서머리를 할지를 미리 알려준 거예요. 그래서, Investigation and finding so far, 지금까지 한 거, Curl Type Assess, 지금 가사를 보고, Needed Next, 다음에 꼬리먼지에 대한 블랙포인트 기반의 Action Plath을 짠 다음에 그 서머리를 가지고 또 검색을 하겠죠. 검색된 것을 가지고 또 이제 Next 서머리를 만들고, 컨텍스트 안에는 계속 이 서머리에 해당하는 것들만 우리가 규칙 구수할 수 있도록

이 작업을 유지하게 됩니다. 지금까지 이런 수트폼 QA에서 여러가지 이름이나 영화 제목 같은 정해진 최종 답들을 정답과 비교를 했었고요. RLVR 이 기법이 짧은 답만 다룬다 이런 것은 절대 아닙니다. 그래서 이런 얘기를 드리고 싶고 그 다음에 Long Research 좀 긴 오픈 엔드에 대한 퀘스천 같은 경우에는

이 안에 그 세벌한 에비던스나 컨텐트 리퀄먼트를 갖춰야 되는데 이제 얘네들은 사실 평가가 되게 어려운 게 어디는 잘 쓰고 어딘는 못 썼을 수가 있어요 그래서 그런 복잡한 오픈 엔딩 리서치를 어떻게 평가하고 학습할지에 대해서 좀 넘어가 보도록 하겠습니다 얘는 이제 그 웹 리버라고 해서 ICLR이 이런 페이퍼를 되게 좋아해요 보시면은 이제 결국은

어떤 부분에서는 인간의 어떤 인지적인 사고를 무사한 이 워크플로우를 제안을 해서 기존에 좀 우리가 이제 brute force라고 얘기하는 단순히 LLM한테 때려나와서 네가 아주 해줘. 나 잘 모르겠고 네가 좀 잘 좀 해줘봐. 라고 하는 것을 이제 굉장히 잘 정리된 이 워크플로우 예를 들면 쿼리가 들어왔을 때 일단 think를 하세요. 그리고 그 think한 것을 기반으로 해서 액션을 search, write, outline, terminate 중에서 선택할 수 있도록 하고요.

거기에 대한 Observation을 Summary와 Outline으로 정리를 하겠습니다. 그런데 이 Summary와 Outline을 가지고 다시 얘를 Think로 되돌림과 동시에 액션에서 Search했던 결과, 여기까지만 하면 사실은 지금까지 얘기했던 React라든지 Planning 연구들과 비슷하잖아요. 이 Human Engineers Scafford for NFDR 이라고 하는 Web Paper가 나오게 된 배경은 이 Memory Bank의 역할이 있어요. 그래서 액션에서 Search를 할 때마다 그 Search의 결과를 Memory Bank에 집어넣습니다.

자 그럼 이 메모리 뱅크의 역할이 뭐냐. 나중에 내가 아웃라인을 준 다음에 뭔가를 시켰을 때 얘가 이 메모리 뱅크에 있는 것들을 꺼내가지고 그걸 가지고 우리가 글을 쓰고 생성물을 낼 수 있도록 유도하는 것을 이 메모리 뱅크의 역할로 해석을 할 수가 있습니다. 따라서 조사를 하면서 이 목차 아웃라인 이 파트를 계속 수정을 해 주고

수정된 아웃라인에 맞춰가지고 메모리 웹크에서 근거를 꺼내가지고 이 라이팅을 할 수 있도록 도와줬다라는 측면에서 이 웹, 위버 여러가지를 이제 직조할 수 있는 걸 위버라고 하는데 이 복잡한 정보의 흐름을 직조할 수 있도록 했다라는 게 이 웹, 위버의 컨트리뷰션입니다. 얘가 이제 어떤 가치를 가지고 있느냐 이제 보시면은 밑쪽 섹션에는 웹, 쉐이퍼는 이 웹, 위버 개통의 연구들의 어떤 그 기존 연구라서 웹, 쉐이퍼라고

얘네들은 랭체인 오픈딥 리서치, 그리고 여러 가지 딥 리서치 관련해서 꽤 유명한 소프탑이 나옵니다. 오픈 AI, 제미나이, 클로드 리서치 등등이 나오게 돼요. 그럼 얘네들을 레이스나 팩트라고 하는 두 개의 평가를 하게 되는데요. 일단은 레이스는 루브릭 기반으로 평가를 하는 거예요. 그래서 내용의 충실성, 그리고 분석, 지시에 대한 준수, 가독성, 이 보고서의 품질을 루브릭 기반으로 보는 게 레이스라고 볼 수가 있고요. 팩트는 아까 이 오픈 앤디드 리서치를 평가를 할 때 루브릭만 가지고 보기에 애매하니까

유효한 인용의 수나 인용 정확성 같은 걸 본다고 했잖아요. 그래서 얘도 Effective Citation 그리고 Citation Accuracy를 보는 게 Fact입니다. 그래서 보통 우리가 이런 오픈 엔디드 리서치에 대한 암컴을 볼 때 이런 Race나 Fact 두 개의 벤치마트 같은 지표들을 보게 되는데 거기에 대해서 봤더니 Overall에서 어쨌든 다른 상용 딥 리서치 기법들과 비교했을 때 이 연구에서 제안한 웹리버의 QE365밀리언짜리에 오케이

여기서는 또 이제 베이스가 아니라 인스트럭트 모델이 50.62로 제일 높은 오버 퍼포먼스를 보여주고 있구요. 팩트 관련해서는 이제 플롯소넷 4 기반의 이 웹위버 모델이 제일 좋은 성능을 보여주고 있습니다. 어쨌든 이 웹위버라고 하는 이 메모리 맥크를 관리하고 거기에 대한 아웃라인을 줄 수 있도록 하는 이 모델이 좋은 성능을 보여주고 있다라고 얘기를 하고 있구요. 이렇게 좋은 성능을 줄 때 그 학습관점에서

인간이 엔지니어해서 구조를 주는 것을 여기처럼 Human Engineer Disciple다 라고 얘기를 할 수가 있습니다. 그런데 이제 이런 것들을 조금 더 잘 검색하고 자료를 해석하고 보고서를 쓰는 모델 전체 수행 결과에 학습을 시키려면 어떻게 트레인을 시킬 수 있을까? 그리고 특히 이 Simple Verification이 아니라 방금처럼 OpenMVD 리서치 일대에 어떻게 할 수 있을까가 궁극적인 질문이라고 할 수가 있고요. 거기에 대해서 나오게 되는 기법이 지금까지는 Reinforcement Learning with Verifiable Reward이었는데 이제는 RLR이라고 해서 이렇게 나와요.

Reinforcement Learning with Lubric Reward라는 기법이 그래서 나오게 됩니다. 얘도 2025년에 뉴립스에서 보고된 연구에요. 즉, 루브릭을 어떻게 보상으로 줄 거냐에 대한 부분인데요. 여기 보면 LLM and Human Expert 그리고 Reference Guidance라는 게 있죠. 결국은 질문에 대해서 좋은 답변이 갖춰야 될 조건을 만듭니다. 오픈 엔비드 리서치 암컴이라고도 해도 이에 대한 좋은 답변에 대한 기준을 만드는데

강한 모델, LLM이나 또는 인간 전문가의 지식, 첨부 답변 같은 것들을 활용을 해서 만들 수 있습니다. 그래서 아래의 4가지가 그때 보통 연구에서 중요하다고 하는 것들인데요. 일단 Expert Grounding, Expert Grounding이라는 것은 결국은 해당 분야에서 중요한 내용을 기준에 반영을 해야 됩니다. 따라서 나중에 논문을 썼을 때 리뷰어가 있고, 중요한 내용이네 라고 평가할 수 있어야 된다는 개념입니다. Importance 같은 경우에는 항목의 중요도를 나타내고 있습니다.

얼마나 중요한가. 그리고 self-contained는 항목 자체에 판단할 내용이 충분히 들어있는지를 얘기하는 게 이 self-contained입니다. 한계를 잘 설명했는가. 이렇게 루브릭을 만드는 것보다 어떤 한계를 설명해야 되는데 그걸 설명했나 못했나 같은 것들을 루브릭으로 만들어야지 평가가 조금 더 self-contained이 있을 수가 있다. 이 커버리지 같은 경우에는 중요한 연구사항을 빠뜨리지 않습니다. 연구에 대한 의견이 있었지.

이 분야에 대해서 연구를 한다고 하면 ABC 레퍼런스가 무조건 들어가 있어야 되는데 이런 것들이 들어가 있나 안 들어가 있나 그런 커버리지를 우리가 이제 얘기합니다. 그래서 이 네 가지가 보통 루브릭 제너레이션을 할 때 LLM과 휴먼 엑스퍼트가 이 레퍼런스 가이던스를 가지고 만들 수 있는 가장 기본적인 요소라고 할 수가 있고요. 이게 제가 제안한 게 아니라 이 뉴립 스페인거에 다 나와 있는 거죠. 그래서 여기서 우리가 루브릭스에서 리월드를 할 때 이런 것들을 착용했다고 얘기를 하고요.

이것은 기존의 Static Lubric를 썼을 때의 문제점을 얘기하고 있습니다. 그래서 우리 머신러밍 모델에서의 Feature Selection이랑 비슷한데요. 지금 Feature도 인간이 뽑을 때 계속 수정이 어렵다 이런 것처럼 Lubric이라는 것도 일종의 Feature라고 봤을 때 Human Expert가 이거 만들기가 일단 되게 어렵다. 그리고 두 번째는 Not Grounded on Up-to-date on 즉 최신 정보가 계속 바뀌는데 그 최신 정보를 계속 반영하기가 쉽지가 않습니다.

세 번째는 Not Adaptive to the Polished Distribution, Polished Distribution이라는 것은 우리가 모델의 어떤 답변의 어떤 분포가 실제 내가 풀고자 하는 분포와 잘 일치해야 되는데 그러한 분포에 대해서 루브링의 조건 같은 것들을 자기가 좀 어렵기 때문에 실제 웰 디스트리뷰티드 된 루브링 만들기가 어렵다는 이야기를 합니다. 그래서 그 스탠틱 루브링을 극복하기 위해서

앞에서 얘기했던 reinforcement learning with 누브릭 리워드는 스탠틱과 여러가지 스탠틱하지 않은 누브릭을 포괄한 강화학습이라고 하면 이 연구, DR툴루, Deep Research 툴루라고 하는 연구에서 제안하는 기법은 reinforcement learning with evolving 누브릭이라고 해서 RLDR이라고 하는 기법을 태력해주세요. 보시면 키 아이디어가 ground rubric generation on up-to-date search information, 즉 최신의 검색된 정보를 가지고 rubric generation을 내가 그라운딩을 하겠다.

그리고 generate fine-grained rubrics by contrasting model responses, 즉 서로 대조적인 contrasting model responses를 비교해서 어떤 답변에는 중요한 작용이 있고 다른 답변에는 빠져 있는지 같은 것들을 평가 기준에 반영하겠다라는 두 개의 key 아이디어를 가지고 그리고 rubric이 co-evolved with the policy model. 지금까지는 우리가 앞에서 학습을 할 때 이런 식으로 여기처럼 이 policy model을

LLN 저지가 고정된 스태틱한 누브릭을 가지고 학습하는 데에 중점을 줬다면 이제는 이 폴리시 LLN이 학습이 될 때 이 저지가 쓰는 누브릭도 이볼빙 할 수 있도록 만들겠다라는 게 이 Reinforcement Learning Revolving 누브릭의 가장 큰 차이다라고 할 수가 있습니다. 그래서 그런 모습을 보여주는 게 이 프레임워크로 볼 수가 있어요. 여기에 이제 폴리시는 지금까지 봤던 것처럼 파이센타로 표현이 되고 있는데 실제로 검색하고 답변하는 LLN이라고 볼 수가 있고요. 하나의 질문에 대해서 여러 번 조사를 해서 이 답변 후보들 Y1, Y2, 블라블라 해서 만약에 N개를 한다 그러면 Y, N까지 답변 후보를 만들게 되겠죠.

그리고 같은 모델이라도 검색어나 찾아온 자료가 확률적으로 달라질 수 있기 때문에 그 자료에 따라서 생성되는 답변도 달라질 수밖에 없습니다. 그리고 Generate Evolving Rubrics R이라고 되어 있는데 이러한 조사 과정과 Responses Y1부터 Yn까지를 보고 얘가 평가 기준을 보완을 하게 됩니다. 그래서 Rubric 위원에 관련해서 여기 수식을 보게 되면 이제 젖지를 하게 됩니다. 젖지를 할 때 이 R값과 Y값의 관계를 가지고 내가 여기서 RK라고 되어 있는 이 값은 평가 항목을 의미하고 있고요. 그 다음에 젖지는 이 RK가 충족하고 있는 정도를 보내고 그리고 이 WK 같은 경우는 내가 항목별 다중식 값으로 학습할 수 있는 게 WK입니다. 그래서 우리가 이 R값에 대해서 젖지한 것에 대한 가중치에

합을 가지고 전체적인 이 루브릭 리워드 값을 계산을 하고 그것들을 이제 W분의 1로 나눠줘가지고 전체적인 어떤 루브릭 리워드의 평균 보상을 구할 수가 있고요. 얘가 이제 그 리워드로 다시 들어가서 폴리시를 업데이트하게 됩니다. 결국은 이제 기존에는 이 위쪽에 분홍색 파트가 스태틱하게 고정돼서 어떤 고정된 루브릭을 가지고 계속 돌아갔다고 하면은 이제 여기서는 루브릭 R이 계속 바뀌게 되고 그 바뀌는 루브릭 R에 맞춰서 루브릭 리워드를 계산해서 폴리시를 업데이트하고 또 업데이트된 폴리시를 가지고 만들어진 리스탄시스에 대해서 루브릭이 또 업데이트가 되고 업데이트된 루브릭을 가지고 리워드를 주는 형태가 이 RLEAR의 핵심 구조라고 볼 수가 있습니다.

얘를 한 단계씩 살펴보면 이렇게 볼 수가 있어요. 유저가 일단은 쿼리를 날려줍니다. 이거는 생물학 관련된 건데 T-cell이 면역세포 사이에 어떤 신호의 염증에 어떤 영향을 주냐라고 물어보니까 여기 이제 Generate Lubrics with Search 그리고 Persistent Lubric이라고 되어 있는데요. 이게 질문과 관련된 자료를 검색해서 기본 기준을 지금 만들고 있습니다. 그래서 예를 들면 그림에는 IL-10

엔지니어링 T-cells가 염증 감소를 연결해서 설명하는지 확인해라. 그러니까 이걸 사이트에 해야 된다. 그리고 스테이츠 엔지니어링 T-cells to overexpress IL-10 surpreses macrophagy TNF-alpha 라고 하는 것들을 언급해라. 즉 인용 후 언급, 뭔가를 인용하고 언급하는 게 무조건 이제 르브릭으로 들어가야 된다라고 이제 평가 항목으로 집어넣는 것을 볼 수가 있고요. 이런 기본 항목을 펄시스턴트 르브릭이다 라고 얘기합니다.

그리고 모델롤아웃이라고 되어있는데 유저커리를 다시 처음에 얘는 내가 초기 로브릭으로 사용할 때 만든 거고 이제는 이 유저커리를 파이세타라고 하는 LLM 폴리스에다가 넣었어요. 그리고 모델롤아웃은 아까 뭐라고 했어요. 롤아웃이라는게 한번 답변을 생성하는 것을 롤아웃이라고 했죠. 따라서 이 롤들이 계속 나와요. Y1은 내가 이 쿼리를 물어봤을 때 한번 생성됐어. 어 근데 이제 생성할 때 웹브라우싱도 할 수 있고 스컬라 서치도 할 수 있고 구글서치도 할 수 있겠지. 또 이제 Y2는 또 했더니 이번에 확률적으로 다른게 나와가지고 이렇게 나왔어요.

Y3는 또 이렇게 했더니 이렇게 나왔어요. 즉 내가 이제 초기 평가 기준을 만든 걸 가지고 얘가 이런 식으로 모델 롤아웃이 나오게 됩니다. 그러면 이 모델 롤아웃을 통해서 나온 것을 가지고 내가 누브릭을 업데이트를 하게 됩니다. 그래서 보면은 이제 New Lubrics Per Instance라고 해서 컨트래스팅 롤아웃, 즉 서로 대비되는 롤아웃들을 가지고 누브릭을 만드는데 이 누브릭 1은 내가 이 Y1을 보니까

이런 거를 state를 해야되고 이 step3 activation에 대한 것도 언급을 해야될 것 같아요 이 y2를 보니까 이런거 해야될 것 같아요 y3를 해야되보니까 얘가 헛소리했네 이 리스폰스가 wrong claim을 이거에 대한 wrong claim을 많이 헷갈리는 것 같은데 이 헷갈리는 것을 넣으면 안돼 이런식으로 positive한 rubric과 negative한 rubric을 만들어주는게 바로 new rubric generation per instance에 해당한다라고 볼 수도 있습니다 그러면은

이 뉴 루브릭 프로 인스턴스를 가지고 아까 봤던 이 루브릭 베이스트 스코어링을 계산하게 되겠죠. 따라서 이 루브릭을 가지고 이 Y값들을 평가를 하고 여기 이제 가중치는 학습을 통해서 바뀌게 되겠죠. 걔를 가지고 어쨌든 S값을 계산하게 되고 이 S값이 결국은 이 파이세탑, 파이세탑 T 플러스 1 즉 다음 시점에 이 LNF 폴리스의 가중치를 업데이트 할 때 이 S값이 사용이 될 수가 있다 라고 얘기할 수가 있겠습니다.

물론 그러면서 우리가 이 루브릭 베이스드 스코링 위쪽에 이제 루브릭 버퍼라고 가지고 있는데요. 이 루브릭 버퍼는 아까 학습을 하면서 내가 이제 new rubrics per instance로 생성한 것들을 원래 내가 처음 만들었던 퍼시스턴트 루브릭에다가 새롭게 만든 루브릭을 합쳐가지고 이렇게 루브릭 버퍼로써 메인테인한다라는 것을 의미하고 있습니다. 이런식으로 쭉 반복이 되게 되면 결국은

이 루브릭이라는 게 처음에 내가 생성했던 루브릭에서 이 롤아웃을 하면 할수록 계속 다양한 형태의 루브릭들이 확장이 되게 되고 그렇게 이볼빙하는 루브릭을 가지고 LLM 폴리시를 업데이트를 하게 되면 스태틱한 루브릭을 업데이트하는 것보다 더 좋을 거다라는 게 이 RL, ER의 가설이고요. 뭐 이거는 이제 그거를 영역으로 보여주는 겁니다. 그래서 이제 그 그림으로 여러분들이 처음에 이렇게 했을 때 이게 이제 이 질문은 뭐 영화 그 백년의 고독이라는 게 이제 넷플릭스에서 어떻게 각색됐느냐 뭐 이런 것들을 이제 물어보고 있어요. 근데 그 여기 지금 보면은 평가 기준이 그 루브릭이 Precisely Describe the Adaptation Process라고 되어 있어요. 근데 이제 이게 루브릭이 충분하지가 않을 때 얘가 이런 식으로 그 방금 우리가 봤던 이 RL, ER의 에포크를 돌릴 때마다 새로운

이볼빙 루브릭들이 추가가 되죠. 그래서 여기도 루브릭이 추가가 되고 여기도 루브릭이 추가가 되고 루브릭이 추가가 되고 근데 이런 루브릭이 추가가 돼야지만 우리 파이세타로 대표되는 LLM 폴리시가 가장 옵티마이즈된 퍼포먼스를 줄 수 있는 방향으로 학습되어 갈 수 있다라는 게 이 그림에서 주장하고자 하는 바라고 봐주시면 될 것 같고요. 그래서 아까 앞에 봤던 그림이니까 빠르게 넘어갈게요. 그래서 이런 과정을 통해서 아까는

이 Supervised Finding 한 거 가지고 Reinforcement Learning 하고 여기에 이제 LLM 절치가 들어갔었는데 이제 이 DR Tool라는 연구에서는 여기 LLM 절치가 아니라 Evolving Lublin, 이 ER 이라는 같이 들어가서 이 ER과 LLM Policies가 같이 최적화가 될 수 있다 라는 개념을 볼 수가 있겠습니다. 아 이거는 이제 Agentic Reinforcement Learning 이라고 해서 내부에 어떤 Multi-Tool Rearable Environment 구현한 거를 보여주고 있는 거거든요. 이거는 그냥 아키텍처 구조도를 보여주고 있는 거예요. 그래서 프롬프트가 들어왔을 때 이 Policies LLM이 그 VLLM 서버에서 M10 서버에 연결해 가지고 여러 가지 뭐 설퍼나 크롤...

Crawl4AI라든지 S2Snipeg 같은 것들을 통해서 Real World Environment에서 멀티 툴 콜을 할 수 있도록 도와주고 있고 이러한 것들을 통해서 리스펀스를 생성하고 생성된 리스펀스를 이제 저치모델에서 이제 Persistent Lublin이랑 Evolving Lublin을 만들어서 그걸 활용을 해서 이 LLM 폴리스를 업데이트 시킨다 라고 하는 과정을 보여주고 있고요 그때 이제 이러한 Real World Environment랑 상호작용할 수 있도록 해준 파트를 이제 에이전틱 리스펀스

reinforcement learning이다 라고 표현을 하고 있는 부분입니다. 실제로 이렇게 했을 때 결국 여기서 이제 보여주고 있는 것들은 DRtooloo 라고 하는 딥 리서치 툴루 Evolving Dibrick을 사용하는 방법을 썼을 때 8밀리언 짜리 모델을 기반으로 강화 학습을 했음에도 불구하고 SQAV2라던지 이런 것들에서 꽤 큰 성능을 보여주고 있다 라고 기록을 하고 있어요.

다만 상용 모델들이랑 겨루다 보니까 DRB라든지 또는 헬스벤치 같은 데에 대해서는 오픈 AI 딩리서치가 상대적으로 더 좋은 성능을 보이는 것을 보여주고 있습니다. 그래서 이게 점점 상용 모델의 벽을 넘기가 좀 어려워지고 있는데 그래서 이 DRTLU 8밀리언이 주장하고 싶은 부분은 우리는 훨씬 싸다. 오픈 AI 딩리서치 코스트 비싸다. 평균 성능 좋아 인정해. 오픈 AI 딩리서치의 평균 성능이 이렇게 보면 헷갈리겠지만 우리보다 사실 살짝 높아. 그런데 얘네의 코스트를 우리가 비율로 보게 되면 노을의회가 되되지 못해. 노을의회가, 교수아이 hops can한 시간.

아워드가 거의 한 10분의 1 정도밖에 안 돼. 그래서 유사한 성능을 더 저렴한 코스트에 낼 수 있는 DR 툴르가 충분히 가치가 있다고 얘기를 하고 있고요. 실제 제가 그때 한 번 얘기했었지만 많은 회사들이 요즘 이러한 관점에서 베스트 퍼포먼스 퍼 포스트라는 연구 성과에 주목을 하고 있습니다. 실제 회사에서 쓰려고 하다 보니까 비용 문제가 발생하다 보니까 그런 거 있습니다.

관련해서 파인딩을 소개하고 서머리한 부분을 마치도록 할 텐데요. 앞에서는 우리가 완성된 GR 툴로의 성능을 좀 봤어요. 이 성능을 만드는데 어떤 학습이 도움이 되는지를 좀 보려고 해요. 그래서 첫 번째는 SFT의 역할을 좋은 조사 예시를 따라 배우는 것만으로 과연 얼마나 달라질 수 있을까에 대한 부분인데 이제 가로축의 같은 출발 모델의 SFT 데이터, 이게 SFT 데이터죠. 얘네들을 얼마나 사용했는지 바꿔본 시험입니다. 근데 이제 보면 5% 준비된 데이터에서의 5%만 사용했음에도 불구하고 이런 리서치 QA나 DRB, SQA, V2 같은 데에서 그 성능 향상이 굉장히 큰 거를 볼 수가 있습니다. 그래서 아까 이제 서두에서도, 파트원에서는 우리가 서두에서도, 파트원에서는 우리가

본격적인 트레이닝 이전에 프롬프트 옵티마이제이션이나 워크플로우 디자인을 주로 봤었는데 그걸로 향상을 시킬 수 있지만 그래도 결국 근본들 향상은 이러한 SFT, 파인드 튜닝을 빼놓을 수 없다. 딥 리서치를 잘하게 되면 우리가 원하는 조사 결과를 만든 예시를 보여주고 학습시키는 게 중요하다에 대한 고민입니다. 두번째 파인딩은 SFT only can't improve OEDR further 인데요. SFT만을 가지고 계속 향상을 시킬 수 없다 라는 부분입니다.

즉 이게 어떤 부분이냐면요, 특히 여기서 많이 두드러져요. SQA V2 그래프를 보게 되면, Supervised Fine Tuning을 엄청 많이 했는데 그 10% 이상부터는 사실상 성능이 점점 떨어지는 것을 볼 수가 있습니다. Research QA도 오히려 100%를 했을 때가 성능이 떨어진 것을 볼 수가 있어요. 그래서 왜 이런 변화가 발생할까? 아직은 모르겠어요. 하지만 그 SFT를 무조건 많이 하는 게 또 능사는 아니라고 얘기를 할 수가 있습니다.

세 번째는 그 sft가 콜드 스타트에 되게 좋다는 부분인데요. 자 그러면은 누군가가 sft 능사 아니래 굳이 안 해도 되는 거 아니야 라고 할까봐 이 그래프를 준비를 해봤어요. 얘는 no sft랑 지금까지는 sft 한 번만 봤잖아요. 근데 no sft랑 뭔가 undertrained sft, our sft, unpoliced sft, 다양한 sft를 비교를 했을 때 모든 벤치에 있어서 어쨌든 이 그 reinforcement learning을 한다고 했을 때

SFT를 하고 레인포스먼트 러닝을 했을 때 성능 향상이 훨씬 큽니다. 따라서 지금 이제 노 SFT에다가 레인포스먼트 러닝을 해도 성능이 좋아져. 하지만 SFT를 하고 레인포스먼트 러닝을 한 것과 SFT를 하지 않고 레인포스먼트 러닝을 한 것 사이에는 지금 보면 거의 2배 이상의 성능 차가 존재한다고 볼 수가 있고요. 네 번째는 레인포스먼트 러닝은

길어야 돼요. 엄청나게 길어야 돼요. 그래서 Longer reinforcement learning is key. 구매는 헬스 벤츠가 처음에 600스텝, 600스텝 뭐 600스텝까지는 큰 변화가 없어요. 그런데 놀랍게도 600을 넘어서서 거의 한 1000스텝을 넘어가면서부터 상승폭이 매우 커지는 걸 볼 수가 있습니다. 따라서 유의미한 성능 개선을 위해서는 reinforcement learning을 해야 됩니다. 우리가 이제 배웠던 reinforcement learning with evolving rubric에 나오는 이 evolving rubric의 효과. 방금 reinforcement learning 했을 때

이니셜 루브릭 온리 썼을 때랑 이볼빙 루브릭 썼을 때랑 이렇게 한 10% 정도의 차이가 발생, 10%가 아니고 3%, 4% 정도의 차이가 발생한다라는 것을 이제 보여주고 있습니다. 마지막은 이제 DR 툴루가 learns to use relevant tools인데 여러분들이 다음주에 우리 배우겠지만 툴 콜, 툴 유스 이렇게 했을 때 LLM한테 툴을 주면은 무조건 좋아질까 우리 그 레그 배울 때 언헬프풀 컨텍스트에 대해서 배워지네요.

즉, 레귤를 통해서 뭔가를 리트리우 했는데 리트리우 한 게 도움이 되는 컨텍스트가 아니면 내가 오히려 잘 맞추던 문제는 틀릴 수가 있거든요. 근데 툴도 마찬가지로 툴을 쓰라고 줬는데 얘가 엉뚱한 툴을 써가지고 오히려 성능이 저하될 수도 있습니다. 즉, 랩탑이든 스마트폰이든 내가 공부하는데 잘 쓰면 내 학업에 도움이 될 수가 있지만 그거 가지고 게임하면 사실 도움이 안 되잖아요. 마찬가지로 이 사이런스 내 하스케어 제널럴 도메인 이펙토이드 SFQA 각각의 도메인에

그 적합한 툴이 있는데 여기서 보여주는 것은 DRtool로 기법을 통해서 강화학습을 했더니 각 도메인에 적합한 툴의 활용 비율이 늘어난다. 그러니까 적재적소의 툴을 잘 쓰더라라는 얘기를 하고 있습니다. relevant tool을 쓴다. 그래서 이런 식으로 툴 유지에 대해서도 연구 성과를 보고하고 있는 것을 볼 수가 있습니다. 그래서 오늘 우리 파트 1, 2에서 배웠던 내용들을 좀 정리를 해보자면 일단은 이 Evaluation 관점에서 우리 Browse Comp, 이 벤치마크 한번 살펴봤죠. 그래서 Hard to answer but easy to verify question이 일단은 가장 손쉬운 형태의 딥 리서치를 만들 때 되게 좋고 이런 것을 만들면 여기 모델링 측면에서

그 RLVR 같은 것을 써서 일단은 SMT를 해서 콜트 스타트 문제를 해결을 하고 그 다음에 Synthetic QA를 가지고 RLVR을 하면 굉장히 좋은 딥 리서치 에이전트를 만들 수 있다는 것을 보여주고 있고요. 그 다음에 만약에 이런 easy to verify question이 아니라 런폼의 딥 리서치를 평가를 할 때는 이 루브릭 베이스드 이벌레이션이 되게 중요하다 에 대한 부분입니다. 그리고 이 루브릭 베이스드 이벌레이션 할 때 또 우리가 Involving Lubric 같은 것을 가지고 Reinforcement Learning을 하면 되게 효과적일 수 있다는 얘기를 할 수가 있겠습니다.

그래서 저희 오늘 이렇게 딥 리서치가 무엇인지 한번 살펴봤어요. 굉장히 컴플렉스한 리서치 과업을 수행할 때 단순 이 프롬트만큼 충분하지 않고 우리가 이 복잡한 과업을 리액트 프레임워크 또는 플래닝을 통해서 이 Organized Research Action 하는 게 매우 중요하다라고 얘기를 했고요. 그런 딥 리서치의 Answer Quality, Evidence Support를 어떻게 할 건지에 대해서 얘기를 해봤고 또 그 딥 리서치를 잘 하도록 학습하기 위해서 어떻게 데이터를 합성을 할지 그리고 리워드, 보상을 어떻게 줄지 그리고 딥 리서치를 쭉 하면은 컨텍스트가 너무 많아져가지고 Lost in the Maze 같은 현상이 발생할 수 있는데 걔네들을 어떻게 매니지먼트 할 것인지도 살펴봤고요. 마지막에는 이 복잡한 딥 리서치 관련해서 이 DR Tool라는 연구를 통해서 Evolving Lublin이라는 프레임워크.

그를 너무 제안해 봤습니다. 저희가 오늘 앞에 처음에 서두에 시작을 할 때 궁금한 거 있을 때 LL만큼 물어보면 어떻게 답변할까? 라고 물어봤고 거기에 대해서 여러분들이 혹시 나중에 기업이나 연구를 할 때 문제가 생겼을 때 오늘 배운 것들을 바탕으로 어떤 부분에 문제가 생겨서 이게 잘 안 돌아가는지를 판단할 수 있는 게 중요하겠습니다. 오늘 수업은 이렇게 마치도록 하고 다음 수업 때 저희 Conversational AI 플러스 툴 뉴스로 만나도록 하겠습니다.

수고 많았습니다.

おやすみなさい。

Thank you.

Thank you.

Thank you.

Thank you.

감사합니다.

Gracias.

가려고 합니다 민성이 공연 보러 가야 하는데 나도 민성이 공연 보러 가야 하는데 제가 하겠습니다 제가 하겠습니다

This is a good thing.

I'll see you next time.

한글자막 by 한효정

チョコレートチョコレート チョコレートチョコレート

Thank you.

내 몰골이 안 좋아가지고 아 힘들다 근데 울렀나 나 눈에 없었어? 있었어? 아 있었어? 아 그래? 아니 뒤에 보니까 없는 거야? 어 어디 갔지? 하면서 응 없구나 아 신수하게 봤는데 내가 잘 못 아 잤어 그래서 내가 못 봤나? 와 카톡 창이 몇 개야 전 인싸인 거에요 진짜 언어 천재네? 인싸인 언어 천재야 그니까 응 너무 잘 적어도 사라졌을 때 공감될 때 안에서

에이전트 해요 그래서 세미나? 어떻게 하기로? 아까 그냥 나갔어 대신에 주제랑 계획서 다 던져주고 나왔어 알았어 잘하시겠지 잘하시겠지 근데 근데 오늘 세미나 있나? 응 하더라고요 7시에? 응 아 그냥 갈까? 네 아무것도 하시는데 아 근데 딱 들어가면 저 선배 튄 선배 아니야? 아 다 후배였어요? 응 다 후배였어요

음 흥 흥 음 음흥 흥 어, 시험 기간인가? 어.. 시험 공부하기 싫다 아니에요 저 지금 하기 쉬워서 gj 요고있잖아요 이제 수업 끝났어? 수업 다 끝났어? 아.. 나도 다 끝났어 이유로 수업 방금 끝났어 언니, 저희 이모집권 자랑해도 돼? 어, 해도 돼 다음 영상에서 만나요.

아니 이게 근데 언니가 산 거는 막 따봉 같은 것도 있고 그래서 여기 표시하기 편안해요. 근데 제 거는 표시하면 너무 조그매서 잘 안 보이는 거 이미. 아아... 아니 언니가 표시가 안 되네. 근데 뭐 뭐 그냥 일단 이쁘면 좋은 거지. 실용성 이런 거 모르겠고. 아 기네께서 이렇게 하는 거보다 단독으로 보내는 게 훨씬 예쁜 거예요. 아아... 우와. 약간 노동 느낌이시네? 아기자기하다 되게. 응 아기자기. 언니네. 나 그 이후로 산 게 없어. 강아지. 상관없는데. 응.

약간 요즘 내 감정을 잘 표현해주는 이모티콘이 있어 아 비틀렸어 약간 이런? 아 진짜 웃기네 아직 멀었나요? 지겨워 탈발 그냥 이런 거 하고 싶어 아니 완전 녹초 됐구나 약간? 아니 뭐 아 은주 언니 혹시 이거 캡스턴 디자인이 응

오늘까지 뭐.. 보내는 거 보낼래? 아 그럼 그 시일에 그때 그렇게 지표 요청을 들어줬 다음에 또 쪼금 다음에 허락받고 아 맞아맞아 피드백 봤어? 아 그래그래 언니 이제 어디 가요? 나? 나는.. 오! 네일 했다! 파티 없어 예쁘다 아 이거 이거? 어 한지 좀.. 한 1주일 됐어 아 진짜요? 어 어 보라색깔 한 이유가 있어요? 보라색깔 한 이유 아 이거 정확한 색깔은 청회색이야 아 어 보라색으로 보이는데 회색으로도 보이지 않니? 제가 자세히 보면은 응 그래서 청색이랑 회색

하늘에다가 회색을 갑자기 조금 입힌 그런 색깔이었어 그거를 의도하고 이 색깔 한거임? 원래 그분이 추천해준게 있는데 추천해준 색깔이 하늘색이었는데 내가 그걸 그냥 무시하고 나 그 오른쪽에 있는 거 해달라고 줏대 있게 바로 그분을 이런 줏대에 있는 고객님 너무 좋다 내가 예쁘게 발라드려야겠다 아냐아냐 근데 내가 하면서 후회했어 아까 그게 좀 밝았던 것 같은데요 하면서 아 그래요? 하면서 후회해가지고 근데 내일 샷하면 그거 안녕

생일 축하드려요 생일 축하드려요 생일 축하드립니다 언니 생일이 더 가까워? 언니 생일이 더 가까워? 그럼 잘못 착하니까 10월 3분 7일 2분 2분 언니 생일 진짜 가깝다고 했어 10월 더 가까울까 10월 10일 12일 조금 더 앞에 그러면 의미있는 10월 10일 10월 9일

뭐야? 얼마나 아깝게 아 몇 시간 남았어? 아 몇 시간 남았더라? 설마! 15일? 7일? 아 진짜? 어떡해 와 생일이브 생일이브 그거 그런 거잖아? 오늘 생일이브예요? 생일이브 생일이브 생일이브 생일이브 아이고 아이고 안 되네 생일이브 케이크 생일이브 케이크 개소리를 좀 많이 한 것 같아요 개소리를 좀 많이 한 것 같아요 개소리를 내가 개소리를 못 잘하는데 없죠 어

아휴 힘들다 아 뭐하지? 시험공부 하기 싫은데? 시험공부를 해도 안 될까? 시험공부랑 캣띠이 빼고 다른래 시험공부 캣띠 그린드리기 응? 아니야 아니야 그린드리기 그래 나 그린드리기 그린드리기 아래 mayorkn

어? 뭐? 너는 뭐가 힘들어? 아니, 힘들다. 내게는 이런 거 같아. 아니, 왜 그래? 내가 아는 거... 잠깐만, 이거... 아, 약간... 아, 약간... 어, 내가 그 단어를 잘 몰라가지고. 드림드린 거 있는데, 내가 뭐라? 우와, 이거랑... 아, 이거 뭐야? 나, 나 이거. 예전에 이런 거 있었어. 우와! 모니가 월ana.

네. 올렸어. 진짜요? 왜 나 못 봤지? 이러면서 드렸어. 어때? 어? 지금? 여기 들어와서. 양념팀 위치다. 브랜드가 너무 명확한데. 새가 아닌 가방을 내. 아 근데 좀 뭔가 그림이 약간 뭐지? 동점 걸릴 때 그린 그림이라. 아. 어쨌든. 어. 뭐. 대단한지 모르겠거든. 이런 사람도 있어. 락커에요? 약간 머니가 락커 스타일인데. 드레스를 입고 학교에다가. 드레스는 학교가 아니라. 아 진짜? 그냥 뭐. 이제 유지한테 알려주시는 건데. 아 이거 너무 똑같은 영화 좀 했어요. 아니. 로에. яв bé? 네. 네. 아니에요. 네. 다행히 ones. 다리.

아니야 아니야, 서랏아. 이게... 고마워, 너의... 아니, 내 아중의, 한양이한테 물어봤다고 했길 하자. 네. 서경도 선생님이 아니라 좀 많이... 잘 고민을 했을 것 같은데... 모모님과는... 이제 이제 모두를 그래도 헛게 해지는 안적으로... 응, 모모님... 이제 를 한결 더 헛게 해주면... 너가 이제 평소가 안하고 있는 거 같은데... 아, 네, 내 기억에 코가 조금 더... 송수가 엄청 싹 안 아픈 것 같은데? 진짜 망했잖아 망했어

이게 많이네? 이거 많이네. 이거 김성은 교수님인데? 끝이 않아? 김성은 교수님은 저 지금 머리카락 때문에 세종교수님이시죠? 여기까지만 하자 그런데 내 교수님 맞으셔가지고 고마워 나? 어떻게 약간 악마워지신데? 아닌가? 본인이 없으시지 않아 모나리라 딱 하고 있어 뭐 어때? 형아 딱 한 번 아 너희들 그래서 인사해서에 가면 아 정말 안 좋아 생각들을 좀 덮고 하자 아 이걸 성격을 해봐 그럼 그 다음에 뭐하나? 네

모르겠다. 요리를 한 거 같다. 짜장빵? 아니요. 저는 짜장빵이에요. 사실... 요리해볼라. 그게 못할... 전부가를... 지구가... 지구가 멸망치 아니다. 일단은 믿지 말고 연속해서 남았거든요. 그게 있어야... 전부가를 못할 수 있는... 전부는... 전부에다가... 전부가... 전부가... 넓게 밥을 먹어요. 그러니깐 너무 오래 걸려서... 전부... 전부... 정체... 척소가...

좀 그렇다. 근데 뭐였다니? 근데 뭐였다니? 그래야겠다. 엄마 전화를 당했다. 그리고 그 짬뽕을 맞드리는 것 같아요. 어? 아아 맞불이 아닌데 맞불이 아닌데 맞불이 아닌데 아 또 뭐고 그 짬뽕을 만들려고 하잖아. 그

아 좋은데? 좋은데? 이번엔 진짜 많이 먹었지? 아니 아니야 먹으면 또 많이 먹었지 아니야 저번에 비슷해왔는데 한 4, 5개씩 이러면 먹을 것 같지? 빡빡쳐 빡빡은 아니고 약간 2개씩? 응 아 진짜 많이 먹었지 어디쯤? 아이고 다양한 음식을 많이 먹고 이 놀아줘서 수고하니까 아 아 아 아 아 아 아

어, 맛있더라? 나쁘지 않아 근데 지금 초밥 좋아하는 송출이 있잖아? 어... 송출... 야, 초밥을 엄청 좋아하시잖아요 오빠의 영어랑 반하고 좋아해요 아... 마약, 마약을 먹으면 무슨 말이 있잖아 송출은? 송출은 아니다 송출은 아니다 송출은 아니다? 약간? 어... 오빠는 약간 양식에 인식이 약간 너무 인식인가요? 맞아요, 내가 양식이랑 송출이 너무 인식인가요? 근데 이 방학반이 같이 키우고 인식이냐? 왜 오늘이 되게 떨� Musical… 이제화 какие

아 진짜 잘하겠다. 집 가서 요리하려면 좀 또 쇼핑해야 되는 거 아니에요. 쇼핑? 아 뭐 하면 되지. 화이팅! 아 근데 내일이랑 내일모레는 너무 바빠서 그래도 해먹을까? 오늘 해먹어야겠네. 지금 딱 좋은 거 같아. 딱 4시에 요리하면 5시면 먹을 수 있겠지? 뭐 그런 식으로. 그래 요리하러 갈게. 다음에 봐요.

Let's see.

さようなら

Oh

Oh

ご視聴ありがとうございました

Thank you.

Thank you.

Thank you.

아비찜

I'm going to take a look at this one, and I'm going to take a look at this one.

Oh

Thank you.

You

Thank you.

Thank you.

Thank you.

So

Thank you.

You

Thank you.

so

ご視聴ありがとうございました

I'm so excited to see you in the next video.

You

Thank you.

Thank you very much.

I'm going to pull up.

Thank you.

Thank you.

안녕히 계세요

감사합니다. 안녕하세요. 안녕하세요. 저도 소금소스 하나 주세요. 소금소스 하나요? 네. 항상 300원 정도 오도록 할게요. 네. 여기다 주시면 되세요. 이렇게 되셨습니다.

ラーメン レビー ラーメン

I'll see you next time.

車椅子ウォーカー

You

You

I'll see you next time.

I love you. Bye bye. Thank you.

Thank you.

ご視聴ありがとうございました

車椅子ウォーカー 車椅子ウォーカー

I don't know.

チョコレート

You

ご視聴ありがとうございました。

고춧가루

ご視聴ありがとうございました。

고춧가루

Thank you.

고춧가루

ご視聴ありがとうございました

아까 참 나 불렀지? 아니 너가 진짜 아니 지금 왔어 지금 왔다니까 지금 왔다니까 아 이거 일단 지금 왔다니까

한글자막 by 한효정

はい

You

I don't know.

Okay.

I'm going to get caught.

ご視聴ありがとうございました

フレーズム

고춧가루

I'm sorry. I'm sorry.

You

ご視聴ありがとうございました

Thank you.

Thank you.

You

Thank you.

Oh

Thank you.

Thank you.

You

Thank you.

Thank you.

You

Even if you're looking at the king and the king, you can see the king. The king of the king is also the king. The king of the king of the king is the king of the king of the king.

Thank you.

Thank you.

아 그래요? 지금 보고 2,000원씩 혹시 여기 짜장이랑 탕수육이랑 반반식 와우 회원 가입되어있는 친구들 만드는 거죠? 아 네네 그러면 탕자 하나 주세요. 현금으로 할게요. 네 그러면 3,500원에 할인 되는 거예요? 아 제 거에는 이게 2개 할인이 안 더 있어서 그럼 저희가 3,500원 할인이 돼 있는 거예요? 아 그래요? 근데 요즘 따른 거에기에 소중한 게 있어서 많이 떠올게요. 감사합니다.

고춧가루 고춧가루 고춧가루 고춧가루

와우웨어 초밥이랑 들어왔어요 주문 들어오는 건 아닙니다

제꺼의 크기이네

천원 하늘을 넣어서 천원짜리 그게 지금 안 떠있으니까요 천원 쿠폰 하늘이 제 핸드폰은 안 떠있어서 다른 데는 그래서 그 쿠폰 하늘이 내가 주로가 주로가 안 들어와서 그 도입을 해주세요

들어가있다 제 껌 들어갑니다

고춧가루

그냥 이거를 2,500원 정도 그런 건 5,000원 정도 왜냐면 2,500원의 1,000원 2,500원의 1,000원 눈에 딱 쓰게 지금 얘는 네

그 즉시하진 3,500원이죠. 그러면 그 쿠폰을 빼버리고 네 빼버리고 그게 낫겠어요. 왜냐하면 그게 즉시하진 바로 눈에 딱 띄거든요.

일반 가입사인데 제 거는 주체할 거거든요 그게 그 와우형 가입된 사람한테는 뜨고 안 된 사람은 안 될 거 아마 네 그 저희 쿠폰을 빼고 그래 딱 눈에 띄게 내일부터 3,500원 정도 쿠폰을 빼고 똑같이 하는 거 똑같은 건데 그냥 눈에 딱 띄게 다

Thank you.

また会いましょう

You

Thank you.

안됐죠?

언니! 언니 어서와요! 여기 비와요! 모자는 똑같네? 모자 똑같아요 세 분, 세 분! 안에 두 분이 앉으셨나요? 안에 여사 있어요? 이렇게? 맛있는거죠? 먹을만 있어요? 면으로, 밥으로? 오, 식당 정말 짜장할까?

Wir haben gerne das Kleid.

양반짱 너너너너너너너너너너너너너너너너너들

スープ オーブン ブルーベリー スープ グループ スープ コラボ スープ

チョコレート チョコレート チョコレート

チョコレート チョコレート チョコレート

고추장 고추장 고추장 후추

ご視聴ありがとうございました

ご視聴ありがとうございました

チョコレート

チョコレート

고춧가루

고춧가루

チョコレート

고춧가루

ありがとうございました

ご視聴ありがとうございました

마요네즈

またお会いしましょう。

I did

ご視聴ありがとうございました

バター

願います

Get it.

동시

so there you go

ご視聴ありがとうございました

고춧가루

지금 말고

바삭바삭

ご視聴ありがとうございました

次の動画でお会いしましょう

タマネギ

チョコレート

チョコレート

고춧가루

ご視聴ありがとうございました

チョコレート

チョコレート

8분째 대파 대파 소고기 뱅 소금 체� 고춧가루

고춧가루

You

ご視聴ありがとうございました

Yeah.

ご視聴ありがとうございました

반공이

3,500원이나 들어왔는데 오히려 똑같다면 손에 보이는 수가 생길 것 같아요 아, 내밀어, 내밀어 아, 맥시네 이게 이게 만약에 3,500원이나 배달료가 3,500원인데 만약에 1,000원, 이게 최소가 1,000원이라면 그러면 배달료가 4,000원 정도 나가면 네, 네 잘 먹었죠?

ホットスフィット

Thank you.

하하하하

뭘 삼살악 삼살악 땡큐 땡큐 기다리셨어요? 고맙습니다

And now I'll see you in the next one.

Thank you.

ご視聴ありがとうございました

Thank you.

Obrigada.

Thank you.

You

So

Thank you.

All right.

Thank you.

You

For more information visit www.fema.org

I don't know what to do.

You

You

ご視聴ありがとうございました

Here we go.

Thank you.

Thank you.

Продолжение следует...

You