alt

5w0330

2026๋…„ 11์›” 15์ผ ๊ณต์œ 

๐Ÿšจ [์‹œํ—˜ ์ถœ์ œ ๋ ˆ์ด๋”] ํ•ต์‹ฌ ํ† ํ”ฝ ๋ถ„์„

์˜ˆ์ƒ ์ถœ์ œ ์ˆœ์œ„
ํ•ต์‹ฌ ํ† ํ”ฝ (์ฃผ์ œ๋ช…)
๊ต์ˆ˜๋‹˜ ๊ฐ•์กฐ ์ˆ˜์ค€ (์ƒ/์ค‘/ํ•˜)
์ถœ์ œ ์˜ˆ์ƒ ์œ ํ˜• (๋‹จ๋‹ต/๊ณ„์‚ฐ/๋น„๊ต/์„œ์ˆ )
1์ˆœ์œ„
MCTS์˜ 4๋‹จ๊ณ„ ์•Œ๊ณ ๋ฆฌ์ฆ˜๊ณผ UCB1 ์‹์˜ ์˜๋ฏธ
์ƒ
๋‹จ๋‹ต/์„œ์ˆ /๊ณ„์‚ฐ
2์ˆœ์œ„
์ ๋Œ€์  ๊ฒŒ์ž„(AlphaGo)์—์„œ์˜ ์—ญ์ „ํŒŒ(Backpropagation) ๋ถ€ํ˜ธ ๋ฐ˜์ „ ์›๋ฆฌ
์ƒ
์„œ์ˆ /๋‹จ๋‹ต
3์ˆœ์œ„
Expectimax์˜ ํ™•๋ฅ  ๋…ธ๋“œ(Chance Node) ๊ธฐ๋Œ“๊ฐ’ ๊ณ„์‚ฐ
์ค‘
๊ณ„์‚ฐ
4์ˆœ์œ„
AlphaGo์˜ ์ •์ฑ…๋ง(Policy Network)๊ณผ ๊ฐ€์น˜๋ง(Value Network) ์—ญํ• 
์ค‘
๋‹จ๋‹ต/๋น„๊ต

๏ปฟ

๐Ÿง  [A+ ์„œ์ˆ ํ˜• ์™„๋ฒฝ ๋Œ€๋น„] ๋…ผ๋ฆฌ ํ๋ฆ„ ๋…ธํŠธ

[์ฃผ์ œ๋ช… 1] ๋ชฌํ…Œ์นด๋ฅผ๋กœ ํŠธ๋ฆฌ ํƒ์ƒ‰ (MCTS)๊ณผ UCB1

  • ์ถœ์ œ ํฌ์ธํŠธ: ๋ฐฉ๋Œ€ํ•œ ๊ฒŒ์ž„ ํŠธ๋ฆฌ๋ฅผ ๋ถ€๋ถ„์ ์œผ๋กœ ํƒ์ƒ‰ํ•˜๊ธฐ ์œ„ํ•œ MCTS์˜ 4๋‹จ๊ณ„ ๊ณผ์ •๊ณผ UCB1 ์ˆ˜์‹์˜ ์›๋ฆฌ
  • Why (์™œ ๋„์ž…๋˜์—ˆ๋‚˜): ๋ฐ”๋‘‘์ด๋‚˜ ์ฒด์Šค์ฒ˜๋Ÿผ ๊ฒฝ์šฐ์˜ ์ˆ˜๊ฐ€ ๋„ˆ๋ฌด ๋งŽ์•„(๋ฐ”๋‘‘์€ ํ‰๊ท  250์ˆ˜, ๊นŠ์ด 200 ์ด์ƒ) ๋ชจ๋“  ํŠธ๋ฆฌ๋ฅผ ํƒ์ƒ‰ํ•˜๋Š” Brute-force Minimax ๊ธฐ๋ฒ•์„ ์ ์šฉํ•  ์ˆ˜ ์—†๊ธฐ ๋•Œ๋ฌธ์ž…๋‹ˆ๋‹ค.
  • How (์–ด๋–ป๊ฒŒ ์ž‘๋™ํ•˜๋‚˜):
  1. Selection (์„ ํƒ): UCB1 ๊ณต์‹์„ ์ ์šฉํ•ด ๊ฐ€์žฅ ์œ ๋งํ•œ ๋…ธ๋“œ๋ฅผ ์„ ํƒํ•ด ๋‚ด๋ ค๊ฐ‘๋‹ˆ๋‹ค. UCB1์€ ์Šน๋ฅ ์ด ๋†’์€ ๊ณณ(Exploitation)๊ณผ ์•„์ง ๋œ ํƒ์ƒ‰๋œ ๊ณณ(Exploration)์˜ ๊ท ํ˜•์„ ๋งž์ถฅ๋‹ˆ๋‹ค.
  1. Expansion (ํ™•์žฅ): ๊ฐ€๋Šฅํ•œ ๋‹ค์Œ ์•ก์…˜ ์ค‘ ํ•˜๋‚˜๋ฅผ ์ž„์˜๋กœ ์„ ํƒํ•ด ํŠธ๋ฆฌ์— ๋…ธ๋“œ๋ฅผ ์ถ”๊ฐ€ํ•ฉ๋‹ˆ๋‹ค.
  1. Simulation (์‹œ๋ฎฌ๋ ˆ์ด์…˜): ์ถ”๊ฐ€๋œ ๋…ธ๋“œ๋ถ€ํ„ฐ ๊ฒŒ์ž„์ด ๋๋‚  ๋•Œ๊นŒ์ง€ ๋ฌด์ž‘์œ„๋กœ(ํ˜น์€ ๊ธฐ๋ณธ ๋ฃฐ์— ๋”ฐ๋ผ) ์ˆ˜๋ฅผ ๋‘์–ด ์ŠนํŒจ๋ฅผ ๊ฒฐ์ •ํ•ฉ๋‹ˆ๋‹ค.
  1. Backpropagation (์—ญ์ „ํŒŒ): ๊ฒฐ์ •๋œ ์ŠนํŒจ ๊ฒฐ๊ณผ๋ฅผ ๊ฑฐ์ณ์˜จ ๊ฒฝ๋กœ๋ฅผ ๋”ฐ๋ผ ๋ฃจํŠธ ๋ฐฉํ–ฅ์œผ๋กœ ์˜ฌ๋ผ๊ฐ€๋ฉฐ ํ†ต๊ณ„(์‹œ๋„ ํšŸ์ˆ˜, ์Šน๋ฆฌ ํšŸ์ˆ˜)๋ฅผ ๊ฐฑ์‹ ํ•ฉ๋‹ˆ๋‹ค.
  • Limit/Result (ํ•œ๊ณ„์  ๋ฐ ์˜์˜): ๋ชจ๋“  ๊ฒฝ์šฐ๋ฅผ ํ›‘์ง€ ์•Š๊ณ  ํ†ต๊ณ„์ ์œผ๋กœ ์œ ๋งํ•œ ๊ฒฝ๋กœ์— ์ง‘์ค‘(Statistics tree)ํ•˜์—ฌ ์ ์€ ๋…ธ๋ ฅ์œผ๋กœ ๋†’์€ ์ •ํ™•๋„์˜ ๋‹ค์Œ ์ˆ˜๋ฅผ ์˜ˆ์ธกํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

[์ฃผ์ œ๋ช… 2] AlphaGo MCTS์˜ ์—ญ์ „ํŒŒ ๋ถ€ํ˜ธ ๋ฐ˜์ „ ์›๋ฆฌ

  • ์ถœ์ œ ํฌ์ธํŠธ: ํ„ด์ œ ์ ๋Œ€์  ๊ฒŒ์ž„์—์„œ ์ŠนํŒจ ๊ฒฐ๊ณผ๊ฐ€ ๋ถ€๋ชจ-์ž์‹ ๋…ธ๋“œ ๊ฐ„์— ์–ด๋–ป๊ฒŒ ์—…๋ฐ์ดํŠธ๋˜๋Š”์ง€ ํŒŒ์•…
  • Why (์™œ ๋„์ž…๋˜์—ˆ๋‚˜): ๋ฐ”๋‘‘์€ ํ‘๊ณผ ๋ฐฑ์ด ๋ฒˆ๊ฐˆ์•„ ๋‘๋Š” ์ ๋Œ€์  ๊ฒŒ์ž„(Adversarial game)์ด๋ฏ€๋กœ, ๋‚˜์˜ ์ด์ต์€ ๊ณง ์ƒ๋Œ€์˜ ์†ํ•ด์ด๊ธฐ ๋•Œ๋ฌธ์ž…๋‹ˆ๋‹ค.
  • How (์–ด๋–ป๊ฒŒ ์ž‘๋™ํ•˜๋‚˜): ๋ฆฌํ”„ ๋…ธ๋“œ(SL)์—์„œ ์‹œ๋ฎฌ๋ ˆ์ด์…˜์ด ๋๋‚˜ ์ŠนํŒจ(V)๊ฐ€ ๊ฒฐ์ •๋˜๋ฉด, ํŠธ๋ฆฌ๋ฅผ ํ•œ ์นธ์”ฉ ์˜ฌ๋ผ๊ฐˆ ๋•Œ๋งˆ๋‹ค ๊ฐ’์— (-1)์„ ๊ณฑํ•˜์—ฌ ์—…๋ฐ์ดํŠธํ•ฉ๋‹ˆ๋‹ค. ๊ณต์‹์œผ๋กœ๋Š”
    Vโˆ—(sL)=V(sL)ร—(โˆ’1)dV^*(s_L) = V(s_L) \times (-1)^d๏ปฟ
    (d๋Š” ๊ฑฐ๋ฆฌ)๋ฅผ ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค. ์ƒˆ๋กœ์šด ํ‰๊ท  Q๊ฐ’์€ ๊ธฐ์กด Q๊ฐ’๊ณผ ์ƒˆ๋กœ์šด V๊ฐ’์„ ๊ฐ€์ค‘ ํ‰๊ท ํ•˜์—ฌ (V + (N-1)Q) / N ํ˜•ํƒœ๋กœ ๊ฐฑ์‹ ํ•ฉ๋‹ˆ๋‹ค.
  • Limit/Result (ํ•œ๊ณ„์  ๋ฐ ์˜์˜): ํ˜„์žฌ ํ„ด์˜ ์ฃผ์ฒด๊ฐ€ ๋ˆ„๊ตฌ์ธ์ง€ ์ •ํ™•ํžˆ ํŒŒ์•…ํ•ด์•ผ ํ•˜๋ฉฐ, ๋ฃจํŠธ ๋…ธ๋“œ๊ฐ€ ํ‘์ด๋”๋ผ๋„ ๋ฆฌํ”„ ๋…ธ๋“œ ์ฐจ๋ก€๊ฐ€ ๋ฐฑ์ด๋ฉด ๋ฐฑ์˜ ์Šน๋ฆฌ๋ฅผ ๊ธฐ์ค€์œผ๋กœ +1์„ ๋ถ€์—ฌํ•˜๊ณ  ์—ญ์ „ํŒŒํ•ด์•ผ ํ•ฉ๋‹ˆ๋‹ค.

โš”๏ธ [ํ•„์ˆ˜ ์•”๊ธฐ] ํ—ท๊ฐˆ๋ฆฌ๋Š” ๊ฐœ๋… ๋น„๊ต

๋น„๊ต ํ•ญ๋ชฉ
์ •์ฑ…๋ง (Policy Network)
๊ฐ€์น˜๋ง (Value Network)
ํ•ต์‹ฌ ์—ญํ• 
ํŠน์ • ํŒ ์ƒํƒœ์—์„œ ๊ฐ ์ž๋ฆฌ์— ๋Œ์ด ๋†“์ผ ํ™•๋ฅ  ์˜ˆ์ธก (์–ด๋””์— ๋‘˜ ๊ฒƒ์ธ๊ฐ€?)
ํŠน์ • ํŒ ์ƒํƒœ์—์„œ ํ˜„์žฌ ์ฐจ๋ก€์ธ ํ”Œ๋ ˆ์ด์–ด๊ฐ€ ์ด๊ธธ ํ™•๋ฅ  ์˜ˆ์ธก (๋ˆ„๊ฐ€ ์ด๊ธธ ๊ฒƒ์ธ๊ฐ€?)
MCTS ์ ์šฉ ๋‹จ๊ณ„
Selection ๋‹จ๊ณ„์—์„œ ํ›„๋ณด ์ˆ˜๋ฅผ ์ขํžˆ๊ณ  ํƒ์ƒ‰ ๊ฐ€์น˜(u)๋ฅผ ๊ณ„์‚ฐํ•  ๋•Œ ์‚ฌ์šฉ
Simulation(ํ‰๊ฐ€) ๋‹จ๊ณ„์—์„œ ๋ฆฌํ”„ ๋…ธ๋“œ์˜ ๊ฐ€์น˜๋ฅผ ๊ณ„์‚ฐํ•  ๋•Œ ์‹œ๋ฎฌ๋ ˆ์ด์…˜ ๊ฒฐ๊ณผ์™€ ๊ฒฐํ•ฉํ•˜์—ฌ ์‚ฌ์šฉ
์ถœ๋ ฅ ํ˜•ํƒœ
19x19 ์ฐจ์›์˜ ํ™•๋ฅ ๊ฐ’
1์ฐจ์›์˜ ์Šน๋ฅ ๊ฐ’ (-1 ~ +1)
โš ๏ธ [์ถœ์ œ์ž์˜ ํ•จ์ • ์ฃผ์˜!]

๏ปฟ

๐ŸŽฏ [์‹ค์ „ ๋ชจ์˜๊ณ ์‚ฌ] ๊ต์ˆ˜๋‹˜ ๋งž์ถคํ˜• ํ•˜๋“œ์ฝ”์–ด ํ›ˆ๋ จ

[์„น์…˜ 1: ๋‹จ๋‹ต ๋ฐ ๊ฐœ๋… ํ™•์ธํ˜•]
  • Q1. ํ™•๋ฅ ์  ์š”์†Œ(์˜ˆ: ์ฃผ์‚ฌ์œ„, ๋™์ „ ๋˜์ง€๊ธฐ)๊ฐ€ ํฌํ•จ๋œ ๊ฒŒ์ž„์—์„œ ๋ฐœ์ƒ ๊ฐ€๋Šฅํ•œ ๋ชจ๋“  ๊ฒฐ๊ณผ์˜ ๊ธฐ๋Œ“๊ฐ’์„ ๊ณ„์‚ฐํ•˜์—ฌ ์ตœ์ ์˜ ์ˆ˜๋ฅผ ์ฐพ๋Š” ์•Œ๊ณ ๋ฆฌ์ฆ˜์€ ๋ฌด์—‡์ธ๊ฐ€?
  • Q2. MCTS์˜ 4๊ฐ€์ง€ ๋‹จ๊ณ„๋ฅผ ์ˆœ์„œ๋Œ€๋กœ ์ ์œผ์‹œ์˜ค.
  • Q3. UCB1 ๊ณต์‹์—์„œ ์Šน๋ฅ ์ด ๋†’์€ ์ˆ˜๋ฅผ ์„ ํƒํ•˜๋ ค๋Š” ์„ฑํ–ฅ์„ ๋œปํ•˜๋Š” ์˜์–ด ์šฉ์–ด์™€, ์•„์ง ๋œ ํƒ์ƒ‰๋œ ์ˆ˜๋ฅผ ์‹œ๋„ํ•˜๋ ค๋Š” ์„ฑํ–ฅ์„ ๋œปํ•˜๋Š” ์˜์–ด ์šฉ์–ด๋Š” ๊ฐ๊ฐ ๋ฌด์—‡์ธ๊ฐ€?
  • Q4. AlphaGo์—์„œ ๋ฐ”๋‘‘ํŒ ์ƒํƒœ๊ฐ€ ์ฃผ์–ด์กŒ์„ ๋•Œ, ๋‚จ๋“ค(๊ธฐ์กด ๊ธฐ๋ณด)์ด ํŠน์ • ์œ„์น˜์— ๋Œ์„ ๋‘˜ ํ™•๋ฅ ์„ ์ถœ๋ ฅํ•˜๋Š” ์‹ ๊ฒฝ๋ง์˜ ์ด๋ฆ„์€ ๋ฌด์—‡์ธ๊ฐ€?
[์„น์…˜ 2: ์กฐ๊ฑด๋ถ€ ์ ์šฉ ๋ฐ ๊ณ„์‚ฐํ˜•]
  • Q5. [Expectimax ๊ณ„์‚ฐ] A์ƒ์ž์—๋Š” -10๊ณผ 10, B์ƒ์ž์—๋Š” 1๊ณผ 3, C์ƒ์ž์—๋Š” 5์™€ 15๊ฐ€ ๋“ค์–ด์žˆ๋‹ค. ๋™์ „์„ ๋˜์ ธ ์•ž๋ฉด์ด ๋‚˜์˜ค๋ฉด ์„ ํƒํ•œ ์ƒ์ž๋ฅผ ์œ ์ง€ํ•˜๊ณ , ๋’ท๋ฉด์ด ๋‚˜์˜ค๋ฉด ์˜ค๋ฅธ์ชฝ ์ƒ์ž(A->B, B->C, C->A)๋กœ ๋ฐ”๊พผ๋‹ค. ์ƒ๋Œ€๋ฐฉ์€ ํ•ญ์ƒ ๋‚˜์—๊ฒŒ ๊ฐ€์žฅ ๋ถˆ๋ฆฌํ•œ(์ตœ์†Œ์˜) ์ˆซ์ž๋ฅผ ๊ณ ๋ฅธ๋‹ค. ๋‚ด๊ฐ€ B์ƒ์ž๋ฅผ ์ฒ˜์Œ ์„ ํƒํ–ˆ์„ ๋•Œ ์–ป์„ ์ˆ˜ ์žˆ๋Š” ๊ธฐ๋Œ“๊ฐ’์€ ์–ผ๋งˆ์ธ๊ฐ€? (๋‹จ, ๊ฐ ๋™์ „์˜ ํ™•๋ฅ ์€ 0.5์ด๋‹ค.)
[์„น์…˜ 3: ์„œ์ˆ ํ˜• ๋ฐ ๋…ผ์ˆ ํ˜•]
  • Q6. ์•ŒํŒŒ๊ณ ์˜ MCTS ์—ญ์ „ํŒŒ(Backpropagation) ๊ณผ์ •์—์„œ ํŠธ๋ฆฌ๋ฅผ ํ•œ ์นธ์”ฉ ์˜ฌ๋ผ๊ฐˆ ๋•Œ๋งˆ๋‹ค ์ŠนํŒจ ๊ฐ’์— (-1)์„ ๊ณฑํ•˜๋Š” ์ด์œ ๋ฅผ ๊ฒŒ์ž„์˜ ํŠน์„ฑ๊ณผ ์—ฐ๊ด€ ์ง€์–ด ์„œ์ˆ ํ•˜์‹œ์˜ค.
  • Q7. MCTS์—์„œ ์ƒˆ๋กœ์šด ์‹œ๋ฎฌ๋ ˆ์ด์…˜ ๊ฒฐ๊ณผ๊ฐ€ ๋‚˜์™”์„ ๋•Œ ๋…ธ๋“œ์˜ Q๊ฐ’(์Šน๋ฅ  ํ‰๊ท )์„ ์—…๋ฐ์ดํŠธํ•˜๋Š” ๋ฐฉ์‹์„, ๊ต์ˆ˜๋‹˜์ด ์–ธ๊ธ‰ํ•œ 'ํ‰๊ท  ๊ณ„์‚ฐ์˜ ์›๋ฆฌ'๋ฅผ ๋ฐ”ํƒ•์œผ๋กœ ์„ค๋ช…ํ•˜์‹œ์˜ค.
<details>
<summary></summary>
  • A1. Expectimax (์ต์ŠคํŽ™ํ‹ฐ๋งฅ์Šค)
  • A2. Selection(์„ ํƒ) -> Expansion(ํ™•์žฅ) -> Simulation(์‹œ๋ฎฌ๋ ˆ์ด์…˜) -> Backpropagation(์—ญ์ „ํŒŒ/Update)
  • A3. Exploitation (์ด์šฉ), Exploration (ํƒ์ƒ‰)
  • A4. ์ •์ฑ…๋ง (Policy Network)
  • A5. 5.5 (ํ•ด์„ค: B ์œ ์ง€ ์‹œ ์ƒ๋Œ€๋Š” 1 ์„ ํƒ. C๋กœ ๋ณ€๊ฒฝ ์‹œ ์ƒ๋Œ€๋Š” 5 ์„ ํƒ. ๊ธฐ๋Œ“๊ฐ’ = (1 * 0.5) + (5 * 0.5) = 3. ์•—, ๊ฐ•์˜ ์˜ˆ์‹œ ๊ธฐ์ค€ 5000์› ๋‹จ์œ„๋ผ๋ฉด 15,000์›. ์ˆซ์ž ์ž์ฒด ๊ธฐ๋Œ“๊ฐ’์€ 3)
  • A6. [ํ•ต์‹ฌ ํ‚ค์›Œ๋“œ: ์ ๋Œ€์  ๊ฒŒ์ž„, ํ„ด ๊ต๋Œ€, ๋ถ€ํ˜ธ ๋ฐ˜์ „] ๋ฐ”๋‘‘์€ ํ‘๊ณผ ๋ฐฑ์ด ๋ฒˆ๊ฐˆ์•„ ๋‘๋Š” ์ ๋Œ€์  ๊ฒŒ์ž„์ด๋ฏ€๋กœ, ์ž์‹ ๋…ธ๋“œ์—์„œ์˜ ์ด์ต(์Šน๋ฆฌ)์€ ๋ถ€๋ชจ ๋…ธ๋“œ ํ„ด์˜ ํ”Œ๋ ˆ์ด์–ด์—๊ฒŒ๋Š” ์†ํ•ด(ํŒจ๋ฐฐ)๋ฅผ ์˜๋ฏธํ•˜๊ธฐ ๋•Œ๋ฌธ์ž…๋‹ˆ๋‹ค. ๋”ฐ๋ผ์„œ ํŠธ๋ฆฌ๋ฅผ ์˜ฌ๋ผ๊ฐˆ ๋•Œ๋งˆ๋‹ค ํ„ด์ด ๋ฐ”๋€Œ๋ฏ€๋กœ (-1)์„ ๊ณฑํ•ด ๊ฐ€์น˜๋ฅผ ๋ฐ˜์ „์‹œํ‚ต๋‹ˆ๋‹ค.
  • A7. [ํ•ต์‹ฌ ํ‚ค์›Œ๋“œ: ๊ธฐ์กด ์‹œ๋„ ํšŸ์ˆ˜, ๊ธฐ์กด ํ‰๊ท , ๊ฐ€์ค‘ ํ‰๊ท ] N๋ฒˆ ์‹œ๋„๋œ ์ƒˆ๋กœ์šด ํ‰๊ท ์„ ๊ตฌํ•˜๊ธฐ ์œ„ํ•ด, ๊ธฐ์กด์˜ (N-1)๋ฒˆ ์‹œ๋„๋œ ํ‰๊ท  Q๊ฐ’์— (N-1)์„ ๊ณฑํ•ด ๊ธฐ์กด ์ดํ•ฉ์„ ๊ตฌํ•˜๊ณ , ์ƒˆ๋กœ ์–ป์€ ๊ฐ€์น˜ V๋ฅผ ๋”ํ•œ ๋’ค ์ „์ฒด ํšŸ์ˆ˜ N์œผ๋กœ ๋‚˜๋ˆ„์–ด ์—…๋ฐ์ดํŠธํ•ฉ๋‹ˆ๋‹ค.
</details>

๏ปฟ

โšก [์‹œํ—˜ ์ง์ „ 5๋ถ„ ์ปท] ๋ฒผ๋ฝ์น˜๊ธฐ ์š”์•ฝ ์•”๊ธฐ์žฅ

  • Expectimax: ํ™•๋ฅ  ๋…ธ๋“œ๋ฅผ ์ถ”๊ฐ€ํ•˜์—ฌ ๊ฐ ๊ฒฐ๊ณผ์˜ '๊ธฐ๋Œ“๊ฐ’(ํ™•๋ฅ ร—์ ์ˆ˜)'์„ ๊ณ„์‚ฐํ•ด ์ตœ์„ ์˜ ์ˆ˜๋ฅผ ๊ฒฐ์ •ํ•œ๋‹ค.
  • MCTS 4๋‹จ๊ณ„: Selection -> Expansion -> Simulation -> Backpropagation. (์‹œ๋ฎฌ๋ ˆ์ด์…˜ ์ค‘๊ฐ„ ๊ณผ์ •์€ ํŠธ๋ฆฌ์— ์ ˆ๋Œ€ ์ €์žฅํ•˜์ง€ ์•Š์Œ!)
  • UCB1 ๊ณต์‹: ์Šน๋ฅ (Exploitation)๊ณผ ํƒ์ƒ‰ ์ ์€ ํšŸ์ˆ˜(Exploration)๋ฅผ ๋™์‹œ์— ๊ณ ๋ คํ•˜์—ฌ ๋‹ค์Œ ๋…ธ๋“œ๋ฅผ ์„ ํƒํ•œ๋‹ค.
  • ์•ŒํŒŒ๊ณ ์˜ ๋‘ ์‹ ๊ฒฝ๋ง: '์ •์ฑ…๋ง'์€ ์–ด๋””์— ๋‘˜์ง€(ํ™•๋ฅ )๋ฅผ, '๊ฐ€์น˜๋ง'์€ ๋ˆ„๊ฐ€ ์ด๊ธธ์ง€(์Šน๋ฅ )๋ฅผ ํŒ๋‹จํ•œ๋‹ค.
  • ์—ญ์ „ํŒŒ ๋ถ€ํ˜ธ ๋ฐ˜์ „: ์ ๋Œ€์  ๊ฒŒ์ž„์ด๋ฏ€๋กœ ๋ถ€๋ชจ์™€ ์ž์‹ ๋…ธ๋“œ๋Š” ์ ๋Œ€ ๊ด€๊ณ„๋‹ค. ๋ฆฌํ”„ ๋…ธ๋“œ(SL) ๊ธฐ์ค€ ์ŠนํŒจ๋ฅผ ํŒ๋‹จํ•˜๊ณ , ์œ„๋กœ ์˜ฌ๋ผ๊ฐˆ ๋•Œ๋งˆ๋‹ค (-1)์„ ๊ณฑํ•ด ์Šน๋ฅ  ๋ถ€ํ˜ธ๋ฅผ ๋ฐ˜์ „์‹œํ‚จ๋‹ค.
๊ณต๊ฐœ ๋…ธํŠธ ๋ชจ๋‘ ๋ณด๊ธฐ