5w0330
2026๋ 11์ 15์ผ ๊ณต์
๐จ [์ํ ์ถ์ ๋ ์ด๋] ํต์ฌ ํ ํฝ ๋ถ์
์์ ์ถ์ ์์ | ํต์ฌ ํ ํฝ (์ฃผ์ ๋ช
) | ๊ต์๋ ๊ฐ์กฐ ์์ค (์/์ค/ํ) | ์ถ์ ์์ ์ ํ (๋จ๋ต/๊ณ์ฐ/๋น๊ต/์์ ) |
|---|---|---|---|
1์์ | MCTS์ 4๋จ๊ณ ์๊ณ ๋ฆฌ์ฆ๊ณผ UCB1 ์์ ์๋ฏธ | ์ | ๋จ๋ต/์์ /๊ณ์ฐ |
2์์ | ์ ๋์ ๊ฒ์(AlphaGo)์์์ ์ญ์ ํ(Backpropagation) ๋ถํธ ๋ฐ์ ์๋ฆฌ | ์ | ์์ /๋จ๋ต |
3์์ | Expectimax์ ํ๋ฅ ๋
ธ๋(Chance Node) ๊ธฐ๋๊ฐ ๊ณ์ฐ | ์ค | ๊ณ์ฐ |
4์์ | AlphaGo์ ์ ์ฑ
๋ง(Policy Network)๊ณผ ๊ฐ์น๋ง(Value Network) ์ญํ | ์ค | ๋จ๋ต/๋น๊ต |
๐ง [A+ ์์ ํ ์๋ฒฝ ๋๋น] ๋ ผ๋ฆฌ ํ๋ฆ ๋ ธํธ
[์ฃผ์ ๋ช 1] ๋ชฌํ ์นด๋ฅผ๋ก ํธ๋ฆฌ ํ์ (MCTS)๊ณผ UCB1
- ์ถ์ ํฌ์ธํธ: ๋ฐฉ๋ํ ๊ฒ์ ํธ๋ฆฌ๋ฅผ ๋ถ๋ถ์ ์ผ๋ก ํ์ํ๊ธฐ ์ํ MCTS์ 4๋จ๊ณ ๊ณผ์ ๊ณผ UCB1 ์์์ ์๋ฆฌ
- Why (์ ๋์ ๋์๋): ๋ฐ๋์ด๋ ์ฒด์ค์ฒ๋ผ ๊ฒฝ์ฐ์ ์๊ฐ ๋๋ฌด ๋ง์(๋ฐ๋์ ํ๊ท 250์, ๊น์ด 200 ์ด์) ๋ชจ๋ ํธ๋ฆฌ๋ฅผ ํ์ํ๋ Brute-force Minimax ๊ธฐ๋ฒ์ ์ ์ฉํ ์ ์๊ธฐ ๋๋ฌธ์ ๋๋ค.
- How (์ด๋ป๊ฒ ์๋ํ๋):
- Selection (์ ํ): UCB1 ๊ณต์์ ์ ์ฉํด ๊ฐ์ฅ ์ ๋งํ ๋ ธ๋๋ฅผ ์ ํํด ๋ด๋ ค๊ฐ๋๋ค. UCB1์ ์น๋ฅ ์ด ๋์ ๊ณณ(Exploitation)๊ณผ ์์ง ๋ ํ์๋ ๊ณณ(Exploration)์ ๊ท ํ์ ๋ง์ถฅ๋๋ค.
- Expansion (ํ์ฅ): ๊ฐ๋ฅํ ๋ค์ ์ก์ ์ค ํ๋๋ฅผ ์์๋ก ์ ํํด ํธ๋ฆฌ์ ๋ ธ๋๋ฅผ ์ถ๊ฐํฉ๋๋ค.
- Simulation (์๋ฎฌ๋ ์ด์ ): ์ถ๊ฐ๋ ๋ ธ๋๋ถํฐ ๊ฒ์์ด ๋๋ ๋๊น์ง ๋ฌด์์๋ก(ํน์ ๊ธฐ๋ณธ ๋ฃฐ์ ๋ฐ๋ผ) ์๋ฅผ ๋์ด ์นํจ๋ฅผ ๊ฒฐ์ ํฉ๋๋ค.
- Backpropagation (์ญ์ ํ): ๊ฒฐ์ ๋ ์นํจ ๊ฒฐ๊ณผ๋ฅผ ๊ฑฐ์ณ์จ ๊ฒฝ๋ก๋ฅผ ๋ฐ๋ผ ๋ฃจํธ ๋ฐฉํฅ์ผ๋ก ์ฌ๋ผ๊ฐ๋ฉฐ ํต๊ณ(์๋ ํ์, ์น๋ฆฌ ํ์)๋ฅผ ๊ฐฑ์ ํฉ๋๋ค.
- Limit/Result (ํ๊ณ์ ๋ฐ ์์): ๋ชจ๋ ๊ฒฝ์ฐ๋ฅผ ํ์ง ์๊ณ ํต๊ณ์ ์ผ๋ก ์ ๋งํ ๊ฒฝ๋ก์ ์ง์ค(Statistics tree)ํ์ฌ ์ ์ ๋ ธ๋ ฅ์ผ๋ก ๋์ ์ ํ๋์ ๋ค์ ์๋ฅผ ์์ธกํ ์ ์์ต๋๋ค.
[์ฃผ์ ๋ช 2] AlphaGo MCTS์ ์ญ์ ํ ๋ถํธ ๋ฐ์ ์๋ฆฌ
- ์ถ์ ํฌ์ธํธ: ํด์ ์ ๋์ ๊ฒ์์์ ์นํจ ๊ฒฐ๊ณผ๊ฐ ๋ถ๋ชจ-์์ ๋ ธ๋ ๊ฐ์ ์ด๋ป๊ฒ ์ ๋ฐ์ดํธ๋๋์ง ํ์
- Why (์ ๋์ ๋์๋): ๋ฐ๋์ ํ๊ณผ ๋ฐฑ์ด ๋ฒ๊ฐ์ ๋๋ ์ ๋์ ๊ฒ์(Adversarial game)์ด๋ฏ๋ก, ๋์ ์ด์ต์ ๊ณง ์๋์ ์ํด์ด๊ธฐ ๋๋ฌธ์ ๋๋ค.
- How (์ด๋ป๊ฒ ์๋ํ๋): ๋ฆฌํ ๋
ธ๋(SL)์์ ์๋ฎฌ๋ ์ด์
์ด ๋๋ ์นํจ(V)๊ฐ ๊ฒฐ์ ๋๋ฉด, ํธ๋ฆฌ๋ฅผ ํ ์นธ์ฉ ์ฌ๋ผ๊ฐ ๋๋ง๋ค ๊ฐ์ (-1)์ ๊ณฑํ์ฌ ์
๋ฐ์ดํธํฉ๋๋ค. ๊ณต์์ผ๋ก๋ ๏ปฟ(d๋ ๊ฑฐ๋ฆฌ)๋ฅผ ์ฌ์ฉํฉ๋๋ค. ์๋ก์ด ํ๊ท Q๊ฐ์ ๊ธฐ์กด Q๊ฐ๊ณผ ์๋ก์ด V๊ฐ์ ๊ฐ์ค ํ๊ท ํ์ฌ
(V + (N-1)Q) / Nํํ๋ก ๊ฐฑ์ ํฉ๋๋ค.
- Limit/Result (ํ๊ณ์ ๋ฐ ์์): ํ์ฌ ํด์ ์ฃผ์ฒด๊ฐ ๋๊ตฌ์ธ์ง ์ ํํ ํ์ ํด์ผ ํ๋ฉฐ, ๋ฃจํธ ๋ ธ๋๊ฐ ํ์ด๋๋ผ๋ ๋ฆฌํ ๋ ธ๋ ์ฐจ๋ก๊ฐ ๋ฐฑ์ด๋ฉด ๋ฐฑ์ ์น๋ฆฌ๋ฅผ ๊ธฐ์ค์ผ๋ก +1์ ๋ถ์ฌํ๊ณ ์ญ์ ํํด์ผ ํฉ๋๋ค.
โ๏ธ [ํ์ ์๊ธฐ] ํท๊ฐ๋ฆฌ๋ ๊ฐ๋ ๋น๊ต
๋น๊ต ํญ๋ชฉ | ์ ์ฑ
๋ง (Policy Network) | ๊ฐ์น๋ง (Value Network) |
|---|---|---|
ํต์ฌ ์ญํ | ํน์ ํ ์ํ์์ ๊ฐ ์๋ฆฌ์ ๋์ด ๋์ผ ํ๋ฅ ์์ธก (์ด๋์ ๋ ๊ฒ์ธ๊ฐ?) | ํน์ ํ ์ํ์์ ํ์ฌ ์ฐจ๋ก์ธ ํ๋ ์ด์ด๊ฐ ์ด๊ธธ ํ๋ฅ ์์ธก (๋๊ฐ ์ด๊ธธ ๊ฒ์ธ๊ฐ?) |
MCTS ์ ์ฉ ๋จ๊ณ | Selection ๋จ๊ณ์์ ํ๋ณด ์๋ฅผ ์ขํ๊ณ ํ์ ๊ฐ์น(u)๋ฅผ ๊ณ์ฐํ ๋ ์ฌ์ฉ | Simulation(ํ๊ฐ) ๋จ๊ณ์์ ๋ฆฌํ ๋
ธ๋์ ๊ฐ์น๋ฅผ ๊ณ์ฐํ ๋ ์๋ฎฌ๋ ์ด์
๊ฒฐ๊ณผ์ ๊ฒฐํฉํ์ฌ ์ฌ์ฉ |
์ถ๋ ฅ ํํ | 19x19 ์ฐจ์์ ํ๋ฅ ๊ฐ | 1์ฐจ์์ ์น๋ฅ ๊ฐ (-1 ~ +1) |
โ ๏ธ [์ถ์ ์์ ํจ์ ์ฃผ์!]
๐ฏ [์ค์ ๋ชจ์๊ณ ์ฌ] ๊ต์๋ ๋ง์ถคํ ํ๋์ฝ์ด ํ๋ จ
[์น์
1: ๋จ๋ต ๋ฐ ๊ฐ๋
ํ์ธํ]
- Q1. ํ๋ฅ ์ ์์(์: ์ฃผ์ฌ์, ๋์ ๋์ง๊ธฐ)๊ฐ ํฌํจ๋ ๊ฒ์์์ ๋ฐ์ ๊ฐ๋ฅํ ๋ชจ๋ ๊ฒฐ๊ณผ์ ๊ธฐ๋๊ฐ์ ๊ณ์ฐํ์ฌ ์ต์ ์ ์๋ฅผ ์ฐพ๋ ์๊ณ ๋ฆฌ์ฆ์ ๋ฌด์์ธ๊ฐ?
- Q2. MCTS์ 4๊ฐ์ง ๋จ๊ณ๋ฅผ ์์๋๋ก ์ ์ผ์์ค.
- Q3. UCB1 ๊ณต์์์ ์น๋ฅ ์ด ๋์ ์๋ฅผ ์ ํํ๋ ค๋ ์ฑํฅ์ ๋ปํ๋ ์์ด ์ฉ์ด์, ์์ง ๋ ํ์๋ ์๋ฅผ ์๋ํ๋ ค๋ ์ฑํฅ์ ๋ปํ๋ ์์ด ์ฉ์ด๋ ๊ฐ๊ฐ ๋ฌด์์ธ๊ฐ?
- Q4. AlphaGo์์ ๋ฐ๋ํ ์ํ๊ฐ ์ฃผ์ด์ก์ ๋, ๋จ๋ค(๊ธฐ์กด ๊ธฐ๋ณด)์ด ํน์ ์์น์ ๋์ ๋ ํ๋ฅ ์ ์ถ๋ ฅํ๋ ์ ๊ฒฝ๋ง์ ์ด๋ฆ์ ๋ฌด์์ธ๊ฐ?
[์น์
2: ์กฐ๊ฑด๋ถ ์ ์ฉ ๋ฐ ๊ณ์ฐํ]
- Q5. [Expectimax ๊ณ์ฐ] A์์์๋ -10๊ณผ 10, B์์์๋ 1๊ณผ 3, C์์์๋ 5์ 15๊ฐ ๋ค์ด์๋ค. ๋์ ์ ๋์ ธ ์๋ฉด์ด ๋์ค๋ฉด ์ ํํ ์์๋ฅผ ์ ์งํ๊ณ , ๋ท๋ฉด์ด ๋์ค๋ฉด ์ค๋ฅธ์ชฝ ์์(A->B, B->C, C->A)๋ก ๋ฐ๊พผ๋ค. ์๋๋ฐฉ์ ํญ์ ๋์๊ฒ ๊ฐ์ฅ ๋ถ๋ฆฌํ(์ต์์) ์ซ์๋ฅผ ๊ณ ๋ฅธ๋ค. ๋ด๊ฐ B์์๋ฅผ ์ฒ์ ์ ํํ์ ๋ ์ป์ ์ ์๋ ๊ธฐ๋๊ฐ์ ์ผ๋ง์ธ๊ฐ? (๋จ, ๊ฐ ๋์ ์ ํ๋ฅ ์ 0.5์ด๋ค.)
[์น์
3: ์์ ํ ๋ฐ ๋
ผ์ ํ]
- Q6. ์ํ๊ณ ์ MCTS ์ญ์ ํ(Backpropagation) ๊ณผ์ ์์ ํธ๋ฆฌ๋ฅผ ํ ์นธ์ฉ ์ฌ๋ผ๊ฐ ๋๋ง๋ค ์นํจ ๊ฐ์ (-1)์ ๊ณฑํ๋ ์ด์ ๋ฅผ ๊ฒ์์ ํน์ฑ๊ณผ ์ฐ๊ด ์ง์ด ์์ ํ์์ค.
- Q7. MCTS์์ ์๋ก์ด ์๋ฎฌ๋ ์ด์ ๊ฒฐ๊ณผ๊ฐ ๋์์ ๋ ๋ ธ๋์ Q๊ฐ(์น๋ฅ ํ๊ท )์ ์ ๋ฐ์ดํธํ๋ ๋ฐฉ์์, ๊ต์๋์ด ์ธ๊ธํ 'ํ๊ท ๊ณ์ฐ์ ์๋ฆฌ'๋ฅผ ๋ฐํ์ผ๋ก ์ค๋ช ํ์์ค.
<details>
</details>
<summary></summary>
- A1. Expectimax (์ต์คํํฐ๋งฅ์ค)
- A2. Selection(์ ํ) -> Expansion(ํ์ฅ) -> Simulation(์๋ฎฌ๋ ์ด์ ) -> Backpropagation(์ญ์ ํ/Update)
- A3. Exploitation (์ด์ฉ), Exploration (ํ์)
- A4. ์ ์ฑ ๋ง (Policy Network)
- A5. 5.5 (ํด์ค: B ์ ์ง ์ ์๋๋ 1 ์ ํ. C๋ก ๋ณ๊ฒฝ ์ ์๋๋ 5 ์ ํ. ๊ธฐ๋๊ฐ = (1 * 0.5) + (5 * 0.5) = 3. ์, ๊ฐ์ ์์ ๊ธฐ์ค 5000์ ๋จ์๋ผ๋ฉด 15,000์. ์ซ์ ์์ฒด ๊ธฐ๋๊ฐ์ 3)
- A6. [ํต์ฌ ํค์๋: ์ ๋์ ๊ฒ์, ํด ๊ต๋, ๋ถํธ ๋ฐ์ ] ๋ฐ๋์ ํ๊ณผ ๋ฐฑ์ด ๋ฒ๊ฐ์ ๋๋ ์ ๋์ ๊ฒ์์ด๋ฏ๋ก, ์์ ๋ ธ๋์์์ ์ด์ต(์น๋ฆฌ)์ ๋ถ๋ชจ ๋ ธ๋ ํด์ ํ๋ ์ด์ด์๊ฒ๋ ์ํด(ํจ๋ฐฐ)๋ฅผ ์๋ฏธํ๊ธฐ ๋๋ฌธ์ ๋๋ค. ๋ฐ๋ผ์ ํธ๋ฆฌ๋ฅผ ์ฌ๋ผ๊ฐ ๋๋ง๋ค ํด์ด ๋ฐ๋๋ฏ๋ก (-1)์ ๊ณฑํด ๊ฐ์น๋ฅผ ๋ฐ์ ์ํต๋๋ค.
- A7. [ํต์ฌ ํค์๋: ๊ธฐ์กด ์๋ ํ์, ๊ธฐ์กด ํ๊ท , ๊ฐ์ค ํ๊ท ] N๋ฒ ์๋๋ ์๋ก์ด ํ๊ท ์ ๊ตฌํ๊ธฐ ์ํด, ๊ธฐ์กด์ (N-1)๋ฒ ์๋๋ ํ๊ท Q๊ฐ์ (N-1)์ ๊ณฑํด ๊ธฐ์กด ์ดํฉ์ ๊ตฌํ๊ณ , ์๋ก ์ป์ ๊ฐ์น V๋ฅผ ๋ํ ๋ค ์ ์ฒด ํ์ N์ผ๋ก ๋๋์ด ์ ๋ฐ์ดํธํฉ๋๋ค.
โก [์ํ ์ง์ 5๋ถ ์ปท] ๋ฒผ๋ฝ์น๊ธฐ ์์ฝ ์๊ธฐ์ฅ
- Expectimax: ํ๋ฅ ๋ ธ๋๋ฅผ ์ถ๊ฐํ์ฌ ๊ฐ ๊ฒฐ๊ณผ์ '๊ธฐ๋๊ฐ(ํ๋ฅ ร์ ์)'์ ๊ณ์ฐํด ์ต์ ์ ์๋ฅผ ๊ฒฐ์ ํ๋ค.
- MCTS 4๋จ๊ณ: Selection -> Expansion -> Simulation -> Backpropagation. (์๋ฎฌ๋ ์ด์ ์ค๊ฐ ๊ณผ์ ์ ํธ๋ฆฌ์ ์ ๋ ์ ์ฅํ์ง ์์!)
- UCB1 ๊ณต์: ์น๋ฅ (Exploitation)๊ณผ ํ์ ์ ์ ํ์(Exploration)๋ฅผ ๋์์ ๊ณ ๋ คํ์ฌ ๋ค์ ๋ ธ๋๋ฅผ ์ ํํ๋ค.
- ์ํ๊ณ ์ ๋ ์ ๊ฒฝ๋ง: '์ ์ฑ ๋ง'์ ์ด๋์ ๋์ง(ํ๋ฅ )๋ฅผ, '๊ฐ์น๋ง'์ ๋๊ฐ ์ด๊ธธ์ง(์น๋ฅ )๋ฅผ ํ๋จํ๋ค.
- ์ญ์ ํ ๋ถํธ ๋ฐ์ : ์ ๋์ ๊ฒ์์ด๋ฏ๋ก ๋ถ๋ชจ์ ์์ ๋ ธ๋๋ ์ ๋ ๊ด๊ณ๋ค. ๋ฆฌํ ๋ ธ๋(SL) ๊ธฐ์ค ์นํจ๋ฅผ ํ๋จํ๊ณ , ์๋ก ์ฌ๋ผ๊ฐ ๋๋ง๋ค (-1)์ ๊ณฑํด ์น๋ฅ ๋ถํธ๋ฅผ ๋ฐ์ ์ํจ๋ค.
๋ค๋ฅธ ๊ณต๊ฐ ๋ ธํธ
๊ณต๊ฐ ๋ ธํธ ๋ชจ๋ ๋ณด๊ธฐKYA ๊ธฐ๋ฐ ์์ด์ ํธ ์ธ์ฆ ํ๋กํ ์ฝ
2026๋ 11์ 18์ผ
๋ณด๊ธฐ
ํ๋ฅ MVP ๋ฒ์ ๋ฐ ๊ธฐ๋ฅ ์ ์ ํ์
2026๋ 11์ 17์ผ
๋ณด๊ธฐ
์ด์์ฒด์ 10/26
2026๋ 11์ 17์ผ
๋ณด๊ธฐ
New Note
2026๋ 11์ 16์ผ
๋ณด๊ธฐ
RLC ์คํ๊ณผ ์๊ธฐ์ฅ ์ธก์ ์คํ๊ธฐ๋ก
2026๋ 11์ 14์ผ
๋ณด๊ธฐ
ํ๋ณตํ ์๋๊ธฐ๋ฅผ ์ํ ๋ถ๋ชจ์ ์ดํด์ ์ํ์ง๋
2026๋ 11์ 13์ผ
๋ณด๊ธฐ