7w0413
2026๋ 11์ 15์ผ ๊ณต์
๐จ [์ํ ์ถ์ ๋ ์ด๋] ํต์ฌ ํ ํฝ ๋ถ์
์์ ์ถ์ ์์ | ํต์ฌ ํ ํฝ (์ฃผ์ ๋ช
) | ๊ต์๋ ๊ฐ์กฐ ์์ค (์/์ค/ํ) | ์ถ์ ์์ ์ ํ (๋จ๋ต/๊ณ์ฐ/๋น๊ต/์์ ) |
|---|---|---|---|
1์์ | AdaBoost์ ์คํ
ํ(Stump) ์์ฑ ๋ฐ ๊ฐ์ค์น ๊ฐฑ์ ๊ณผ์ | ์ (์ง์ ์์ผ๋ก ํ์ด๋ณด๋ผ๊ณ ๊ฐ์กฐ) | ๊ณ์ฐ/์์ |
2์์ | XGBoost์ ์์ ์ ๋ ๊ณผ์ (ํ
์ผ๋ฌ ๊ธ์ ์ ์ฉ) | ์ (์์์ ๋์ถ ๋ฐฐ๊ฒฝ์ ๊ฐํ๊ฒ ์ดํ) | ์์ /๋จ๋ต |
3์์ | AdaBoost์ XGBoost์ ์๋ ๋ฐฉ์ ์ฐจ์ด | ์ค | ๋น๊ต/์์ |
4์์ | ๊ธฐ์กด ์์ฌ๊ฒฐ์ ๋๋ฌด์ XGBoost์ ๋ถ๊ธฐ(Split) ๊ธฐ์ค ์ฐจ์ด | ์ค | ๋จ๋ต/๋น๊ต |
๐ง [A+ ์์ ํ ์๋ฒฝ ๋๋น] ๋ ผ๋ฆฌ ํ๋ฆ ๋ ธํธ
[์ฃผ์ ๋ช 1] AdaBoost์ ์๋ ์๋ฆฌ์ ๋ฐ์ดํฐ ๊ฐ์ค์น ๊ฐฑ์
- ์ถ์ ํฌ์ธํธ: ํ๋ฆฐ ๋ฐ์ดํฐ์ ๊ฐ์ค์น๋ฅผ ๋์ฌ ๋ค์ ์คํ ํ๊ฐ ์ด๋ฅผ ์ง์ค์ ์ผ๋ก ํ์ตํ๊ฒ ๋ง๋๋ ๋์ ๋ฉ์ปค๋์ฆ์ ์ดํด
- Why (์ ๋์ ๋์๋): ๋จ์ผ ๋ชจ๋ธ์ ํ๊ณ๋ฅผ ๊ทน๋ณตํ๊ธฐ ์ํด, ์ฝํ ํ์ต๊ธฐ(์คํ ํ)๋ฅผ ์ฌ๋ฌ ๊ฐ ์ฐ๊ฒฐํ์ฌ ์ ์ง์ ์ผ๋ก ์ ๋ต์ ๊ฐ๊น์์ง๋๋ก ํ๊ธฐ ์ํจ.
- How (์ด๋ป๊ฒ ์๋ํ๋):
- ์ด๊ธฐ์๋ ๋ชจ๋ ๋ฐ์ดํฐ์ ๊ฐ์ค์น๋ฅผ ๋์ผํ๊ฒ(์: 1/8) ์ค์ .
- ๊ฐ๋ฅํ ๋ชจ๋ ๋ถ๊ธฐ ๊ธฐ์ค์ ํ ์คํธํ์ฌ **๊ฐ์ค์น ์ ์ฉ ์ค๋ฅ์จ(Weighted Error Rate)**์ด ๊ฐ์ฅ ๋ฎ์ ๋ถ๊ธฐ๋ฅผ ์ฒซ ๋ฒ์งธ ์คํ ํ(Stump)๋ก ์ ํ.
- ์คํ ํ์ ๋ถ๋ฅ ๊ฒฐ๊ณผ์ ๋ฐ๋ผ, ๋ง์ถ ๋ฐ์ดํฐ์ ๊ฐ์ค์น๋ ๋ฎ์ถ๊ณ ํ๋ฆฐ ๋ฐ์ดํฐ์ ๊ฐ์ค์น๋ ๋์. (์ด๋ ์ ์ฒด ๊ฐ์ค์น ํฉ์ด 1์ด ๋๋๋ก ์ ๊ทํ(Z) ์ํ)
- ๊ฐฑ์ ๋ ๊ฐ์ค์น๋ฅผ ๋ฐํ์ผ๋ก ๋ค์ ์คํ ํ๋ฅผ ์์ฑ. ์ด ๊ณผ์ ์ด ๋์ ๋จ.
- Limit/Result (ํ๊ณ์ ๋ฐ ์์): ํน์ ๋ฐ์ดํฐ๊ฐ ๊ณ์ ํ๋ฆด ๊ฒฝ์ฐ ๊ฐ์ค์น๊ฐ ๊ธฐํ๊ธ์์ ์ผ๋ก ์ปค์ ธ, ๋ค์ ์คํ ํ๋ ๋ฌด์กฐ๊ฑด ๊ทธ ๋ฐ์ดํฐ๋ฅผ ๋ง์ถ๋ ๋ฐฉํฅ์ผ๋ก ํธํฅ๋์ด ์์ฑ๋จ.
[์ฃผ์ ๋ช 2] XGBoost์ ๋ชฉ์ ํจ์ ์ต์ ํ์ ํ ์ผ๋ฌ ๊ธ์(Taylor Series)
- ์ถ์ ํฌ์ธํธ: XGBoost์ ๋ณต์กํ ๊ฐ์ค์น ๊ณ์ฐ ์์์ด 'ํ ์ผ๋ฌ ๊ธ์'๋ฅผ ํตํ ๋ชฉ์ ํจ์(Loss Function) ๊ทผ์ฌ์์ ์ ๋๋์์์ ์ค๋ช ํ ์ ์๋๊ฐ
- Why (์ ๋์ ๋์๋): ํธ๋ฆฌ๋ฅผ ์ถ๊ฐํ ๋๋ง๋ค ๊ธฐ์กด ์์ธก๊ฐ๊ณผ ์ ๋ต ๊ฐ์ '์ฐจ์ด(์์ฐจ)'๋ฅผ ์ค์ฌ์ผ ํ๋๋ฐ, ์ด ๋ชฉ์ ํจ์๋ฅผ ์ํ์ ์ผ๋ก ์ฝ๊ฒ ํ๊ณ ์ฐ์ฐ ๋ถ๋ด์ ์ค์ด๊ธฐ ์ํด ๋์ .
- How (์ด๋ป๊ฒ ์๋ํ๋):
- ์๋ก์ด ํธ๋ฆฌ๊ฐ ์ถ๊ฐ๋ ๋์ ๋ชฉ์ ํจ์๋ฅผ ํ ์ผ๋ฌ ๊ธ์๋ฅผ ์ด์ฉํด 2์ฐจ ๊ทผ์ฌํจ.
- 1์ฐจ ๋ฏธ๋ถ๊ฐ(๏ปฟ)๊ณผ 2์ฐจ ๋ฏธ๋ถ๊ฐ(๏ปฟ)์ ์ฌ์ฉํ์ฌ ์์์ ์ ๊ฐ.
- ์ด ๊ทผ์ฌ๋ ์์์ ๋ฏธ๋ถํ์ฌ 0์ด ๋๋ ์ง์ ์ ์ฐพ์์ผ๋ก์จ, ๋ฆฌํ ๋
ธ๋์ ์ต์ ๊ฐ์ค์น(๏ปฟ)๋ฅผ ๋์ถํจ.
- Limit/Result (ํ๊ณ์ ๋ฐ ์์): ์์ธก ์ ํ๋(Loss ์ต์ํ)์ ํธ๋ฆฌ์ ๋ณต์ก๋(์ค๋ฒํผํ ๋ฐฉ์ง)๋ฅผ ๋์์ ๊ณ ๋ คํ์ฌ ์ต์ ์ ๋ถ๊ธฐ๋ฅผ ์ฐพ์๋ผ ์ ์์.
โ๏ธ [ํ์ ์๊ธฐ] ํท๊ฐ๋ฆฌ๋ ๊ฐ๋ ๋น๊ต
๋น๊ต ํญ๋ชฉ | AdaBoost | XGBoost |
|---|---|---|
ํต์ฌ ์๋ฆฌ | ๋ฐ์ดํฐ์ ๊ฐ์ค์น๋ฅผ ์กฐ์ ํ์ฌ ์ค๋ต์ ์ง์ค | ์ด์ ํธ๋ฆฌ์ **์ค๋ฅ(์์ฐจ)**๋ฅผ ๋ค์ ํธ๋ฆฌ๊ฐ ๋ณด์ |
์ถ๋ ฅ ํํ | ์คํ
ํ์ ๊ฐ์ค์น( ๏ปฟ )๋ฅผ ๋ฐ์ํ +1 / -1 ๋ถ๋ฅ | ๋ฆฌํ ๋
ธ๋์ ์ค์๊ฐ(๊ฐ์ค์น)๋ค์ ๋ชจ๋ ํฉ์ฐ |
๋ถ๊ธฐ(Split) ๊ธฐ์ค | ๊ฐ์ค์น ์ ์ฉ ์ค๋ฅ์จ(Weighted Error Rate) ์ต์ํ | ์์ค ํจ์(Loss)์ ๊ฐ์๋(Gain) ์ต๋ํ |
โ ๏ธ [์ถ์ ์์ ํจ์ ์ฃผ์!]
๐ฏ [์ค์ ๋ชจ์๊ณ ์ฌ] ๊ต์๋ ๋ง์ถคํ ํ๋์ฝ์ด ํ๋ จ
[์น์
1: ๋จ๋ต ๋ฐ ๊ฐ๋
ํ์ธํ]
- Q1. AdaBoost์์ ๊ฐ ๋ฐ์ดํฐ์ ๊ฐ์ค์น๋ฅผ ๊ฐฑ์ ํ ํ, ์ ์ฒด ๊ฐ์ค์น์ ํฉ์ 1๋ก ๋ง์ถ๊ธฐ ์ํด ๋๋์ด์ฃผ๋ ์ ๊ทํ ์์๋ฅผ ๋ฌด์์ด๋ผ๊ณ ํ๋๊ฐ?
- Q2. XGBoost์์ ์๋ก์ด ํธ๋ฆฌ๋ฅผ ์ถ๊ฐํ ๋, ๋ชฉ์ ํจ์๋ฅผ ์ํ์ ์ผ๋ก ๊ทผ์ฌํ๊ธฐ ์ํด ๋์ ํ ์ํ์ ๊ธฐ๋ฒ์ ์ด๋ฆ์ ๋ฌด์์ธ๊ฐ?
- Q3. ๊ธฐ์กด ์์ฌ๊ฒฐ์ ๋๋ฌด๋ ์ํธ๋กํผ๋ ์ง๋ ๊ณ์๋ฅผ ์ฌ์ฉํด ๋ถ๊ธฐํ์ง๋ง, XGBoost๋ ๋ฌด์์ ์ค์ด๋ ๋ฐฉํฅ์ผ๋ก ๋ถ๊ธฐ๋ฅผ ์ ํํ๋๊ฐ?
[์น์
2: ์กฐ๊ฑด๋ถ ์ ์ฉ ๋ฐ ๊ณ์ฐํ]
- Q4. ์ด 8๊ฐ์ ๋ฐ์ดํฐ๊ฐ ์๊ณ ์ด๊ธฐ ๊ฐ์ค์น๋ ๋ชจ๋ 1/8์ด๋ค. ์ฒซ ๋ฒ์งธ ์คํ ํ๋ฅผ ์์ฑํ ๊ฒฐ๊ณผ 2๊ฐ์ ๋ฐ์ดํฐ๊ฐ ์ค๋ถ๋ฅ๋์๋ค. ์ด ์ฒซ ๋ฒ์งธ ์คํ ํ์ ๊ฐ์ค์น ์ ์ฉ ์ค๋ฅ์จ(Weighted Error Rate)์ ์ผ๋ง์ธ๊ฐ?
[์น์
3: ์์ ํ ๋ฐ ๋
ผ์ ํ]
- Q5. ๊ต์๋์ ๊ฐ์ ์ค "XGBoost์ ์์์ด ๋ณต์กํด ๋ณด์ด์ง๋ง, ๊ฒฐ๊ตญ ์ด๋ค ์์์ผ๋ก๋ถํฐ ์ ๋๋ ๊ฒ์ด๋ค"๋ผ๊ณ ๊ฐ์กฐํ์ต๋๋ค. XGBoost๊ฐ ๋ฆฌํ ๋ ธ๋์ ์ต์ ๊ฐ์ค์น๋ฅผ ๊ตฌํ๊ธฐ ์ํด ๋ชฉ์ ํจ์๋ฅผ ์ด๋ป๊ฒ ๋ณํ ๋ฐ ์ต์ ํํ๋์ง 'ํ ์ผ๋ฌ ๊ธ์', '1์ฐจ/2์ฐจ ๋ฏธ๋ถ', '๋ฏธ๋ถ๊ฐ์ด 0์ด ๋๋ ์ง์ '์ด๋ผ๋ 3๊ฐ์ง ํค์๋๋ฅผ ํฌํจํ์ฌ ์์ ํ์์ค.
<details>
</details>
<summary></summary>
[์น์
1]
- A1. ๏ปฟ(์ ๊ทํ ์์)
- A2. ํ ์ผ๋ฌ ๊ธ์ (Taylor Series)
- A3. ์์ค ํจ์ (Loss function) ๋๋ ๋ชฉ์ ํจ์
[์น์
2]
- A4. 1/8 + 1/8 = 2/8 (๋๋ 1/4, 0.25). (์ค๋ถ๋ฅ๋ ๋ฐ์ดํฐ๋ค์ ๊ฐ์ค์น ํฉ)
[์น์
3]
- A5. XGBoost๋ ํธ๋ฆฌ๊ฐ ์ถ๊ฐ๋ ๋์ ๋ชฉ์ ํจ์๋ฅผ ์ฝ๊ฒ ๊ณ์ฐํ๊ธฐ ์ํด ํ
์ผ๋ฌ ๊ธ์๋ฅผ ์ ์ฉํ์ฌ ์์์ 2์ฐจ ๊ทผ์ฌํฉ๋๋ค. ์ด ๊ณผ์ ์์ ์์คํจ์์ **1์ฐจ ๋ฏธ๋ถ๊ฐ(๏ปฟ)๊ณผ 2์ฐจ ๋ฏธ๋ถ๊ฐ(๏ปฟ)**์ด ๋์ถ๋๋ฉฐ, ์ด ๊ทผ์ฌ๋ 2์ฐจ ํจ์๋ฅผ ๋ฏธ๋ถํ์ฌ ๋ฏธ๋ถ๊ฐ์ด 0์ด ๋๋ ์ง์ ์ ์ฐพ์์ผ๋ก์จ ์์ค์ ์ต์ํํ๋ ๋ฆฌํ ๋ ธ๋์ ์ต์ ๊ฐ์ค์น๋ฅผ ์ ๋ํด๋ ๋๋ค.
โก [์ํ ์ง์ 5๋ถ ์ปท] ๋ฒผ๋ฝ์น๊ธฐ ์์ฝ ์๊ธฐ์ฅ
- AdaBoost ํต์ฌ ํ๋ฆ: ๋ชจ๋ ๋ฐ์ดํฐ ๋์ผ ๊ฐ์ค์น ์์ ๏ปฟ์ค๋ฅ์จ ์ต์ํํ๋ ์คํ ํ ์ฐพ๊ธฐ๏ปฟํ๋ฆฐ ๋ฐ์ดํฐ ๊ฐ์ค์น UP, ๋ง์ถ ๋ฐ์ดํฐ ๊ฐ์ค์น DOWN๏ปฟ์ ๊ทํ(๏ปฟ).
- ๋์ ์ ๋ฏธํ: AdaBoost์ ๋ง์ง๋ง ์๋ฌ์จ์ ๋จ์ผ ํธ๋ฆฌ์ ๊ฒฐ๊ณผ๊ฐ ์๋๋ผ, ์ฒซ ํธ๋ฆฌ๋ถํฐ ๋์ ๋ ๊ฐ์ค์น ๊ฐฑ์ ์ ๊ฒฐ๊ณผ๋ฌผ์ด๋ค.
- XGBoost ํต์ฌ ํ๋ฆ: ์ด์ ํธ๋ฆฌ์ ์์ธก๊ฐ๊ณผ ์ ๋ต์ '์ฐจ์ด(์์ฐจ)'๋ฅผ ๋ค์ ํธ๋ฆฌ๊ฐ ์์ธกํ์ฌ ๋ํ๋ ๋ฐฉ์.
- ํ
์ผ๋ฌ ๊ธ์(Taylor Series) ํ์ ์๊ธฐ: XGBoost์ ๋ณต์กํ ๊ฐ์ค์น ์์์ ํ
์ผ๋ฌ ๊ธ์๋ฅผ ์ด์ฉํด ๋ชฉ์ ํจ์๋ฅผ 2์ฐจ ๊ทผ์ฌ(1์ฐจ ๋ฏธ๋ถ ๏ปฟ, 2์ฐจ ๋ฏธ๋ถ๏ปฟ)ํ ํ, ๋ฏธ๋ถ๊ฐ์ด 0์ด ๋๋ ์ต์ ์ ์ ์ฐพ์ ๊ฒฐ๊ณผ๋ค.
- ๋ถ๊ธฐ ๊ธฐ์ค์ ์ฐจ์ด: ์ผ๋ฐ ํธ๋ฆฌ๋ ์ํธ๋กํผ/์ง๋๊ณ์๋ฅผ ์ฐ์ง๋ง, XGBoost๋ Loss ํจ์ ๊ธฐ๋ฐ์ Gain์ ๊ณ์ฐํ์ฌ ๋ถ๊ธฐํ๋ค.
๋ค๋ฅธ ๊ณต๊ฐ ๋ ธํธ
๊ณต๊ฐ ๋ ธํธ ๋ชจ๋ ๋ณด๊ธฐKYA ๊ธฐ๋ฐ ์์ด์ ํธ ์ธ์ฆ ํ๋กํ ์ฝ
2026๋ 11์ 18์ผ
๋ณด๊ธฐ
ํ๋ฅ MVP ๋ฒ์ ๋ฐ ๊ธฐ๋ฅ ์ ์ ํ์
2026๋ 11์ 17์ผ
๋ณด๊ธฐ
์ด์์ฒด์ 10/26
2026๋ 11์ 17์ผ
๋ณด๊ธฐ
New Note
2026๋ 11์ 16์ผ
๋ณด๊ธฐ
RLC ์คํ๊ณผ ์๊ธฐ์ฅ ์ธก์ ์คํ๊ธฐ๋ก
2026๋ 11์ 14์ผ
๋ณด๊ธฐ
ํ๋ณตํ ์๋๊ธฐ๋ฅผ ์ํ ๋ถ๋ชจ์ ์ดํด์ ์ํ์ง๋
2026๋ 11์ 13์ผ
๋ณด๊ธฐ