JW Blog
Boruta

Boruta

Boruta

Boruta

Summary

Random Forest๋‚˜ XGBoost์ฒ˜๋Ÿผ Feature Importance๋ฅผ ์•Œ ์ˆ˜ ์žˆ๋Š” ์•Œ๊ณ ๋ฆฌ์ฆ˜์˜ ๊ฒฝ์šฐ์— ํ™œ์šฉํ•  ์ˆ˜ ์žˆ๋Š” Feature Selection ๋ฐฉ๋ฒ•์ด๋‹ค.

Description

X๋ณ€์ˆ˜๋ฅผ ๋žœ๋ค์…”ํ”Œํ•œ Shaodw ๋ณ€์ˆ˜๋ฅผ ๋งŒ๋“ค๊ณ , ์ด๋“ค์˜ ๋ณ€์ˆ˜ ์ค‘์š”๋„ ์ค‘ ์ตœ๋Œ“๊ฐ’๊ณผ ๋น„๊ตํ•˜์—ฌ ๋ณ€์ˆ˜๋ฅผ ์„ ํƒํ•˜๊ฑฐ๋‚˜ ์ œ๊ฑฐํ•˜๋Š” ๋ฐฉ๋ฒ•์ด๋‹ค. ๊ทธ๋Ÿฐ๋ฐ ๋žœ๋ค์…”ํ”Œํ•œ ๋ณ€์ˆ˜์ด๊ธฐ ๋•Œ๋ฌธ์— ์—ฌ๋Ÿฌ๋ฒˆ ๋Œ๋ ค์„œ ํ•˜๊ฒŒ ๋˜๋Š”๋ฐ, ๊ทธ๋•Œ๋งˆ๋‹ค shadow ๋ณ€์ˆ˜์˜ ๋ณ€์ˆ˜ ์ค‘์š”๋„ ์ตœ๋Œ“๊ฐ’๊ณผ ๋น„๊ตํ•˜์—ฌ ๋” ํฐ ๋ณ€์ˆ˜ ์ค‘์š”๋„๋ฅผ ๋ช‡ ๋ฒˆ์ด๋‚˜ ๋ณด์˜€๋Š”์ง€ ์ฒดํฌํ•œ๋‹ค. ๊ทธ๋ฆฌ๊ณ ๋‚˜์„œ 0.5 ํ™•๋ฅ ๋กœ binomial ๋ถ„ํฌ๋ฅผ ๊ทธ๋ ค์„œ ํ•˜์œ„ 2.5%์˜ ํšŸ์ˆ˜์— ํ•ด๋‹นํ•˜๋Š” ๊ฒฝ์šฐ์—๋งŒ ๋ณ€์ˆ˜๋ฅผ ์ œ๊ฑฐํ•œ๋‹ค.

๋ชฉ์ฐจ