[ML] 앙상블 학습 - XGBoost

XGBoost 란?

XGBoost (Extreme Gradient Boosting)는 그래디언트 부스팅(Gradient Boosting) 알고리즘의 고급 구현체로,
매우 빠르고 효율적이며 강력한 성능을 자랑하는 머신러닝 모델입니다.
XGBoost는 대규모 데이터셋과 높은 정확도를 요구하는 문제에서 뛰어난 성능을 보여주며,
여러 머신러닝 대회에서 널리 사용됩니다.

---

XGBoost의 주요 특징:

1. 그래디언트 부스팅 알고리즘:
   • XGBoost는 그래디언트 부스팅 알고리즘을 기반으로 하며, 모델을 여러 개의 결정 트리를 결합하여 점진적으로 예측 성능을 향상시킵니다. 각 트리는 이전 모델의 예측 오류를 보정하는 방식으로 훈련됩니다.
2. 병렬 처리:
   • XGBoost는 트리 학습의 병렬화(parallelization)를 통해 속도를 크게 개선했습니다. 이는 특히 대규모 데이터셋을 처리할 때 중요한 장점입니다.
   • 트리의 각 노드 분할을 병렬적으로 계산하여 학습 시간을 단축시킵니다.
3. 정규화(Regularization):
   • XGBoost는 L1 (Lasso)와 L2 (Ridge) 정규화를 지원하여 과적합(overfitting)을 방지하고 모델을 일반화하는 데 도움을 줍니다. 이는 다른 그래디언트 부스팅 구현체와 차별화되는 중요한 특징입니다.
4. 개선된 트리 분할 알고리즘:
   • XGBoost는 정확한 트리 분할을 위해 예측값의 분포를 고려하여 최적화합니다. 또한 예측 오류(residual)와 과정 중의 학습을 최적화하여 성능을 높입니다.
5. 커스텀 손실 함수:
   • XGBoost는 사용자가 커스텀 손실 함수(loss function)를 정의할 수 있어, 문제에 맞는 세부 조정을 할 수 있습니다. 이를 통해 더 특화된 모델링이 가능합니다.
6. 결과 해석:
   • XGBoost는 모델의 예측에서 중요한 특성(feature)을 평가할 수 있는 특성 중요도(feature importance) 기능을 제공합니다. 이를 통해 모델의 결정 과정에 대한 통찰을 얻을 수 있습니다.
7. 조기 종료(Early Stopping):
   • 조기 종료 기능을 통해 모델이 과적합되는 것을 방지하고 최적의 시점에 학습을 중단할 수 있습니다. 이는 학습 데이터를 추가로 확인하지 않고도, 테스트 세트에서 성능이 저하되기 전에 훈련을 멈추게 합니다.
8. Sparse 데이터 지원:
   • XGBoost는 희소 데이터(sparse data)를 효율적으로 처리할 수 있습니다. 이는 결측값이나 0값이 많은 데이터셋에 매우 유리합니다.

---

XGBoost의 장점:

• 빠른 학습 속도: 병렬 처리와 효율적인 메모리 사용 덕분에 다른 머신러닝 모델보다 학습 속도가 빠릅니다.
• 높은 정확도: 정확도와 예측 성능에서 우수한 성능을 보입니다. 특히 중앙 집중화된 하이퍼파라미터 튜닝을 통해 성능을 더욱 향상시킬 수 있습니다.
• 과적합 방지: 정규화 및 조기 종료 기능을 통해 과적합을 잘 방지할 수 있습니다.
• 대규모 데이터 처리: XGBoost는 큰 데이터셋을 잘 처리할 수 있도록 최적화되어 있어, 실용적인 머신러닝 문제에서 매우 유용합니다.
• 모델 해석: 특성 중요도 평가 등으로 모델의 예측 결과를 해석할 수 있어, 머신러닝 모델을 설명할 때 유리합니다.

XGBoost의 단점:

• 하이퍼파라미터 튜닝의 복잡성: XGBoost의 성능을 최대한 끌어내기 위해서는 하이퍼파라미터 조정이 매우 중요하고, 이를 위한 많은 실험이 필요할 수 있습니다.
• 메모리 소비: 데이터가 매우 큰 경우, 메모리 사용량이 늘어날 수 있습니다. 그러나 이를 해결하기 위한 최적화 방법들이 존재합니다.

---

XGBoost의 주요 하이퍼파라미터:

• learning_rate (또는 eta): 각 트리가 예측에 기여하는 정도를 설정하는 파라미터로, 낮을수록 안정적이지만 학습 속도는 느려집니다.
• n_estimators: 부스팅을 수행할 트리의 개수입니다.
• max_depth: 각 트리의 최대 깊이로, 과적합을 방지하려면 적절한 깊이를 설정하는 것이 중요합니다.
• min_child_weight: 트리의 리프 노드에서 최소한으로 필요한 샘플의 수를 설정합니다.
• subsample: 각 트리를 훈련할 때 사용하는 샘플의 비율을 설정합니다. 1이면 전체 데이터를 사용하고, 0.5이면 절반만 사용합니다.
• colsample_bytree: 각 트리를 훈련할 때 사용할 특성의 비율을 설정합니다.
• gamma: 트리 분할을 위해 필요한 최소한의 손실 감소량입니다.

---

예시

- 데이터 로드

from sklearn.ensemble import BaggingRegressor
from sklearn.tree import DecisionTreeRegressor
from sklearn.metrics import mean_squared_error
from sklearn.datasets import load_breast_cancer
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler

# 유방암 데이터 로드
cancer_data = load_breast_cancer()
X, y = cancer_data.data, cancer_data.target

# 데이터 분할
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 데이터 스케일링
scaler = StandardScaler()
X_train_scaled = scaler.fit_transform(X_train)
X_test_scaled = scaler.transform(X_test)

 

- XGBoost 모델 구현 및 평가

import xgboost as xgb
from sklearn.metrics import mean_squared_error

# XGBoost 모델 생성
xgb_model = xgb.XGBRegressor(n_estimators=100, learning_rate=0.1, max_depth=3, random_state=42)

# 모델 학습
xgb_model.fit(X_train_scaled, y_train)

# 예측
y_pred_xgb = xgb_model.predict(X_test_scaled)

# 평가
mse_xgb = mean_squared_error(y_test, y_pred_xgb)
print(f'XGBoost 모델의 MSE: {mse_xgb}')