XGBOOST 기본 매개변수 설명

?xgboost는 캐글을 휩쓸고 있는 비장의 알고리즘으로 학습 및 응용 속도와 실행 속도가 매우 빠릅니다. 이번 공유에서는 xgboost의 알고리즘 원리에 대해 자세히 설명하지 않고, 지식 아카이빙을 위한 xgboost 기본 기능의 매개변수 설명을 통합하겠습니다. (sklearn은 xgboost도 캡슐화하므로 xgboost 패키지와 sklearn을 통해 xgboost를 호출할 수 있습니다.)

xgboost의 알고리즘 아이디어는 단순히 트리를 계속 추가하고 기능 분할을 계속 수행하여 트리를 성장시키는 것입니다. 즉, 마지막 예측의 잔차에 맞는 새로운 함수를 학습하는 것입니다. (참고: 새로 생성된 트리는 마지막 예측의 잔차를 맞춰야 합니다.)

이는 다음과 같은 형식으로 훈련 시 매개변수 키워드와 해당 값을 포함하는 사전입니다.

p>

? (1) 학습률 초기값 결정 및 개선 매개변수 조정

? (2) Max_length 및 min_child_weight 매개변수 조정

? (3) 감마 매개변수 조정

? (4) 하위 샘플 및 colsample_bytree 매개변수 최적화

? (5) 정규화 매개변수 알파 조정

? 학습률 및 더 많은 결정 트리 사용

추천 기사