CS/Python30

• 

  Ensemble Learning 6: XGBM python native Introduction 지난번에 XGBM의 이론적인 부분들에 대해서 포스팅했다. 너무 길어서 한번 자르고, 이번에는 실제 코드를 써보는 걸 정리해보자! 결국 이론만 알아서는 금방 잊기 쉽기때문에 꼭 코드로 실습해봐야한다. dlmc 개발그룹에서 XGBoost를 개발하고 있는데, 처음엔 C/C++이었다가, R과 파이썬에서도 사용할 수 있게 호환되었다가, 이후 사이킷런이 흥하면서 사이킷런 wrapper용으로도 XGBoost를 확장했다. 이번엔 사이킷런이 아닌 파이썬 native 코드를 실습해보자! 실습 코드 유방암 데이터세트->DMatrix 변환 import pandas as pd from sklearn.datasets import load_breast_cancer from sklearn.model_selec.. CS/Python 2022. 12. 26.

• 

  Ensemble Learning 5: XGBM - 이론 파트 Introduction 지난 시간에 Adaboost와 GBM에 대해 간단하게 정리했다. 이번에는 XGBoost에 대해서 정리해보자. XGBoost 소개 eXtreme Gradient Boost. 단어 자체에서 알 수 있듯, Gradient Boost (GBDT, GBM)을 기반으로 동작하는 머신러닝 알고리즘이다. 그래디언트 부스트보다 분류나 회귀에서 뛰어난 예측 성능을 보여준다. CPU 병렬처리와 GPU를 지원하기 때문에 GBM보다 학습속도가 빠르다. 하지만 LightGBM등 다른 앙상블 계열의 알고리즘보다 느린 편. 다양한 성능 향상 기능이 있다. GBM에 없던 Regularization과 Tree pruning이 추가되었다. 다양한 편의 기능이 추가되었다. Early Stopping, 자체 내장된 교.. CS/Python 2022. 12. 22.

• 

  Ensemble Learning 4: 그래디언트 부스트 GBM Introduction 지난 시간에 앙상블 학습의 유형 중 하나인 Boosting에 대해 다루며 AdaBoost에 대해 적었다. 이번에는 GBM, 그래디언트부스트에 대해 정리한다. GBM Gradient Boost Machine의 약자. 그래디언트 부스트라고도 한다. 그래디언트 부스트는 현대 머신러닝 알고리즘의 선두주자로, 정형데이터의 분류나 회귀에서 딥러닝에 필적할 정도의 높은 성능을 자랑한다. 에이다부스트와 유사하지만, 가중치 업데이트에 경사 하강법을 이용한다는 것이 다르다. 경사하강법 오류 값은 '실제값 - 예측값'으로 계산한다. 피쳐 x1, ... xn에 대해서 예측함수를 F(x), 실제값을 y라고 할 때 예측 에러인 손실함수 h(x)는 y-F(x)로 쓸 수 있다. 이 h(x)값을 최소화하는 방향.. CS/Python 2022. 12. 22.

• 

  Ensemble Learning 3: 부스팅 기초, Adaboost Introduction 이번엔 부스팅에 대해서 알아보는 시간. 부스팅이 무엇인지 개념부터 시작하여 에이다부스트 AdaBoost 에 대해 간단히 정리해보자. Boosting 부스팅은 여러 개의 단순한 학습기(weak learner) 들을 '순차적'으로 학습하는 앙상블 모델이다. 학습 도중 매 단계에서 잘못 예측한 경우에 대해 가중치 weight를 업데이트해 오류를 개선한다. 순차적으로 학습하기 때문에 병렬학습하는 Random Forest보다 학습 시간이 길다. 부스팅의 대표적인 구현은 에이다부스트(AdaBoost, Adaptive Boosting), 그래디언트 부스트(GBM), XGBoost, LGBM(Light GBM)등이 있다. 차례차례 하나씩 알아볼 예정이며, 이 글에서는 AdaBoost에 대해 다룬.. CS/Python 2022. 12. 22.

• 

  쉬어가기: GridSearchCV 하이퍼파라미터 튜닝 관련 질문 Introduction Random Forest를 실습하던 도중 생긴 의문점에 대해 직접 해결하려고 했는데 해결하지 못했다. 나중에 혹시 해답을 얻을까, 혹시 지나가던 누군가 알려줄까 해서 기록해놓는다. 코드 GridSearchCV를 적용하였는데도 불구하고, f1스코어가 더 낮아졌다. 물론 샘플 수가 작아서 그런것이겠지만, GridSearchCV가 max_depth=4일 경우가 None일 경우보다 더 낫다고 생각하여 고른것으로 보이는데, 왜 최종 예측값은 더 낮아진 것인지 궁금하다. from sklearn.datasets import load_breast_cancer from sklearn.model_selection import train_test_split from sklearn.ensemble im.. CS/Python 2022. 12. 22.

• 

  Ensemble learning 2: 배깅 Bagging, 랜덤 포레스트 Introduction 지난 시간에는 앙상블 학습의 개념과 보팅Voting에 대해 다뤘다. 이번에는 배깅Bagging이 무엇인지 알아보고, 랜덤 포레스트 분류기를 실습해보자. 배깅(Bagging) 용어부터 정리하자. 배깅은 Bootstrap Aggregating을 줄인 말로, 부트스트래핑 방식으로 Aggregation(집계)하였다는 의미가 된다. 부트스트래핑은 통계학에서 유용하게 사용되는 방식으로, 간단히 말하면 모집단의 샘플 갯수만큼 복원추출해 데이터셋을 구성하는 방법을 말한다. 모집단이 1부터 10까지의 정수일때, 3개의 부트스트랩 분할을 한다고 하면 아래와 같이 3개의 서브 데이터셋이 구성된다. out-of-bag dataset 줄여서 oob. 부트스트래핑 방식으로 서브셋을 나눴을 때, 해당 서브셋.. CS/Python 2022. 12. 16.

• 

  [코드 스터디] UCI-HAR 데이터셋3: 결정트리 적용 Introduction 일전 스터디 UCI-HAR 데이터셋2 포스팅에서, 중복칼럼들을 확인하고 리네이밍 하는것까지 진행했다. 이번에는 결정트리에 그리드서치를 적용하여 최적 하이퍼파라미터를 찾고, 어떤 피쳐가 가장 큰 영향을 미쳤는지 그래프까지 그려볼 예정이다. dataset preprocessing 이전 포스팅을 요약한 코드. 중복 피쳐명을 수정하는 로직을 get_new_feature_name_df() 함수로 만들어 각 데이터셋에 적용한다. 결과적으로 바로 사용할 수 있는 X_train, X_test, y_train, y_test를 얻었다. import pandas as pd def get_human_dataset( ): # 각 데이터 파일들은 공백으로 분리되어 있으므로 read_csv에서 공백 문자를 .. CS/Python 2022. 12. 15.

• 

  Decision Tree Classifier: 하이퍼파라미터 정리 Introduction 결정트리 Decision Tree Classifier의 하이퍼파라미터들을 가볍게 정리해보자. 하이퍼파라미터 결정트리의 최대 단점인 과적합을 피하기 위해 하이퍼파라미터들은 결정트리의 분화를 방지하는 역할인 것들이 많다. max_depth 트리의 최대 깊이. default값은 None. None값일 경우, 완벽하게 클래스 결정값이 정해질 때까지 결정나무가 자랄 수 있다. 물론 max_depth가 None이어도 min_samples_split 설정값에 걸려 무한히 분할하기는 어렵다. min_samples_split 노드를 분할하기 위한 최소 샘플 데이터 수. deault값 2. 즉 리프노드의 샘플 수가 최소 2는 되어야지 분할 가능하다는 뜻. 예를 들어, min_samples_split.. CS/Python 2022. 12. 15.

• 

  Ensemble learning 1: 앙상블 학습의 개념, 보팅 voting Introduction 드디어 앙상블 러닝을 배운다. 예전부터 개념은 알고 있었지만, 코딩을 시작하는건 처음.. 다시 천천히 정리해보자. 앙상블 학습(Ensemble Learning) 여러 분류학습기(estimators)들을 생성하고 예측을 결합하여, 단일 분류기가 가진 것보다 더 나은 예측결과를 도출하기 위한 기법을 말한다. 넓은 의미로 앙상블 학습은 서로 다른 모델을 결합한 것을 얘기하기도 한다. 앙상블 학습의 유형으로 보팅 voting, 배깅 bagging, 부스팅, boosting, 스태킹 stacking 등이 있다. 특징 앙상블 학습은 여러 모델들을 결합함으로서 단일모델들의 약점을 보완하는 방식이다. 따라서 뛰어난 성능을 가진 모델로만 구성하는 것보다, 성능이 떨어지더라도 서로 다른 유형의 모델.. CS/Python 2022. 12. 15.

• 

  pandas value_counts() 사용법 Introduction 판다스에서 사용하는 value_counts() 메소드에 대해서 연습, 정리! 넘파이가 아니라 판다스에서 쓰는 메소드라는 것을 첫번째로 기억! 유용하므로 value_counts를 쓰기 위해 numpy -> pandas 변환을 하는경우가 왕왕 생긴다. 간단하므로 본론만 짧게짧게! value_counts() 정의 우선 value_counts()는 고유값의 개수를 카운팅해주는 메소드로서, 판다스의 시리즈와 데이터프레임에서 모두 사용 가능하다. 리턴값 가장 많은 빈도수부터, 즉 내림차순으로 정렬되어있으며 리턴값은 '시리즈'다. NA값은 기본적으로 제외한다. 설정 인자 오름차순으로 정렬하려면 ascending=True 설정 NA값을 집계에 포함시키려면 dropna=True 정렬하지 않으려면 .. CS/Python 2022. 12. 9.

• 

  데이터셋 분리: Validation (검증) 데이터셋은 무엇인가? 포스팅 목적 아무런 생각없이 K-fold를 사용하고 있었는데, 문득 validation dataset이 무엇인지 모른다는것을 인지했다. 누가 물어보면 대답을 못하는 상황이었다. 그래서 간단하게 정리.. 너무 짧아서 글이랄 것도 없지만 그래도 정리하는데 의의를 두고..! 데이터셋 구성 일반적으로 학습하기 위한 용도의 training dataset (훈련 데이터셋), 검증하는 validation dataset (검증 데이터셋), 성능평가하는 test dataset (시험 데이터셋) 세가지로 나눈다. 검증이란게 정확히 뭐냐 그럼? Validation set training dataset에서 학습한 모델의 하이퍼 파라미터를 튜닝하기 위한 용도의 데이터셋이다. (하이퍼파라미터: 사용자가 설정해야 하는 변수) 즉 .. CS/Python 2022. 12. 8.

• 

  pandas groupby cumcount 사용법 이해 포스팅 목적 간단하게 cumcount의 사용법과 용례를 알아본다 정의 그룹 내 각 아이템들의 갯수를 센다. 0부터 세기 시작한다. 예제코드 데이터셋 df = pd.DataFrame([['a'], ['a'], ['a'], ['b'], ['b'], ['a']], columns=['A']) print(df) a가 4개, b가 2개 있는 간단한 데이터프레임이다. 사용법/용례 df_cc = df.groupby('A').cumcount() print(df_cc) cumcount는 계산 대상이 되는 칼럼에 groupby로 묶은 후 적용한다. df_cc라는 이름의 변수를 만들어 칼럼 A에 대해 groupby와 cumcount를 적용했다. 0부터 시작하여 숫자를 센다. 아래와 같이 내림차순을 적용할 수도 있다. CS/Python 2022. 12. 6.