제2회 빅데이터 분석기사(실기) - 작업형:제2유형(파이썬) 2 분석

import os

import pandas as pd

data_dir = 'data'

X_train_file = os.path.join(data_dir, 'X_train.csv')

Y_train_file = os.path.join(data_dir, 'y_train.csv')

X_test_file = os.path.join(data_dir, 'X_test.csv')

x_train_df = pd.read_csv(X_train_file, encoding='euc-kr') # 다운로드한 데이터는 euc-kr 인코딩 필요

y_train_df = pd.read_csv(Y_train_file, encoding='euc-kr')

x_train_df = x_train_df.iloc[:, 1:] # 고객 번호 제거

x_train_df['gender'] = y_train_df['gender'] # label을 트레이닝 데이터에 합침, 데이터 분리를 위해서.

x_train_df.info() 

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 3500 entries, 0 to 3499
Data columns (total 10 columns):
 #   Column   Non-Null Count  Dtype  
---  ------   --------------  -----  
 0   총구매액     3500 non-null   int64  
 1   최대구매액    3500 non-null   int64  
 2   환불금액     1205 non-null   float64
 3   주구매상품    3500 non-null   object 
 4   주구매지점    3500 non-null   object 
 5   내점일수     3500 non-null   int64  
 6   내점당구매건수  3500 non-null   float64
 7   주말방문비율   3500 non-null   float64
 8   구매주기     3500 non-null   int64  
 9   gender   3500 non-null   int64  
dtypes: float64(3), int64(5), object(2)
memory usage: 273.6+ KB

위 결과에서 주목해야 할 내용은 전체 데이터의 수가 3500개인데 환불금액은 1205개 라는 것(즉 결측 데이터 존재)과 '주구매상품'과 '주구매지점'의 데이터가 숫자 타입이 아니라는 점입니다.

아래와 같은 코드로 첫 5개 개의 레코드를 볼 수 있습니다.

 

x_train_df.describe() 

이 결과에서는 '총구매액'과 '최대구매액'의 최소값이 마이너스인 것을 주목해야 합니다. 내용을 알 수 없으므로 이런 데이터는 제거하는 것이 좋을 것 같습니다.

# 결측 데이터 처리, 환불금이 없으므로 0으로 대체

x_train_df = x_train_df.fillna(0)

# Pandas의 factorize : sklearn의 라벨 인코딩과 유사 ( 빈도 순으로 인코딩 )

x_train_df.loc[:, "주구매상품"] = pd.factorize(x_train_df["주구매상품"])[0].reshape(-1,1)

x_train_df.loc[:, "주구매지점"] = pd.factorize(x_train_df["주구매지점"])[0].reshape(-1,1)

# 총구매액이 음수인 레코드 제거

index_to_drop = x_train_df[x_train_df['총구매액'] <= 0].index

x_train_df = x_train_df.drop(index_to_drop)

x_data_df = x_train_df.iloc[:, :-1]

y_data_df = x_train_df[['gender']]

from sklearn.model_selection import train_test_split

# train_test_split

x_train, x_valid, y_train, y_valid = train_test_split(x_data_df, y_data_df, test_size=490/3490, shuffle=True, stratify=y_data_df, random_state=34)

from sklearn.linear_model import LogisticRegression #Logistic(Regression)Classifier

model_lr = LogisticRegression()

model_lr.fit(x_train , y_train)

predict_proba_lr = model_lr.predict_proba(x_valid)

from sklearn.metrics import roc_auc_score

print("Logistic Classifier", "'s ROC AUC is ", roc_auc_score(y_valid, predict_proba_lr[:, 1])) 

x_train_df.corr() 

 

x_data_df = x_train_df[['총구매액', '최대구매액', '환불금액', '내점일수', '주구매상품']]

y_data_df = x_train_df[['gender']]

x_data_df = pd.concat([x_data_df, pd.get_dummies(x_train_df['주구매상품'], prefix='g', drop_first=True)], axis=1)

x_data_df.drop(['주구매상품'], axis=1)

from sklearn.model_selection import train_test_split

# train_test_split

x_train, x_valid, y_train, y_valid = train_test_split(x_data_df, y_data_df, test_size=490/3490, shuffle=True, stratify=y_data_df, random_state=34)

# 데이터 스케일링 : Min-Max 스케일 변환

from sklearn.preprocessing import MinMaxScaler

scaler = MinMaxScaler()

scaler.fit(x_train)

x_train_scaled = scaler.transform(x_train)

x_train_scaled

x_valid_scaled = scaler.transform(x_valid)

x_valid_scaled

from sklearn.linear_model import LogisticRegression #Logistic(Regression)Classifier

model_lr = LogisticRegression()

model_lr.fit(x_train_scaled , y_train) 

predict_proba_lr = model_lr.predict_proba(x_valid_scaled)

from sklearn.metrics import roc_auc_score

print("Logistic Classifier", "'s ROC AUC is ", roc_auc_score(y_valid, predict_proba_lr[:, 1])) 

from sklearn.ensemble import RandomForestClassifier #Random Forest

model_rf = RandomForestClassifier(max_leaf_nodes=32)

model_rf.fit(x_train_scaled , y_train)

predict_proba_rf = model_rf.predict_proba(x_valid_scaled)

print("Random Forest", "'s ROC AUC is ", roc_auc_score(y_valid, predict_proba_rf[:, 1]))