Python으로 전처리 파이프라인 설계하기

Python으로 전처리 파이프라인 설계하기

 

파이프라인 이란

파이프라인(영어: pipeline)은 한 데이터 처리 단계의 출력이 다음 단계의 입력으로 이어지는 형태로 연결된 구조를 가리킨다. 이렇게 연결된 데이터 처리 단계는 한 여러 단계가 서로 동시에, 또는 병렬적으로 수행될 수 있어 효율성의 향상을 꾀할 수 있다. 각 단계 사이의 입출력을 중계하기 위해 버퍼가 사용될 수 있다.

 

이번 포스트에서는 간단히 데이터 셋을 로드하고 난 이후에 자동적으로 전처리가 가능한 간단한 전처리 파이프라인 (preprocessing pipeline)을 작성해 볼 예정입니다.

 

 

라이브러리

import pandas as pd
from sklearn.imput import SimpleImputer
from sklearn.preprocessing import OneHotEncoder
from sklearn.pipeline import Pipeline

 

 

간단 샘플 데이터

data = {
        "Name": ["Anna", "Bob", "Charlie", "Diana", "Eric"],
        "Age": [20, 34, 23, None, 33],
        "Gender": ["f", "m", "m", "f", "m"],
        "Job": ["Programmer", "Writer", "Cook", "Programmer", "Teacher"]
        }
 

(실제로는 대용량 데이터일 수 있겠죠)

 

 

전처리 내용

- 이름(Name) 열 삭제 -

- 나이(Age)의 None 값 Impute하기 -

- 성별(Gender) 열 바이너리 값으로 전환하기 -

- 원핫 인코딩 적용하기 - 

 

 

파이프라인 없이 전처리

1) 이름 (Name) 열 삭제하기

# Drop Name Feature
df = df.drop(["Name"], axis=1)

 

2) 나이(Age)의 None 값 Impute하기

# Impute Ages
imputer = SimpleImputer(strategy="mean")
df["Age"] = imputer.fit_transform(df[['Age']])

(Diana의 나이는 NaN였지만 Impute를 적용하고, 전체 나이의 평균 값으로 대체됐습니다.)

 

3) 성별(Gender) 열 바이너리 값으로 전환하기

# Numeric Gender 
gender_dct = {
                "m": 0,
                "f": 1,
             }
df['Gender'] = [gender_dct[g] for g in df['Gender']]

(성별 (Gender) 열 역시 m, f에서 뉴메릭 밸류로 전환됐습니다.)

 

4) 원핫 인코딩 적용하기

# OneHotEncode Jobs
encoder = OneHotEncoder()
matrix = encoder.fit_transform(df[['Job']]).toarray()
 
column_names = ["Programmer", "Writer", "Cook", "Teacher"]
 
for i in range(len(matrix.T)):
    df[column_names[i]] = matrix.T[i]
 
df = df.drop(['Job'], axis=1)

 

 

파이프라인으로 전처리

### Building a Pipeline ###
from sklearn.base import BaseEstimator, TransformerMixin
class NameDropper(BaseEstimator, TransformerMixin):
    def fit(self, X, y=None):
        return self
    
    def transform(self, X):
        return     X.drop(['Name'], axis=1)
 
 
class AgeImputer(BaseEstimator, TransformerMixin):
    def fit(self, X, y=None):
        return self
    
    def transform(self, X):
        imputer = SimpleImputer(strategy="mean")
        X['Age'] = imptuter.fit_transform(X[['Age']])
        return X
 
 
class FeatureEncoder(BaseEstimator, TransformerMixin):
    def fit(self, X, y=None):
        return self
    def transform(self, X):
        # Numeric Gender gender_dct = {
                "m": 0,
                "f": 1,
             }
        X['Gender'] = [gender_dct[g] for g in X['Gender']]
        # df
        # OneHotEncode Jobs
        encoder = OneHotEncoder()
        matrix = encoder.fit_transform(X[['Job']]).toarray()
        
        column_names = ["Programmer", "Writer", "Cook", "Teacher"]
        for i in range(len(matrix.T)):
            X[column_names[i]] = matrix.T[i]
        return X.drop(['Job'], axis=1)

 

dropper = NameDropper()
imp = AgeImputer()
enc = FeatureEncoder()
 
enc.fit_transform(imp.fit_transform(dropper.fit_transform(df2)))

 

 

Full Code

import pandas as pd
 
 
data = {
        "Name": ["Anna", "Bob", "Charlie", "Diana", "Eric"],
        "Age": [20, 34, 23, None, 33],
        "Gender": ["f", "m", "m", "f", "m"],
        "Job": ["Programmer", "Writer", "Cook", "Programmer", "Teacher"]
        }
 
df = pd.DataFrame(data)
# df
 
 
"""
Preprocessing Pipeline:
 * Drop Name Feature
 * Impute Ages
 * Turn Gender into Binary / Numeric
 * One Hot Encode Jobs
"""
 
from sklearn.imput import SimpleImputer
from sklearn.preprocessing import OneHotEncoder
 
# Drop Name Feature
df = df.drop(["Name"], axis=1)
# df
 
# Impute Ages
imputer = SimpleImputer(strategy="mean")
df["Age"] = imputer.fit_transform(df[['Age']])
#df
 
# Numeric Gender 
gender_dct = {
                "m": 0,
                "f": 1,
             }
 
df['Gender'] = [gender_dct[g] for g in df['Gender']]
# df
 
# OneHotEncode Jobs
encoder = OneHotEncoder()
matrix = encoder.fit_transform(df[['Job']]).toarray()
 
column_names = ["Programmer", "Writer", "Cook", "Teacher"]
 
for i in range(len(matrix.T)):
    df[column_names[i]] = matrix.T[i]
 
df = df.drop(['Job'], axis=1)
# df
 
 
 
 
 
### Building a Pipeline ###
from sklearn.base import BaseEstimator, TransformerMixin
 
 
class NameDropper(BaseEstimator, TransformerMixin):
    def fit(self, X, y=None):
        return self
 
    
    def transform(self, X):
        return     X.drop(['Name'], axis=1)
 
 
class AgeImputer(BaseEstimator, TransformerMixin):
    def fit(self, X, y=None):
        return self
    
    def transform(self, X):
        imputer = SimpleImputer(strategy="mean")
        X['Age'] = imptuter.fit_transform(X[['Age']])
        return X
 
 
class FeatureEncoder(BaseEstimator, TransformerMixin):
    def fit(self, X, y=None):
        return self
 
    def transform(self, X):
        # Numeric Gender gender_dct = {
                "m": 0,
                "f": 1,
             }
        X['Gender'] = [gender_dct[g] for g in X['Gender']]
        # df
 
        # OneHotEncode Jobs
        encoder = OneHotEncoder()
        matrix = encoder.fit_transform(X[['Job']]).toarray()
        
        column_names = ["Programmer", "Writer", "Cook", "Teacher"]
 
        for i in range(len(matrix.T)):
            X[column_names[i]] = matrix.T[i]
 
        return X.drop(['Job'], axis=1)
 
 
 
        
data = {
        "Name": ["Fiona", "Gerald", "Hans", "Isabella", "Jacob"],
        "Age": [20, 34, None, None, 33],
        "Gender": ["f", "m", "m", "f", "m"],
        "Job": ["Writer", "Programmer", "Programmer", "Programmer", "Teacher"]
        }
 
 
df2 = pd.DataFrame(data)
# df2
 
dropper = NameDropper()
imp = AgeImputer()
enc = FeatureEncoder()
 
enc.fit_transform(imp.fit_transform(dropper.fit_transform(df2)))
## 
 
 
### Simple Pipeline ###
from sklearn.pipeline import Pipeline
 
 
pipe = Pipeline([
    ("dropper", NameDropper()),
    ("imputer", AgeImputer()),
    ("encoder", FeatureEncoder())
])
 
 
pipe.fit_transform(df2)
#