우리가 가공한 데이터들을 Pandas 객체에 녹여 내는 것을 성공 했다고 치겠습니다! 이를 바로 Tensor 등으로 변환하여 학습을 시도 하면 어떻게 될까요? 만약 feature마다 범위가 1-100, 0-10000 등 천차만별이라면? 역전파를 통해 원하는 기울기가 될 때 까지 오랜시간이 걸리고, 정확도도 정확하지 않을 것 입니다.

만약 이런 데이터라면..?

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

data = {
    'A': np.random.choice(10000, 1000),
    'B': np.random.choice(1000000, 1000),
    'C': np.random.choice(100, 1000),
    'D': np.random.choice(10, 1000)
}

df = pd.DataFrame(data)
df.head()

실제 이런 데이터를 테스트 해 본 결과와, 왜 정규화가 필요한 지 자세한 내용들이 궁금하다면, 해당 포스트를 참고 해 주세요.

https://medium.com/@urvashilluniya/why-data-normalization-is-necessary-for-machine-learning-models-681b65a05029

정규분포를 이용 한 전처리

정규 분포 밀도 함수는 다음과 같습니다.

• $\mu$: 평균
• $\sigma$: 표준 편차

DataFrame 객체의 내부 메소드를 이용 하여, DataFrame 내의 평균, 표준 편차를 구할 수 있습니다.

DataFrame.mean(): DataFrame 객체 내부 요소들의 평균을 반환 한다. 단, Column 값에 따라 다르게 적용 한다. DataFrame.std(): DataFrame 객체 내부 요소들의 표준 편차를 반환 한다. 단, Column 값에 따라 다르게 적용 한다.

Code

normalization_df = (df - df.mean())/df.std()
normalization_df.head()

Min-Max를 이용 한 전처리

Min-Max 정규화의 공식은 다음과 같습니다.

• $x_{min}$: 최소 값
• $x_{max}$: 최댓 값

아까 와 같이, DataFrame 객체의 내부 메소드를 이용 하여, DataFrame 내의 최소 값, 최댓 값를 구할 수 있습니다.

DataFrame.min(): DataFrame 객체 내부 요소들의 최소 값을 반환 한다. 단, Column 값에 따라 다르게 적용 한다. DataFrame.max(): DataFrame 객체 내부 요소들의 최댓 값를 반환 한다. 단, Column 값에 따라 다르게 적용 한다.

주의! 데이터에 특이 값(예상 범위를 크게 벗어 난 값)이 있을 경우에는 영향을 받을 수 있습니다.

Code

normalization_df = (df - df.min())/(df.max() - df.min())
normalization_df.head()