[머신러닝] 02.데이터 전처리_(1) 머신러닝 이해

 데이터 전처리를 배우기 전 간단하게 머신러닝 과정을 보겠습니다.

 

① 데이터 수집: 크롤링, DB데이터를 통하여 데이터 수집

② 데이터 분석 및 전 처리: 수집한 데이터를 분석하고 머신러닝에 사용할 형태로 전 처리

③ 머신러닝 학습: 머신러닝 모델을 사용하여 데이터 학습

④ 머신러닝 평가: 학습된 머신러닝 모델을 평가용 데이터를 사용하여 평가

1. 데이터 전 처리하는 이유

1) 데이터 변환

- 실제 데이터는 이미지, 자연어, 범주형, 시계열 데이터 등 다양한 형태로 존재(실제 데이터는 머신러닝 모델이 이해X)

→ 다양한 형태의 데이터를 수치형 데이터로 변환해야 사용가능

- 대부분은 머신러닝 모델은 숫자 데이터를 입력 받음

일반적으로 행렬형태 입력

2) 데이터 정제

- 전 처리를 통하여 데이터의 결측값 및 이상치를 처리

3) 데이터 분리

- 학습용과 평가용 데이터를 분리 → 신뢰성을 높이기 위해