끄적이는 기록일지

데이터 전처리를 배우기 전 간단하게 머신러닝 과정을 보겠습니다. ① 데이터 수집: 크롤링, DB데이터를 통하여 데이터 수집 ② 데이터 분석 및 전 처리: 수집한 데이터를 분석하고 머신러닝에 사용할 형태로 전 처리 ③ 머신러닝 학습: 머신러닝 모델을 사용하여 데이터 학습 ④ 머신러닝 평가: 학습된 머신러닝 모델을 평가용 데이터를 사용하여 평가 1. 데이터 전 처리하는 이유 1) 데이터 변환 - 실제 데이터는 이미지, 자연어, 범주형, 시계열 데이터 등 다양한 형태로 존재(실제 데이터는 머신러닝 모델이 이해X) → 다양한 형태의 데이터를 수치형 데이터로 변환해야 사용가능 - 대부분은 머신러닝 모델은 숫자 데이터를 입력 받음 2) 데이터 정제 - 전 처리를 통하여 데이터의 결측값 및 이상치를 처리 3) 데이터..