끄적이는 기록일지

[머신러닝] 02.데이터 전처리_(3) 수치형 자료 [머신러닝] 1.자료형태_(3) 수치형 자료 [머신러닝] 1.자료형태_(2) 범주형 자료 [머신러닝] 1.자료형태_(1) * 머신러닝 : 데이터 자료를 바탕으로 수행하는 분석방식 → 자료의 형태를 파악하는 것은 kcy51156.tistory.com 1. 결측값(Missing data)처리 1) 일반적인 머신러닝 모델의 입력 값으로 결측값을 사용X → 따라서 Null, None, NaN 등의 결측값을 처리 해야함 2. 결측값 처리 방식 1) 결측값이 존재하는 샘플 삭제 2) 결측값이 많이 존재하는 변수 삭제 3) 결측값을 다른 값으로 대체 3. 이상치(Outlier)처리 1) 이상치가 있으면, 모델의 성능을 저하할 수 있음 2) 이상치는 일반적으로 전 처..

데이터 전처리를 배우기 전 간단하게 머신러닝 과정을 보겠습니다. ① 데이터 수집: 크롤링, DB데이터를 통하여 데이터 수집 ② 데이터 분석 및 전 처리: 수집한 데이터를 분석하고 머신러닝에 사용할 형태로 전 처리 ③ 머신러닝 학습: 머신러닝 모델을 사용하여 데이터 학습 ④ 머신러닝 평가: 학습된 머신러닝 모델을 평가용 데이터를 사용하여 평가 1. 데이터 전 처리하는 이유 1) 데이터 변환 - 실제 데이터는 이미지, 자연어, 범주형, 시계열 데이터 등 다양한 형태로 존재(실제 데이터는 머신러닝 모델이 이해X) → 다양한 형태의 데이터를 수치형 데이터로 변환해야 사용가능 - 대부분은 머신러닝 모델은 숫자 데이터를 입력 받음 2) 데이터 정제 - 전 처리를 통하여 데이터의 결측값 및 이상치를 처리 3) 데이터..