Kim Gabe

Kim Gabe

Knowledge without application is meaningless. True learning lies in educating and empowering others.

📌Intro

데이터 전처리(preprocessing)는 머신러닝 및 데이터 분석에서 굉장히 중요한 단계입니다. 원시 데이터는 종종 누락된 값, 이상치, 불필요한 정보 등과 같은 문제점을 가지고 있을 수 있습니다. 따라서, 이러한 문제점들을 수정하고 개선하여 모델의 성능을 최적화하는 작업이 필요합니다. 이 페이지에서는 데이터 전처리의 핵심 단계와 기법, 예를 들어 정규화, 표준화, 인코딩, 결측치 처리 등을 탐색하며, 제가 공부하면서 정리한 내용들을 공유하려고 합니다. 같은 길을 걷는 누군가에게 이 포스팅이 조금이나마 도움이 되길 바랍니다🙏

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69

- [데이터 전처리 및 모델 튜닝: 실무자를 위한 가이드](/personal_study/preprocessing/%EA%B7%B8%EB%A6%AC%EB%93%9C%EC%84%9C%EC%B9%98,grid_search,preprocessing/Tip-%EC%8B%A4%EC%A0%9C-%EA%B7%B8%EB%A6%AC%EB%93%9C-%EC%84%9C%EC%B9%98%EB%8A%94-%EC%96%B4%EB%96%BB%EA%B2%8C-%EC%9D%B4%EB%A4%84%EC%A7%88%EA%B9%8C-generated-version0/)
  

  

  

  

  

  

  

  

  

  

  

  
- [범주형 변수의 효과적인 변환과 모델 학습 방법](/personal_study/preprocessing/%EB%8D%B0%EC%9D%B4%ED%84%B0%ED%8C%8C%ED%8E%B8%ED%99%94,pandas,%EB%8D%B0%EC%9D%B4%ED%84%B0%EC%A0%84%EC%B2%98%EB%A6%AC,preprocessing,%EB%B2%94%EC%A3%BC%ED%98%95,categorical/11.-%EB%B2%94%EC%A3%BC%ED%98%95-%EB%B3%80%EC%88%98%EB%AC%B8%EC%A0%9C-%EB%B2%94%EC%A3%BC%ED%98%95-%EB%B3%80%EC%88%98-%EC%B2%98%EB%A6%AC-generated-version1/)
  

  
- [결측치 대체를 위한 KNN Imputer 활용 가이드](/personal_study/preprocessing/%EB%8D%B0%EC%9D%B4%ED%84%B0%ED%8C%8C%ED%8E%B8%ED%99%94,pandas,%EB%8D%B0%EC%9D%B4%ED%84%B0%EC%A0%84%EC%B2%98%EB%A6%AC,preprocessing,%EA%B2%B0%EC%B8%A1%EC%B9%98,null,%EA%B2%B0%EC%B8%A1%EC%B9%98%EC%98%88%EC%B8%A1/10.-%EA%B2%B0%EC%B8%A1%EC%B9%98-%EB%AC%B8%EC%A0%9C-%EA%B2%B0%EC%B8%A1%EC%B9%98-%EC%98%88%EC%B8%A1-%EB%AA%A8%EB%8D%B8-%ED%99%9C%EC%9A%A9-generated-version0/)
  

  
- [시계열 데이터의 결측치 처리: 앞뒤 값으로 대체하는 방법](/personal_study/preprocessing/%EB%8D%B0%EC%9D%B4%ED%84%B0%ED%8C%8C%ED%8E%B8%ED%99%94,pandas,%EB%8D%B0%EC%9D%B4%ED%84%B0%EC%A0%84%EC%B2%98%EB%A6%AC,preprocessing,%EA%B2%B0%EC%B8%A1%EC%B9%98,null,%EC%8B%9C%EA%B3%84%EC%97%B4,timeseries/09.-%EA%B2%B0%EC%B8%A1%EC%B9%98-%EB%AC%B8%EC%A0%9C-%EC%8B%9C%EA%B3%84%EC%97%B4-%EA%B2%B0%EC%B8%A1%EC%B9%98-%EB%8C%80%EC%B2%B4-generated-version0/)
  

  
- [데이터 전처리 마스터하기: sklearn을 활용한 결측치 대체 전략](/personal_study/preprocessing/%EB%8D%B0%EC%9D%B4%ED%84%B0%ED%8C%8C%ED%8E%B8%ED%99%94,pandas,%EB%8D%B0%EC%9D%B4%ED%84%B0%EC%A0%84%EC%B2%98%EB%A6%AC,preprocessing,%EA%B2%B0%EC%B8%A1%EC%B9%98,null/08.-%EA%B2%B0%EC%B8%A1%EC%B9%98-%EB%AC%B8%EC%A0%9C-%EB%8C%80%ED%91%9C%EA%B0%92%EC%9D%84-%ED%99%9C%EC%9A%A9%ED%95%9C-%EA%B2%B0%EC%B8%A1%EC%B9%98-%EB%8C%80%EC%B2%B4-generated-version0/)
  

  

  
- [결측치 처리 마스터하기: 데이터 전처리의 핵심 가이드](/personal_study/preprocessing/%EB%8D%B0%EC%9D%B4%ED%84%B0%ED%8C%8C%ED%8E%B8%ED%99%94,pandas,%EB%8D%B0%EC%9D%B4%ED%84%B0%EC%A0%84%EC%B2%98%EB%A6%AC,preprocessing,%EA%B2%B0%EC%B8%A1%EC%B9%98,null/07.-%EA%B2%B0%EC%B8%A1%EC%B9%98-%EB%AC%B8%EC%A0%9C-%EA%B2%B0%EC%B8%A1%EC%B9%98-%ED%99%95%EC%9D%B8-%EB%B0%8F-%EC%A0%9C%EA%B1%B0-generated-version0/)
  

  

  
- [판다스를 활용한 데이터 병합 및 요약 기법 마스터하기](/personal_study/preprocessing/%EB%8D%B0%EC%9D%B4%ED%84%B0%ED%8C%8C%ED%8E%B8%ED%99%94,merge,pandas,%EB%8D%B0%EC%9D%B4%ED%84%B0%EC%A0%84%EC%B2%98%EB%A6%AC,preprocessing,%EB%8D%B0%EC%9D%B4%ED%84%B0%EC%9A%94%EC%95%BD/06.-%EB%8D%B0%EC%9D%B4%ED%84%B0-%ED%8C%8C%ED%8E%B8%ED%99%94-%EB%AC%B8%EC%A0%9C-%EB%8D%B0%EC%9D%B4%ED%84%B0-%EC%9A%94%EC%95%BD%EC%9D%B4-%ED%8F%AC%ED%95%A8%EB%90%98%EB%8A%94-%EB%8D%B0%EC%9D%B4%ED%84%B0%EC%9D%98-%EB%B3%91%ED%95%A9-generated-version1/)
  

  
- [데이터 분석을 위한 거리 기반 데이터 병합 방법](/personal_study/preprocessing/%EB%8D%B0%EC%9D%B4%ED%84%B0%ED%8C%8C%ED%8E%B8%ED%99%94,merge,pandas,%EB%8D%B0%EC%9D%B4%ED%84%B0%EC%A0%84%EC%B2%98%EB%A6%AC,preprocessing,%EA%B1%B0%EB%A6%AC,distance,%EC%A7%80%EB%A6%AC/05.-%EB%8D%B0%EC%9D%B4%ED%84%B0-%ED%8C%8C%ED%8E%B8%ED%99%94-%EB%AC%B8%EC%A0%9C-%EA%B1%B0%EB%A6%AC-%EA%B8%B0%EB%B0%98%EC%9D%98-%EB%8D%B0%EC%9D%B4%ED%84%B0-%EB%B3%91%ED%95%A9-generated-version0/)
  

  
- [판다스를 활용한 데이터 병합 및 처리 기법 마스터하기](/personal_study/preprocessing/%EB%8D%B0%EC%9D%B4%ED%84%B0%ED%8C%8C%ED%8E%B8%ED%99%94,merge,pandas,%EB%8D%B0%EC%9D%B4%ED%84%B0%EC%A0%84%EC%B2%98%EB%A6%AC,preprocessing/04.-%EB%8D%B0%EC%9D%B4%ED%84%B0-%ED%8C%8C%ED%8E%B8%ED%99%94-%EB%AC%B8%EC%A0%9C-%ED%8F%AC%EB%A7%B7%EC%9D%B4-%EB%8B%A4%EB%A5%B8-%EB%8D%B0%EC%9D%B4%ED%84%B0-%EB%B3%91%ED%95%A9(merge)_(2)-%EC%B0%B8%EC%A1%B0-%EB%8D%B0%EC%9D%B4%ED%84%B0%EA%B0%80-%ED%95%84%EC%9A%94%ED%95%9C-%EA%B2%BD%EC%9A%B0-generated-version0/)
  

  
- [Python에서 날짜 포맷을 통일하여 데이터 병합하는 방법](/personal_study/preprocessing/%EB%8D%B0%EC%9D%B4%ED%84%B0%ED%8C%8C%ED%8E%B8%ED%99%94,merge,pandas,%EB%8D%B0%EC%9D%B4%ED%84%B0%EC%A0%84%EC%B2%98%EB%A6%AC,preprocessing/03.-%EB%8D%B0%EC%9D%B4%ED%84%B0-%ED%8C%8C%ED%8E%B8%ED%99%94-%EB%AC%B8%EC%A0%9C-%ED%8F%AC%EB%A7%B7%EC%9D%B4-%EB%8B%A4%EB%A5%B8-%EB%8D%B0%EC%9D%B4%ED%84%B0-%EB%B3%91%ED%95%A9(merge)_(1)-%EC%B0%B8%EC%A1%B0-%EB%8D%B0%EC%9D%B4%ED%84%B0%EA%B0%80-%ED%95%84%EC%9A%94%EC%97%86%EB%8A%94-%EA%B2%BD%EC%9A%B0-generated-version1/)
  

  
- [판다스를 활용한 데이터 병합 마스터하기: 기본부터 심화까지](/personal_study/preprocessing/%EB%8D%B0%EC%9D%B4%ED%84%B0%ED%8C%8C%ED%8E%B8%ED%99%94,merge,pandas,%EB%8D%B0%EC%9D%B4%ED%84%B0%EC%A0%84%EC%B2%98%EB%A6%AC,preprocessing/02.-%EB%8D%B0%EC%9D%B4%ED%84%B0-%ED%8C%8C%ED%8E%B8%ED%99%94-%EB%AC%B8%EC%A0%9C-merge%EB%A5%BC-%EC%9D%B4%EC%9A%A9%ED%95%9C-%EB%8D%B0%EC%9D%B4%ED%84%B0-%EB%B3%91%ED%95%A9-generated-version1/)
  

  
- [데이터 통합 마스터하기: pandas와 os를 활용한 효율적인 데이터 병합 전략](/personal_study/preprocessing/preprecessing,/concat,/%EC%A0%84%EC%B2%98%EB%A6%AC,/%EB%8D%B0%EC%9D%B4%ED%84%B0/%ED%8C%8C%ED%8E%B8%ED%99%94/01.-%EB%8D%B0%EC%9D%B4%ED%84%B0-%ED%8C%8C%ED%8E%B8%ED%99%94-%EB%AC%B8%EC%A0%9C-concat%EC%9D%84-%EC%9D%B4%EC%9A%A9%ED%95%9C-%EB%8D%B0%EC%9D%B4%ED%84%B0-%EB%B3%91%ED%95%A9-(with-for-loop-clause)-generated-version0/)