머신러닝 차원의 저주, 발생 원인과 해결 방안

머신러닝 차원의 저주.. 발생 원인과 해결 방안

 

안녕하세요.

 

로스윗의 코딩캠프입니다.

 

오늘은 머신러닝 학습시 번번히 발생하는 차원의 저주에 대한 포스팅을 진행하겠습니다.

 

짧고 간단하게 핵심만 딱 요약해 말씀 드리겠습니다.

 

- 차원의 저주 발생 원인

 

머신러닝은 feature와의 싸움과 같습니다.

 

즉 피쳐가 몇개냐에 따라서 차원의 저주가 일어나느냐 마느냐가 결정되는데요

 

제 경험상 학습할 데이터의 차원이(컬럼의 개수)

 

100차원이 넘어가면 차원의 저주가 잘 일어 납니다.

 

특히 decision tree나 random forest같은 트리 모델들은

 

컬럼개수가 많아지게 되면 학습이 엄~청 느려집니다.

 

 

- 차원의 저주 해결방안

 

해결 방안은 단순합니다.

 

학습할 데이터의 컬럼이 왠만하면 100개를 넘지 않게 하는 것이 좋습니다.

 

참고로 딥러닝을 할 때는 차원의 저주가 일어나지 않습니다.

 

딥러닝은 오버피팅과의 싸움입니다.

 

딥러닝 파트에서 다시 한 번 다루도록 하겠습니다.

 

그럼 다음 포스팅에서 또 뵙겠습니다.

 

머신러닝 엔지니어가 되고 싶은 분들에게..

머신러닝 엔지니어가 되고 싶은 분들에게..

머신러닝 부트스트랩핑, 베깅, 데이터 샘플링에 대한 쉬운 이해

머신러닝 부트스트랩핑, 베깅, 데이터 샘플링에 대한 쉬운 이해