완숙의 블로그

차원축소 많은 feature는 훈련을 느리게 만듦. 차원의 저주 라고 한다. 차원의 저주 충분한 데이터 양이 있어야 우리는 좋은 모델을 만들 수 있다. 이 필요한 데이터 양은 특성수에 따라서 결정된다. 특성수와 데이터양의 관계를 생각할 때 공간을 비유해서 설명하면 좋다. Dimension을 Feature의 개수와 동일하게 한번 바라보자. 이때 feature가 한개라면 1차원에 대응되고, 여기서 데이터는 그 1차원 공간위에 흩뿌려지는 점이라 생각하자. 이 선의 길이를 1이라 했을 때, 점들 사이 거리가 0.1이상 차이날 경우 모델이 정상적으로 동작하지 않는다고 가정했을 때, 필요한 점의 총 개수는 10개가 될 것이다. 2차원으로 늘렸을 때 각 점의 간격을 0.1로 유지하기 위해서는 10 x 10 = 100..