완숙의 블로그

[Deep Learning] Convolutional Neural Networks(CNN) - Types of Layer in a CNN Types of Layer in a CNN Convolution여태껏 배운 합성곱을 사용하여 다음 레이어를 만드는 방식이다. Pooling Fully connected What is Pooling 결과값을 압축한다! 로 생각하면 이해가 빠르다.이제부터 필터의 수도 많아질 것이고, 사실 input도 상당히 크기 때문에,우리는 이 값들을 특정 방법으로 가중치들을 압축하는 것이 보다 효율적이다.이 방법을 Pooling이라 한다. Max Pooling 이렇게 4 영역으로 나눠서 각 영역의 최대값만을 따오는 방식이다. 이 풀링의 hyperparameter는, s = 2, f =..

Example of a Layer 이제 원래 배웠던 신경망의 노드에서 하는 활동으로 돌아오자. 결국 이 필터는 가중치들의 모임이고, 원래 데이터에서 이 가중치를 곱한다음에 더하는 행위는 한 노드에 이 데이터들이 들어가는 것이다. 하나의 노드에 연결된 많은 노드들에 가중치를 곱하고 다 더한다음에 우리는 뭘했었지? Activation Function에다가 이 값을 넣고 출력값을 얻었다. 이걸 시각화 해보면! 이렇게 된다. 원래 각각의 노드에 대해 Bias 항이 생긴다고 알았던 것과 달리 구현을 위해서는 출력에 대해 같은 Bias를 더해주는 것이 효율적이다. 이 연산의 결과로 우리는 4 x 4 x 2 를 얻을 수 있다. 그리고 이 것이 Convolution network의 한 Layer가 된다. 이걸 행렬의 ..

What is Padding Convolution 전 게시물에서 3x3 짜리 필터를 걸었을 때, 4x4짜리가 나왔다. 어떻게 보면 당연할 결과이다. 이미지의 한 변의 크기를 n, 필터의 한 변의 크기를 f라고 한다면, 출력의 한 변의 크기는, 그런데 이렇게 된다면, 위 그림에서 6x6 짜리 행렬의 가장자리에 있는 픽셀들은 중간에 있는 픽셀보다 적은 횟수로 필터가 걸린다. 즉 데이터의 손실이 생긴다. 두번째로는 이미지가 축소 된다는 단점이 있다. 내가 원하는 이런 결과가 나오기 위해서는 어떤 조치를 취해줘야한다. 다음과 같이 6x6 주변에 1짜리 테두리는 덧데어 (PAD) 주면, 해결된다! 이렇게 될때 데이터 손실, 이미지축소의 두가지 단점을 모두 잡을 수 있다. 패딩해주는 값은 0으로 보통 채운다. 내가..

What is convolution 하트시그널을 봤다. 그 무엇보다도 치열한(..) 구애 행위와 두뇌게임을 봤다. 잡소리는 여기까지 하고. 내가 누군가한테 구애 행위를 하는 것은 구애 받는 사람의 상태에 따라 YES, 혹은 NO가 나올 거다. 이렇게 우리는 항상 누군가와 상호작용을 하고, 그 결과에 관심이 있다. 여기서 구애하는 사람이 하는 행위를 Signal 구애 받는 사람의 상태를 System 그리고 이 두가지의 상호작용을 통한 결과를 도출하는 것을 Convolution 이라 한다. EXAMLPLE 난로가 있다. 이 난로는 처음에 많이 따뜻했다가 점점 열기가 식는다. 이렇게 이번에는 온풍기가 있다. 이 녀석도 처음에는 따뜻한 바람이 나오다가 점점 세기가 줄어든다. 이렇게 특별히 이 녀석은 1초부터 작..

차원축소 많은 feature는 훈련을 느리게 만듦. 차원의 저주 라고 한다. 차원의 저주 충분한 데이터 양이 있어야 우리는 좋은 모델을 만들 수 있다. 이 필요한 데이터 양은 특성수에 따라서 결정된다. 특성수와 데이터양의 관계를 생각할 때 공간을 비유해서 설명하면 좋다. Dimension을 Feature의 개수와 동일하게 한번 바라보자. 이때 feature가 한개라면 1차원에 대응되고, 여기서 데이터는 그 1차원 공간위에 흩뿌려지는 점이라 생각하자. 이 선의 길이를 1이라 했을 때, 점들 사이 거리가 0.1이상 차이날 경우 모델이 정상적으로 동작하지 않는다고 가정했을 때, 필요한 점의 총 개수는 10개가 될 것이다. 2차원으로 늘렸을 때 각 점의 간격을 0.1로 유지하기 위해서는 10 x 10 = 100..

앙상블 학습과 랜덤 포레스트(Ensemble Learning & Random Forest) 1. 투표기반 분류기 다수의 의견이 소수의 의견보다 더 옳은 경향이 있다는 것은 지금 우리 사회를 유지하는 방향이다.왜 그런 방향으로 사회가 구성될까? 그것이 정말 옳은 방향이 맞을까? 큰 수의 법칙(Law of large number) 어떤 독립시행에서 사건 K가 일어날 횟수를 k라고 하고 시행 횟수를 n이라고 하면, 통계적 확률에 따른 확률 는 n이 한없이 커질 때 는 일정한 값 a에 가까워진다. 수학적확률 예를 들어보자.조금 이상한 동전이 있다. 앞면이 51% 확률로 나오고, 뒷면이 49% 확률로 나오는 동전.상식적으로 알 수 있듯이 던지는 횟수가 적을 때는 뒷면이 더 많이 나올 수 있지만 시행횟수를 늘리게 ..