반응형 딥러닝 머신러닝 데이터 분석38 [ Boost Camp ] Day-8 학습로그 알고보니 기본적인 가이드 라인이 있었다... 오늘부터 맞춰서 적어보겠다. 1) 강의 복습 내용 DL-Basic 1강 DL-Basic 1강은 Deep Learning 의 역사에 대한 강의였다. 지금은 Tensorflow 나 PyTorch 등의 라이브러리에 최신의 모델이나 논문 내용이 잘 반영되어있어 딥러닝을 공부하기 굉장히 수월하지만 이게 그리 오래된 역사는 아니었다. AI에 대한 역사는 생각보다 오래되었고 정말 많은 분야가 파생되어져왔다. 특히 Deep Learning은 극히 일부일 정도로 AI 라는 영역은 정말 넓고도 넓다. 딥러닝의 필수요소는 4가지로 정리된다. 1. 데이터 2. 모델 3. 오차함수 4. 최적화 알고리즘 이 네가지가 한데 어우러지면 딥러닝이 탄생한다. 딥러닝의 모델은 데이터를 통해서 .. 2021. 8. 10. [ Boost Camp ] BPTT를 이해해 보자 // BPTT? BPTT는 RNN에서 계산되는 back propagation으로 sequential data의 특성으로 인해 발생하는 hidden state를 따라 역행하면서 전파되는 gradient의 계산 방법이다. Back Propagation Through Time의 약자이며 사실 따지고 보면 단순한 역전파 계산과 동일하긴 하다. 아래에서 진행되는 연산은 캠프 내용중 과제로 나왔던 자료의 표기를 참고하여 작성되었다. // Hidden state 에 연산되는 가중치를 위한 기울기 우선은 many-to-one 모델에서 생각해보자. 이 글의 전반에 걸쳐서 요 many-to-one 에만 집중할 것이다. 이것을 이해하면 나머지도 다 따라갈 수 있을 것이라 생각한다. 하나의 셀이 만드는 hidden state.. 2021. 8. 9. [ Boost Camp ] Day-4 학습로그 ( CNN, RNN ) 본 문서는 강의의 내용을 토대로 다른 자료들을 공부하고 취합하여 재 해석한 내용으로 강의 내용과 많이 다를 수 있음. 이하 모든 출처가 생략된 자료는 모두 Boost Camp AI Tech의 자료에서 발췌한 것임을 밝힘. // CNN 우리가 너무나도 잘 알고 있는 CNN. 과연 잘 알고 있는 것이 맞는 건가 싶을 때가 한두번이 아니다. CNN에 대한 자세한 설명들은 너무나도 많으므로 강의에 나왔던 내용중에 카운터 펀치가 될만한 내용들 위주로 정리를 할까 한다. 우선은 이 부분. 우리가 convolution이라고 알고 부르는 이 연산은 사실 cross-correlation연산이라고 한다. 사실은 필터가 신호를 스캔할때 신호의 방향과 같은 방향으로 스캔하느냐 혹은 다른 방향으로 스캔하느냐 그런 차이 뿐이지만.. 2021. 8. 6. [ Boost Camp ] Day-2 학습로그( 신경망 학습 ) 본 문서는 강의의 내용을 토대로 다른 자료들을 공부하고 취합하여 재 해석한 내용으로 강의 내용과 많이 다를 수 있음. 이하 모든 출처가 생략된 자료는 모두 Boost Camp AI Tech의 자료에서 발췌한 것임을 밝힘. // 신경망의 학습 앞서 우리는 선형회귀모델을 이용해서 데이터의 경향을 가장 잘 나타내는 직선의 방정식을 찾아내는 과정을 보았다. 그리고 미니배치를 통한 더욱 효과적인 경사하강법도 보았다. 그렇다면 데이터가 두개 이상의 카테고리를 가지고 각 카테고리 별로 대표되는 직선의 방정식이 다르다면 어떻게 각 카테고리마다 경향성을 찾을 수 있을까 그것은 \beta를 여러개로 묶은 하나의 행렬을 이용함으로 해결할 수 있다. 이번에는 열벡터들이 원소로 주어지는 행벡터를 W 라고 했다. 이렇게 하면 W.. 2021. 8. 6. [ Boost Camp ] Day-1 학습로그 (벡터, 행렬, 선형회귀, SGD) 본 문서는 강의의 내용을 토대로 다른 자료들을 공부하고 취합하여 재 해석한 내용으로 강의 내용과 많이 다를 수 있음. 이하 모든 출처가 생략된 자료는 모두 Boost Camp AI Tech의 자료에서 발췌한 것임을 밝힘. // 벡터 벡터와 행렬의 정의부터 설명하고 넘어갔다. 벡터는 여러개의 축으로 이루어진 공간상에서 한 점을 나타내는 수학적인 단위이고 이 공간 상에서 두 벡터간의 거리를 결정하는 것을 norm이라고 한다. 나는 이걸 놈이라고 읽는데 노름 이라고도 읽는 것 같다. 이 norm을 어떻게 설정하냐에 따라 두 벡터상의 거리에관한 규칙이 달라지므로 공간의 여러 기하적인 특징이 달라진다. 원의 형태가 이렇게 달라지는 것을 확인할 수 있다. 그 외에 벡터에 관한 설명들은 굉장히 기초적인 것이어서 여기.. 2021. 8. 6. [ BoostCamp ] Day-3 학습 로그 ( 통계학, 베이즈 통계학 ) 본 문서는 강의의 내용을 토대로 다른 자료들을 공부하고 취합하여 재 해석한 내용으로 강의 내용과 많이 다를 수 있음. 이하 모든 출처가 생략된 자료는 모두 Boost Camp AI Tech의 자료에서 발췌한 것임을 밝힘. // 모수(parameter) 딥러닝을 포함한 머신러닝이 빅데이터를 요구하는 이유는 "통계적 추론"에 근거하기 때문이다. 따라서 딥러닝을 바르게 이해하고 정확한 직관을 가지기 위해서는 통계적 추론이 어떤 방식의 접근인지 이해할 필요가 있다. 통계적 추론에는 크게 두가지 방법론이 있다. 한가지는 모수적 방법론이고 다른 하나는 비모수적 방법론이다. 모수는 어머니가 되는 수라는 의미로 분포를 결정하는 매개변수들을 의미한다. 예를 들어서 어떤 분포를 모아서 히스토그램을 그리면 반드시 정규분포를.. 2021. 8. 5. 이전 1 ··· 3 4 5 6 7 다음 반응형
