반응형 블로그 글161 [ Boost Camp ] BPTT를 이해해 보자 // BPTT? BPTT는 RNN에서 계산되는 back propagation으로 sequential data의 특성으로 인해 발생하는 hidden state를 따라 역행하면서 전파되는 gradient의 계산 방법이다. Back Propagation Through Time의 약자이며 사실 따지고 보면 단순한 역전파 계산과 동일하긴 하다. 아래에서 진행되는 연산은 캠프 내용중 과제로 나왔던 자료의 표기를 참고하여 작성되었다. // Hidden state 에 연산되는 가중치를 위한 기울기 우선은 many-to-one 모델에서 생각해보자. 이 글의 전반에 걸쳐서 요 many-to-one 에만 집중할 것이다. 이것을 이해하면 나머지도 다 따라갈 수 있을 것이라 생각한다. 하나의 셀이 만드는 hidden state.. 2021. 8. 9. [ Boost Camp ] Day-4 학습로그 ( CNN, RNN ) 본 문서는 강의의 내용을 토대로 다른 자료들을 공부하고 취합하여 재 해석한 내용으로 강의 내용과 많이 다를 수 있음. 이하 모든 출처가 생략된 자료는 모두 Boost Camp AI Tech의 자료에서 발췌한 것임을 밝힘. // CNN 우리가 너무나도 잘 알고 있는 CNN. 과연 잘 알고 있는 것이 맞는 건가 싶을 때가 한두번이 아니다. CNN에 대한 자세한 설명들은 너무나도 많으므로 강의에 나왔던 내용중에 카운터 펀치가 될만한 내용들 위주로 정리를 할까 한다. 우선은 이 부분. 우리가 convolution이라고 알고 부르는 이 연산은 사실 cross-correlation연산이라고 한다. 사실은 필터가 신호를 스캔할때 신호의 방향과 같은 방향으로 스캔하느냐 혹은 다른 방향으로 스캔하느냐 그런 차이 뿐이지만.. 2021. 8. 6. [ Boost Camp ] Day-2 학습로그( 신경망 학습 ) 본 문서는 강의의 내용을 토대로 다른 자료들을 공부하고 취합하여 재 해석한 내용으로 강의 내용과 많이 다를 수 있음. 이하 모든 출처가 생략된 자료는 모두 Boost Camp AI Tech의 자료에서 발췌한 것임을 밝힘. // 신경망의 학습 앞서 우리는 선형회귀모델을 이용해서 데이터의 경향을 가장 잘 나타내는 직선의 방정식을 찾아내는 과정을 보았다. 그리고 미니배치를 통한 더욱 효과적인 경사하강법도 보았다. 그렇다면 데이터가 두개 이상의 카테고리를 가지고 각 카테고리 별로 대표되는 직선의 방정식이 다르다면 어떻게 각 카테고리마다 경향성을 찾을 수 있을까 그것은 \beta를 여러개로 묶은 하나의 행렬을 이용함으로 해결할 수 있다. 이번에는 열벡터들이 원소로 주어지는 행벡터를 W 라고 했다. 이렇게 하면 W.. 2021. 8. 6. [ Boost Camp ] Day-1 학습로그 (벡터, 행렬, 선형회귀, SGD) 본 문서는 강의의 내용을 토대로 다른 자료들을 공부하고 취합하여 재 해석한 내용으로 강의 내용과 많이 다를 수 있음. 이하 모든 출처가 생략된 자료는 모두 Boost Camp AI Tech의 자료에서 발췌한 것임을 밝힘. // 벡터 벡터와 행렬의 정의부터 설명하고 넘어갔다. 벡터는 여러개의 축으로 이루어진 공간상에서 한 점을 나타내는 수학적인 단위이고 이 공간 상에서 두 벡터간의 거리를 결정하는 것을 norm이라고 한다. 나는 이걸 놈이라고 읽는데 노름 이라고도 읽는 것 같다. 이 norm을 어떻게 설정하냐에 따라 두 벡터상의 거리에관한 규칙이 달라지므로 공간의 여러 기하적인 특징이 달라진다. 원의 형태가 이렇게 달라지는 것을 확인할 수 있다. 그 외에 벡터에 관한 설명들은 굉장히 기초적인 것이어서 여기.. 2021. 8. 6. [ BoostCamp ] Day-3 학습 로그 ( 통계학, 베이즈 통계학 ) 본 문서는 강의의 내용을 토대로 다른 자료들을 공부하고 취합하여 재 해석한 내용으로 강의 내용과 많이 다를 수 있음. 이하 모든 출처가 생략된 자료는 모두 Boost Camp AI Tech의 자료에서 발췌한 것임을 밝힘. // 모수(parameter) 딥러닝을 포함한 머신러닝이 빅데이터를 요구하는 이유는 "통계적 추론"에 근거하기 때문이다. 따라서 딥러닝을 바르게 이해하고 정확한 직관을 가지기 위해서는 통계적 추론이 어떤 방식의 접근인지 이해할 필요가 있다. 통계적 추론에는 크게 두가지 방법론이 있다. 한가지는 모수적 방법론이고 다른 하나는 비모수적 방법론이다. 모수는 어머니가 되는 수라는 의미로 분포를 결정하는 매개변수들을 의미한다. 예를 들어서 어떤 분포를 모아서 히스토그램을 그리면 반드시 정규분포를.. 2021. 8. 5. [ Python 삽질 ] 파이썬 정규표현식 re.sub 을 이용해서 대문자 소문자 바꾸기 // 문제 상황 re 패키지를 쓰면 누구나 쉽게(?) 정규표현식을 이용하여 문자열 다룰 수 있다. 하지만 파이썬에서 re를 잘 쓰다가 보면 이상하게 대소문자를 바꿔주는 메타문자를 사용할 수가 없다. 예컨데 bbc_ads 라는 문자의 _a 를 A로 바꿔야 한다고 할때 골치 아파진다. stackoverflow 에 보면 원래는 일반적인 regex를 사용한다고 할때 import re string = "bbc_ads" new_str = re.sub( "(_)([a-z])", "\u$2", string ) print(new_str) >>> "bbcAds" 이렇게 \u 를 이용하여서 처리할 수 있다고 한다. 하지만 파이썬에서는 \u를 사용하면 유니코드 인코딩을 의미하는 것이기 때문에 ecape되고 만다. 이런 충돌로.. 2021. 8. 3. 이전 1 ··· 12 13 14 15 16 17 18 ··· 27 다음 반응형
