[LV3 모델최적화] #2, #3

2

ShuffleNetv2 속대에 영향을 주는 요소

• FLOPs 이외의 Memory Access Cost 등의 관점에서 속도에 영향을 주는 요소들이 많다.

• 논문에서는 4가지 가이드 라인 제시

  1. 입출력 크기가 동일할 때

  2. convolution group의 크기

  3. path의 분기 수

  4. Element-wise operation

3

1

• 좋은 config를 찾을 때 까지 사람이 지속적으로 tunning
• AutoML을 이용해서 완전한 loop with out human 구현
• DL config는 conditional search space를 가짐
  • SGD : lr, momentum / Adam : lr, beta1, beta2 ....

2

• Bayesian Optimization
  • Surrogate model (Gaussian process regression)
    • Surrogate function : config의 요소들을 basis로 가지고 모델의 성능을 probability outcom 으로 가지는 function
    • Acquisition function : Surrogate function과 같은 기저를 가지고 surrofate function의 현재 상태로 부터 모델의 성능을 probability outcom 으로 가지는 function (다음 지점은 어디를 찍으면 좋을 까?)
  • Tree-structured Parzen Estimator
    • Conditional 한 config의 특성을 gaussian field에 적용하기 힘든 부분을 보완
• 한계점
  • 가장 큰 문제는 오래 걸린다.