반응형 딥러닝 머신러닝 데이터 분석/PyTorch2 [PyTorch 삽질] pytorch tensoboard에서 hparams 기능 100% 활용하기 // 문제 상황 거두절미하고 우선 아래 링크를 보자. https://discuss.pytorch.org/t/how-to-add-graphs-to-hparams-in-tensorboard/109349/2 How to add graphs to hparams in tensorboard? Having dug a little deeper into torch.utils.tensorboard, I can’t seem to find how to use this functionality. However I can achieve it by modifying the SummaryWriter.add_hparams() function as such: def add_hparams(self, hparam_dict, metric_d.. 2021. 9. 8. [ PyTorch ] DataLoader 잘 짜서 병목 극복하기, GPU util 높이기 문제 상황 GPU util이 왜 항상 20% 정도만 나올까. 정말 모델이 작아서 그런걸까? OOM이 뜨기 직전의 상황에도 왜 util은 100%를 찍지 않는 걸까. 이런 고민들을 해결해 보려고 초점을 맞춰 보겠다. 원인 우선은 조사한 결과 가장 많이 영향을 주는 것은 데이터를 load 하는 과정과 feed 하는 과정 사이에서 생기는 딜레이 때문이다. 해외의 pytorch 포럼이나 nvidia 포럼을 보아도 동일한 답변이고 스텍오버플로우나 기타 블로그에서도 데이터 로더의 설계문제라는 사실을 많이 지적한다. 따라서 데이터 로더를 좀 손보는 방향으로 실험을 진행했다. 데이터 로더 실험 이미지를 불러올때 몇가지 trade-off와 싸워야 한다. 흔히 말하는 공간복잡도와 시간복잡도의 싸움인데 메모리가 허락하는 한.. 2021. 8. 26. 이전 1 다음 반응형
