본문 바로가기
반응형

Backend MLOps/개인 환경 구축 기록19

[ 자취방 워크스테이션 ] #20 도커 컨테이너의 GPU사용 확인하기 //1 이번 글은 아주 간단하지만 대단히 중요한 부분이라서 따로 글을 쓴다. 바로 GPU사용에 관한 것인데 파이토치에서 사용하는 방법도 있으나 일단은 tensorflow를 기준으로 하겠다. //2 이전 글까지 따라왔다면 주피터를 잘 사용하고 있을 것이다. 이제는 주피터에 들어가서 터미널을 하나 열고 아래와 같이 입력해주자. $ nvidia-smi 이렇게 생긴 표가 나오면 성공이다. 이 표는 ====선을 기준으로 선 위에 적힌 내용에 해당하는 값이 선 아래의 같은 위치에 위치해 있다. 이번엔 옵션을 하나 줘서 $ nvidia-smi -l 1 이렇게 하면 계속 이 표가 갱신된다. -l 은 루프를 의미하고 1은 1초마다 한번씩이다. 이 상태에서 Ctrl+C로 멈출 수 있다. 여기서 주피터노트북을 열고 아래와 .. 2021. 3. 20.
[ 자취방 워크스테이션 ] # 19 주피터 노트북 기본 설정 //1 이전 글에서 우리는 주피터 노트북을 포함하고있는 도커 이미지를 통해 컨테이너를 만들고 컨테이너 내부에서 주피터 서버를 열어보는 과정을 해봤다. 내가 한가지 불친절했던 부분은 도커를 열면서 동시에 주피터를 켜게 하는 베쉬스크립트를 왕창 던져만 주고 자세하게 설명하지 않은 것이다. 이 부분을 하나하나 짚어가면서 자세하게 다뤄보겠다. 아울러 주피터 노트북을 열기만 하는 것이 아니라 비밀번호를 설정한다던지 글꼴을 바꾼다던지 하는 기본설정 방법도 알아보자. //2 아래의 링크에서 작성했던 베쉬스크립트를 다시 보자. 2021.03.19 - [딥러닝/개인 환경 구축 기록] - [ 자취방 워크스테이션 ] #18 도커에서 주피터 열어서 외부접속 해보기 [ 자취방 워크스테이션 ] #18 도커에서 주피터 열어서 외부.. 2021. 3. 20.
[ 자취방 워크스테이션 ] #18 도커에서 주피터 열어서 외부접속 해보기 //1 도커를 깔았다. 그런데 뭐 하는 건지 아직 감이 안 잡힌다. (정상이다) 백문이 불여일타라고 한번 해보자. //2 우선 도커는 UNIX소캣에 물린 서로 다른 가상의 작은 컴퓨터들로 이해한다고 했었다. 그러면 지금 그 컴퓨터가 몇 대가 생겼는지 어떠한 상태로 있는지 보는 방법이 있다. $ docker --help 그래도 도커와 첫 만남인 만큼 help정도는 들여다 봐주자. 팁 아닌 팁인데 | grep 을 이용해서 원하는 키워드를 검색하면 쉽게 어떤 명령어가 있는지 찾는 경우가 있다. 대신 첫글자가 대문자일 경우가 있으니 둘 다 해봐야 한다. list 를 보여주는 명령어가 나온다. ps를 하면 현재 컨테이너를 보여준다고 한다. $ docker ps 에잉 아무것도 나오지 않는다. 나에게 거짓말을 한 것.. 2021. 3. 19.
[ 자취방 워크스테이션 ] #16 우분투에서 sudo없이 도커 사용하기 //1 도커 설치만 했다고 다 끝나는 것은 아니다. 도커 공식홈페이지 설명에 따르면 도커 컨데이너는 UNIX 소켓에 물려있고 TCP 포트에는 물려있지 않다. 그래서 TCP포트 등을 사용하려면 호스트OS인 리눅스의 관리자 root의 허락이 필요하다. 그러니까 엄마랑 싸우고 내방에 들어왔는데 친구가 피씨방 가자고 하면 거실에 있는 엄마를 안 마주치고는 도저히 나갈 수 있는 방법이 없다는 말이다. 내 방문은 열어봤자 집안 거실로 이어져있고 진짜 밖으로 나가려면 엄마 역할을 하는 루트계정이 허락해야 집 밖으로 나갈 수 있는 것이다. 루트 계정의 권한을 잠깐 양도 받는 방법은 sudo를 커멘드 맨 앞에 붙이는 것으로 도커를 군데군데 손보기 위해서는 sudo를 계속해서 붙여줘야한다. 이게 생각보다 매우 귀찮다.(s.. 2021. 3. 13.
[ 자취방 워크스테이션 ] #17 우분투 서버에 NVIDIA Docker 설치하기 //1 엔비디아 드라이버와 도커가 잘 설치 되었다면 이제 nvidia-docker를 설치해보자. 이게 있어야 도커에서도 리눅스에 허락을 받고 그래픽카드를 마음껏 쓸 수 있다. 우선은 docs.nvidia.com/datacenter/cloud-native/container-toolkit/install-guide.html#docker Installation Guide — NVIDIA Cloud Native Technologies documentation On RHEL 7, install the nvidia-container-toolkit package (and dependencies) after updating the package listing: Restart the Docker daemon to comp.. 2021. 3. 13.
[ 자취방 워크스테이션 ] #15 우분투 서버에 NVIDA 드라이버 설치하기 //1 딥러닝을 위해서는 엔비디아 그래픽카드가 필수다. 왜냐하면 병렬연산을 위해서 대부분의 프레임워크들이 CUDA를 선택했기 때문이다. 원래는 #15를 엔비디아 도커 설치까지로 생각하고 글을 적었으나 여러가지 난관에 봉착하여 이 챕터를 NVIDIA드라이버 설치하기로 따로 떼어냈다. //2 주의!! 이 챕터를 읽을때는 주의할 점이 하나 있다. ! 원격으로 작업을 하는 경우에는 이 방식을 따라하지 말기를 바란다. ! 이유는 후설하겠지만 드라이버를 설치하는 동안 GUI가 활성화되거나 MOK를 설정해야하는 등등 보안 설정을 건드리게 되는 부분에서 원격으로 설정하는 작업에 한계가 있었다. 아무튼 이 작업은 반드시 우분투 서버가 설치되어있는 그 컴퓨터에서 직접 진행되어야 한다. //3 본론으로 들어가서 내가 설명하.. 2021. 3. 13.
반응형