반응형 Backend MLOps56 [ Inflearn ] 머신러닝 엔지니어 실무 - 1 # 파이프라인의 목적 1. 생산성 향상 2. 품질관리 : 지속적인 품질 하락에 따른 관리 3. 장애 대응 능력 향상 : 머신러닝의 장애는 기존의 방식으로 인지하기 어렵고 인지되어도 대처하기 어려운 부분이 많음 즉, 기술부채를 줄이기 위한 전략 # 유지 보수성을 위한 숙제들 - 리펙토링 - 종속성 제거 - API의 강화 - 미사용 코드 삭제 ( 버전 관리의 적극 활용 ) - 문서화 # 일반적인 ML 팀 구성 - Researcher ( ML의 이해는 높지만 SW이해가 낮다. ) - Software Engineer ( SW이해는 높지만 ML에 대한 이해가 낮다. ) - Research Engineer ( 양쪽에 대한 이해가 높아야 하고 중재역할을 잘 할 수 있어야한다. ) # 머신러닝 프로잭트 ML 프로잭트는.. 2021. 8. 28. [ 자취방 워크스테이션 ] #20 도커 컨테이너의 GPU사용 확인하기 //1 이번 글은 아주 간단하지만 대단히 중요한 부분이라서 따로 글을 쓴다. 바로 GPU사용에 관한 것인데 파이토치에서 사용하는 방법도 있으나 일단은 tensorflow를 기준으로 하겠다. //2 이전 글까지 따라왔다면 주피터를 잘 사용하고 있을 것이다. 이제는 주피터에 들어가서 터미널을 하나 열고 아래와 같이 입력해주자. $ nvidia-smi 이렇게 생긴 표가 나오면 성공이다. 이 표는 ====선을 기준으로 선 위에 적힌 내용에 해당하는 값이 선 아래의 같은 위치에 위치해 있다. 이번엔 옵션을 하나 줘서 $ nvidia-smi -l 1 이렇게 하면 계속 이 표가 갱신된다. -l 은 루프를 의미하고 1은 1초마다 한번씩이다. 이 상태에서 Ctrl+C로 멈출 수 있다. 여기서 주피터노트북을 열고 아래와 .. 2021. 3. 20. [ 자취방 워크스테이션 ] # 19 주피터 노트북 기본 설정 //1 이전 글에서 우리는 주피터 노트북을 포함하고있는 도커 이미지를 통해 컨테이너를 만들고 컨테이너 내부에서 주피터 서버를 열어보는 과정을 해봤다. 내가 한가지 불친절했던 부분은 도커를 열면서 동시에 주피터를 켜게 하는 베쉬스크립트를 왕창 던져만 주고 자세하게 설명하지 않은 것이다. 이 부분을 하나하나 짚어가면서 자세하게 다뤄보겠다. 아울러 주피터 노트북을 열기만 하는 것이 아니라 비밀번호를 설정한다던지 글꼴을 바꾼다던지 하는 기본설정 방법도 알아보자. //2 아래의 링크에서 작성했던 베쉬스크립트를 다시 보자. 2021.03.19 - [딥러닝/개인 환경 구축 기록] - [ 자취방 워크스테이션 ] #18 도커에서 주피터 열어서 외부접속 해보기 [ 자취방 워크스테이션 ] #18 도커에서 주피터 열어서 외부.. 2021. 3. 20. [ 자취방 워크스테이션 ] #18 도커에서 주피터 열어서 외부접속 해보기 //1 도커를 깔았다. 그런데 뭐 하는 건지 아직 감이 안 잡힌다. (정상이다) 백문이 불여일타라고 한번 해보자. //2 우선 도커는 UNIX소캣에 물린 서로 다른 가상의 작은 컴퓨터들로 이해한다고 했었다. 그러면 지금 그 컴퓨터가 몇 대가 생겼는지 어떠한 상태로 있는지 보는 방법이 있다. $ docker --help 그래도 도커와 첫 만남인 만큼 help정도는 들여다 봐주자. 팁 아닌 팁인데 | grep 을 이용해서 원하는 키워드를 검색하면 쉽게 어떤 명령어가 있는지 찾는 경우가 있다. 대신 첫글자가 대문자일 경우가 있으니 둘 다 해봐야 한다. list 를 보여주는 명령어가 나온다. ps를 하면 현재 컨테이너를 보여준다고 한다. $ docker ps 에잉 아무것도 나오지 않는다. 나에게 거짓말을 한 것.. 2021. 3. 19. [ 자취방 워크스테이션 ] #16 우분투에서 sudo없이 도커 사용하기 //1 도커 설치만 했다고 다 끝나는 것은 아니다. 도커 공식홈페이지 설명에 따르면 도커 컨데이너는 UNIX 소켓에 물려있고 TCP 포트에는 물려있지 않다. 그래서 TCP포트 등을 사용하려면 호스트OS인 리눅스의 관리자 root의 허락이 필요하다. 그러니까 엄마랑 싸우고 내방에 들어왔는데 친구가 피씨방 가자고 하면 거실에 있는 엄마를 안 마주치고는 도저히 나갈 수 있는 방법이 없다는 말이다. 내 방문은 열어봤자 집안 거실로 이어져있고 진짜 밖으로 나가려면 엄마 역할을 하는 루트계정이 허락해야 집 밖으로 나갈 수 있는 것이다. 루트 계정의 권한을 잠깐 양도 받는 방법은 sudo를 커멘드 맨 앞에 붙이는 것으로 도커를 군데군데 손보기 위해서는 sudo를 계속해서 붙여줘야한다. 이게 생각보다 매우 귀찮다.(s.. 2021. 3. 13. [ 자취방 워크스테이션 ] #17 우분투 서버에 NVIDIA Docker 설치하기 //1 엔비디아 드라이버와 도커가 잘 설치 되었다면 이제 nvidia-docker를 설치해보자. 이게 있어야 도커에서도 리눅스에 허락을 받고 그래픽카드를 마음껏 쓸 수 있다. 우선은 docs.nvidia.com/datacenter/cloud-native/container-toolkit/install-guide.html#docker Installation Guide — NVIDIA Cloud Native Technologies documentation On RHEL 7, install the nvidia-container-toolkit package (and dependencies) after updating the package listing: Restart the Docker daemon to comp.. 2021. 3. 13. 이전 1 ··· 4 5 6 7 8 9 10 다음 반응형
