반응형 Backend MLOps/On-premise setting18 [k8s] Jetson Nano 병렬처리 해보기 지난 글에서 jetson nano를 워커노드로 세팅하는 방법까지 알아봤다. k8s 시리즈는 계속해서 연재중이라 마스터 노드를 설치하는 방법부터 여기까지 와있다. 젯슨 아키텍쳐 때문에 정말이지 설정을 찾아내는게 힘들었다. 진짜 진짜 힘들었다.... 그래도 한번 잘 정리를 해서 남겨보자. 젯슨 구형으로 진행한 점을 미리 알린다. 우선은 젯슨을 초기화 할 때 GUI를 쓰기 때문에 OS를 플레시 한 후에 처음은 반드시 모니터와 키보드 마우스를 모두 연결해야 한다. 그리고 첫번째 로그인을 해 준다. 이제는 우리에게 GUI가 필요 없다. sudo systemctl set-default multi-user sudo reboot 멀티 유저 모드로 전환하고 재부팅 해준다. 그러면 초기 세팅은 끝이다. https://gi.. 2023. 10. 12. [k8s] Jetson Nano에 k3s 설치하고 워커노드로 구축하기 운이 좋게도 당근으로 젯슨 두대를 구했다. 젯슨의 기본적인 세팅은 간략하게 설명하고 넘어가겠다. 우선 젯슨은 ARM아키텍쳐기 때문에 역시 전용 OS를 사용하고 이 OS는 기본적으로 우분투 데스크탑을 베이스로 하고 있다. 따라서 GUI를 사용하도록 default 가 설정되어 있기 때문에 $ sudo systemctl set-default multi-user # GUI 끄기 $ sudo systemctl set-default graphical # GUI 켜기 등의 명령어를 이용해서 GUI를 켜거나 꺼주어야 한다. 또 GPU 아키텍쳐도 다르기 때문에 nvidia-smi 와 같은 모니터링 툴을 지원하지 않는다. tegrastats # 혹은 sudo -H pip install jetson-stats && jtop.. 2023. 9. 24. [MPI] 파이썬으로 멀티노드 분산컴퓨팅 처리 - 2 분산처리를 잘 사용해 볼 수 있는 예제가 없을까 하다가 주변 지인의 추천으로 유전알고리즘을 적용해 보기로 했다. 1. 간단한 유전알고리즘 코드 짜기 간단한 유전 알고리즘의 코드를 짜보자. 유전알고리즘은 난수로 생성된 인구에 약간의 확률로 변이를 주고 두 인구를 융합함으로 2세대를 만들어내는 작업을 반복한다. 멀티 프로세싱에 아주 적합한 예시라고 할 수 있다. import random def init_population(dna_length, population): return ["".join(random.choice("01") for _ in range(dna_length)) for _ in range(population)] def fitness(dna): return dna.count("1") def s.. 2023. 9. 12. [MPI] 파이썬으로 멀티노드 분산컴퓨팅 처리 파이썬으로 분산 컴퓨팅을 해 보자. 사실은 쿠버네티스를 썩히고 있어서 내심 좀 그런데 바로 잘 짜여진 컨테이너들의 예제만 다루면 깊은 이해가 없을 것 같아서 일단은 바닐라부터 해보자. 1. 싱글노드에서 싱글프로세싱 기본적인걸 우선 확인하자. 파이썬은 잘 깔려 있고 pip 가 안깔려있다. 설치해준다. mpi4py 도 설치해 준다. 이때 mpi에 관한 라이브러리가 깔려있지 않다면 동작하지 않으므로 mpi를 반드시 설치해 주어야 한다. 설치 방법은 아래의 글에 설명되어 있다. 2023.09.03 - [Backend MLOps/On-premise setting] - [MPI] 멀티노드로 병렬연산, 분산컴퓨팅 처리하기 [MPI] 멀티노드로 병렬연산, 분산컴퓨팅 처리하기 멀티노드로 병렬연산 처리를 해보자. 우선은 .. 2023. 9. 12. [MPI] 멀티노드로 병렬연산, 분산컴퓨팅 처리하기 멀티노드로 병렬연산 처리를 해보자. 우선은 MPI를 위한 라이브러리들을 설치해야한다. MPI는 Message Passing Interface의 약자인데 프로세스와 프로세스간에 데이터 전송의 프로토콜을 말한다. 가장 대표적인 라이브러리로는 OpenMPI와 MPICH가 있는데 가벼운 목적으로는 MPICH가 더 적합하다고 한다. 1. MPICH 설치 # MPICH 설치 sudo apt-get update sudo apt-get install -y mpich libmpich-dev # 설치 확인 mpicc --version mpiexec --version 간단하다. 2. 싱글노드에서 병렬 연산 구현하기 싱글노드에서 병렬연산을 구현하는 방법은 다음과 같다. 우선은 hello world 코드를 작성한다. #incl.. 2023. 9. 3. [k8s] NFS 기반 PersistentVolume 직접 구축하기 - 2 이 글은 아래 시리즈의 의존성을 가진다. 2023.03.01 - [Backend MLOps/On-premise setting] - [k8s] 쿠버네티스 찍먹 - 1 [k8s] 쿠버네티스 찍먹 - 1 우선은 http://www.yes24.com/Product/Goods/102099414 컨테이너 인프라 환경 구축을 위한 쿠버네티스/도커 - YES24 실무에 바로 적용할 수 있는 컨테이너 인프라 환경 기술!IT 자원을 효율적으로 빠르게 사용할 davi06000.tistory.com 2023.08.17 - [Backend MLOps/On-premise setting] - [k8s] kubeadm 을 이용해서 싱글노드 쿠버네티스 환경 구축 - 1 [k8s] kubeadm 을 이용해서 싱글노드 쿠버네티스 환경 구.. 2023. 9. 2. 이전 1 2 3 다음 반응형
