본문 바로가기

전체 글161

[MPI] 파이썬으로 멀티노드 분산컴퓨팅 처리 파이썬으로 분산 컴퓨팅을 해 보자. 사실은 쿠버네티스를 썩히고 있어서 내심 좀 그런데 바로 잘 짜여진 컨테이너들의 예제만 다루면 깊은 이해가 없을 것 같아서 일단은 바닐라부터 해보자. 1. 싱글노드에서 싱글프로세싱 기본적인걸 우선 확인하자. 파이썬은 잘 깔려 있고 pip 가 안깔려있다. 설치해준다. mpi4py 도 설치해 준다. 이때 mpi에 관한 라이브러리가 깔려있지 않다면 동작하지 않으므로 mpi를 반드시 설치해 주어야 한다. 설치 방법은 아래의 글에 설명되어 있다. 2023.09.03 - [Backend MLOps/On-premise setting] - [MPI] 멀티노드로 병렬연산, 분산컴퓨팅 처리하기 [MPI] 멀티노드로 병렬연산, 분산컴퓨팅 처리하기 멀티노드로 병렬연산 처리를 해보자. 우선은 .. 2023. 9. 12.

[MPI] 멀티노드로 병렬연산, 분산컴퓨팅 처리하기 멀티노드로 병렬연산 처리를 해보자. 우선은 MPI를 위한 라이브러리들을 설치해야한다. MPI는 Message Passing Interface의 약자인데 프로세스와 프로세스간에 데이터 전송의 프로토콜을 말한다. 가장 대표적인 라이브러리로는 OpenMPI와 MPICH가 있는데 가벼운 목적으로는 MPICH가 더 적합하다고 한다. 1. MPICH 설치 # MPICH 설치 sudo apt-get update sudo apt-get install -y mpich libmpich-dev # 설치 확인 mpicc --version mpiexec --version 간단하다. 2. 싱글노드에서 병렬 연산 구현하기 싱글노드에서 병렬연산을 구현하는 방법은 다음과 같다. 우선은 hello world 코드를 작성한다. #incl.. 2023. 9. 3.

[k8s] NFS 기반 PersistentVolume 직접 구축하기 - 2 이 글은 아래 시리즈의 의존성을 가진다. 2023.03.01 - [Backend MLOps/On-premise setting] - [k8s] 쿠버네티스 찍먹 - 1 [k8s] 쿠버네티스 찍먹 - 1 우선은 http://www.yes24.com/Product/Goods/102099414 컨테이너 인프라 환경 구축을 위한 쿠버네티스/도커 - YES24 실무에 바로 적용할 수 있는 컨테이너 인프라 환경 기술!IT 자원을 효율적으로 빠르게 사용할 davi06000.tistory.com 2023.08.17 - [Backend MLOps/On-premise setting] - [k8s] kubeadm 을 이용해서 싱글노드 쿠버네티스 환경 구축 - 1 [k8s] kubeadm 을 이용해서 싱글노드 쿠버네티스 환경 구.. 2023. 9. 2.

[k8s] NFS 기반 PersistentVolume 직접 구축하기 - 1 이 글은 아래의 시리즈에 의존성을 가진다. 2023.08.27 - [Backend MLOps/On-premise setting] - [k8s] 라즈베리파이 클러스터링 -1 [클러스터링] 라즈베리파이 클러스터링 -1 라즈베리파이를 4대 사왔다. 연결해서 클러스터링을 연습 해보려고 한다. 필요한 준비물은 아래와 같다. 1. 라즈베리파이 2대 이상 2. microSD card 같은 수량 3. microSD card 리더기 4. hdmi to mini hdmi 케이 davi06000.tistory.com 2023.08.17 - [Backend MLOps/On-premise setting] - [k8s] kubeadm 을 이용해서 싱글노드 쿠버네티스 환경 구축 - 1 [k8s] kubeadm 을 이용해서 싱글노드.. 2023. 9. 2.

[k8s] 라즈베리파이 클러스터링 -4 이전까지의 모든 글에서 발생한 오류의 근본적인 원인을 찾은 것 같다. 우선 아래의 사진을 보자. 내가 구매한 라즈베리파이의 램은 2GB였는데 kubeadm에서 안내하고 있는 기본 사양이 램 2GB이다. 부팅 및 시스템 커널에서 일부 램 메모리를 먹는 것을 감안할 때 나는 2GB의 램보다 낮은 메모리를 사용하고 있었다. 그래서 k8s가 아닌 경량화된 쿠버네티스로 설치 방법을 바꿔보려고 한다. 가장 유명한 소프트웨어인 k3s를 설치해 보자. k3s는 518MB 정도의 리소스를 요구한다고 한다. 이거까지 안되면.. 진짜 때려치 우선은 깔려있는 k8s를 모조리 지워준다. # 쿠버네티스 리셋 sudo kubeadm reset # cni 관련 설정 제거 sudo rm -rf /etc/cni/net.d sudo rm.. 2023. 8. 30.

[k8s] 라즈베리파이 클러스터링 -3 *주의 이 글은 시행착오 기록이므로 필요한 부분만 참고 바람 지난 글에서 라즈베리파이에 프로메테우스, 그라파나까지 올리는 작업을 진행했다. 2023.08.27 - [Backend MLOps/On-premise setting] - [클러스터링] 라즈베리파이 클러스터링 -1 [클러스터링] 라즈베리파이 클러스터링 -1 라즈베리파이를 4대 사왔다. 연결해서 클러스터링을 연습 해보려고 한다. 필요한 준비물은 아래와 같다. 1. 라즈베리파이 2대 이상 2. microSD card 같은 수량 3. microSD card 리더기 4. hdmi to mini hdmi 케이 davi06000.tistory.com 2023.08.28 - [Backend MLOps/On-premise setting] - [클러스터링] 라즈베.. 2023. 8. 29.

이전 1 2 3 4 5 6 ··· 27 다음

티스토리툴바