728x90 Beowulf Cluster8 [Diskless Cluster] 5. 기타 5.1. Diskless Cluster를 추가할 경우 Diskless Cluster의 장점은 COW와 다르게 계산노드들을 쉽게 추가 및 제거를 할 수 있다는 점이다. 이 장에서는 만약 당신이 추가적인 계산노드들을 증설할 경우 어떻게 해야할 지에 대해서 다룬다 5.1.1. 준비물 – 추가적인 계산노드들 (계산노드들의 PXE부팅 및 네트워크 카드의 맥주소를 알고 있다고 가정한다.) 5.1.2. 마스터 노드 - /etc/hosts 편집 새로 추가될 계산노드들에게 할당할 사설 IP와 호스트이름을 정해준다 $vim /etc/hosts 127.0.0.1localhost 127.0.1.1cmt-master 192.168.0.1master 192.168.0.2node01 … 192.168.0.9node08 192.16.. 2020. 6. 2. [Diskless Cluster] 3.2 클러스터 운영과 관련된 필수 유틸리티들 - Torque/Slurm 우분투 16.04 LTS의 경우, Ubuntu repository에서 TORQUE/PBS를 설치할 수 있었다. 하지만, 18.04 이상의 버전부턴, 해당 버전에 대응되는 repository에서는 TORQUE가 없다. 물론, 이전 버전에 대응되는 repository에서 TORQUE를 설치할 수 있겠지만, 서로 다른 버전의 OS 간의 패키지 의존성등의 문제들을 감수해야한다. 다행이도 ubuntu에서 다른 무료 오픈 소스 PBS인 slurm을 사용할 수 있다. 여기서는 주로 slurm에 대해서 설명하며, torque 관련 정보가 필요한 사람을 위해서 이전에 정리한 내용들을 뒷부분에 정리했다. 0. Slurm이란? slurm은 TORQUE와 같은 PBS, 즉, Cluster에서 작업을 할당해주는 프로그램이다. .. 2020. 6. 2. [Diskless Cluster] 3.1 클러스터 운영과 관련된 필수 유틸리티들 - Ganglia 3.1 Ganglia ▪ UC Berkerley의 millennium projects에서 개발 ▪ "SourceForge.net"을 통해 소스코드가 공개되어 자유롭게 사용할 수 있는 소프트웨어 ▪ 산 모니터링 시스템 또는 클러스터의 상태를 모니터링할 수 있는 소프트웨어 : 메모리, CPU, 디스크, 네트워크 사용량을 포함하여 약 200여개 이상의 메트릭 정보를 모니터링할 수 있음. 클러스터의 사용상태를 모니터해주는 도구로써, 클래스터 내의 노드들로부터 여러가지 성능지표들을 모니터링하여 종합관제할 수 있는 기능들을 제공한다. 3.1.0 기본적인 Ganglia의 구조 및 구성 요소 (a) Ganglia의 구조 (b) Ganglia의 구성 요소: Gmond, gmetad, ganglia web interfac.. 2020. 6. 2. [Diskless Cluster] 2.2 계산 서버 – 계산서버의 네트워크 문제 2.2.1 Masquerade IP MASQUERADE는 리눅스의 NAT(Network Address Translation) 기능으로써, 내부망의 컴퓨터들이 마스터 서버를 통해서 외부망 인터넷에 접속할 수 있도록 하는 기능이다. 내부망에 속해있는 컴퓨터들이 생성된 모든 네트워크 요청은 Masquerade를 통해서 마스터 서버의 외부망으로 연결이 된다. ※ Masquerade 설정하는 방법 1) 우리는 iptables로 방화벽을 설정하기 때문에 만약, UFW방화벽이 켜져있다면, UFW를 끄도록 하자 $ ufw disable 2) IP Masquerade 적용 $ sudo iptables -t nat -A POSTROUTING -s 192.168.0.0/24 -o enp8s0 -j MASQUERADE - 적.. 2020. 6. 2. [Diskless Cluster] 1.3. 마스터 서버 – NFS 서버 설정 1.3. 마스터 서버 – NFS 서버 설정 Diskless cluster의 경우 자체적인 하드디스크가 없다. 따라서 NFS (Networking File System)를 이용하여, 마스터 서버에서 계산노드를 위해 만들어진 루트디렉토리를 “/”로 인식하게 만들어야 한다. 즉, NFS를 이용하여, /computation _node/nfsroot 디렉토리를 계산노드들의 “/”로 마운트 시킬 것이다. 이 장에서 해야할 것은 크게 2가지이다. • 마스터 서버에 nfs서버 설치 • 마스터 서버의 /etc/exports 파일 편집 1.3.1 마스터 서버 - nfs 서버 설치 [1] $ sudo apt-get install nfs-kernel-server -y $ sudo apt-get install nfs-commo.. 2020. 6. 2. [Diskless Cluster] 1.1 마스터 서버 - IP 네트워크 설정 1.1. 마스터 서버 - IP 네트워크 설정 마스터 서버의 IP네트워크 설정을 통해서, 마스터 서버는 계산노드들에게 사설 IP주소를 할당한다. 이를 통해, 계산노드들이 마스터 서버와 통신을 주고받을 수 있게 된다. 이 장에서 해야할 목록은 다음과 같다: (a) dhcp 서버 설치 (b) /etc/hosts 편집 (c) /etc/dhcp/dhcp.conf 편집 (d) /etc/network/interfaces 편집 해당 장에 들어가기 앞서, 다음 dhcp[2][3]와 /etc/hosts[1]에 대한 설명을 먼저 본 후, 어떤 내용을 다루는지 확인하기 바란다. 1.1.1 DHCP 서버 설치 $sudo apt-get install isc-dhcp-server -y 1.1.2 /etc/hosts 편집 /etc/.. 2020. 6. 2. [Diskless cluster] 1.0 제작방법 및 마스터 서버 우분투 설치 1.0 Beowulf Cluster 제작 방법 이후부터는 Beowulf cluster를 단순히 Diskless cluster라고 부르도록 하겠다. 우선, 들어가기 앞서서 내가 제작한 클러스터에 대해서 몇 가지에 대해서 간단하게 이야기하고자 한다. 내가 2020년도 1월부터 2월까지 약 두 달에 걸쳐서 만든 클러스는 Beowulf cluster, 즉, Diskless cluster이다. 해당 클러스터를 제작한 이유는 아래와 같다. 1) Beowulf Cluster를 제작한 이유 - 기존에 약 6~7개 정도의 개별적인 컴퓨터들을 계산하는데 사용을 해보니, 관리를 하는데 굉장히 어려움이 많았다. 예를 들어, 각각의 컴퓨터에서 만들어진 계산결과들이 각각의 하드디스크에 저장이 되어 있었다. 따라서, 계산결과들을 .. 2020. 6. 2. [Beowulf Cluster] Beowulf Cluster란? 1. Beowulf Cluster란? 1994년 NASA에서 기존의 Cray 슈퍼컴퓨터를 대신할 계산 컴퓨터를 자체적으로 개발하기로 하였다. 이때, 기존 컴퓨터와 라이브러리를 최대한 활용하는 방향으로 제작한 16노드 병렬 클러스터가 최초의 Beowulf cluster이다. 좁은 의미로써 Diskless cluster를 Beowulf cluster라고 부르기도 한다. 2. Beowulf Cluster의 특징 1) 계산 노드는 노드의 프로세스와 메모리만을 사용 • 디스크 및 VGA 등 기타 장비들을 갖출 필요가 없음 2) 계산 노드에 하드디스크를 두지 않고 서버에만 둔다. (NFS를 통해서 마스터서버의 하드 인식) • 클라이언트를 추가 및 제거하기 쉽다 3) 오픈소스 기반으로 리눅스 환경에서 쉽게 클러스터를.. 2020. 4. 10. 이전 1 다음 728x90
