Proxmox VM에 Hadoop 설치하기

HDD Mount

현재 테스트중인 서버엔 128GB SSD하나, 2TB HDD가 달려있고 proxmox는 SSD에 설치되었다

Proxmox 설치 당시 /dev/sda에 마운트된 SSD에 설치하여 Web-UI의 Disk화면에서 조회가 가능하나 2TB의 HDD가 마운트된 상태가 아니었다

HDD를 마운트시키고 앞으로 올릴 컨테이너의 데이터를 저장하도록 하자

fdisk -l ## 마운트 위치, 파티션 확인

mkfs.ext4 /dev/sdb1

# /dev/sdb1 is apparently in use by the system; will not make a filesystem here! 에러시
# dmsetup status
dmsetup remove_all

mkfs.ext4 /dev/sdb1 
# proceed anyway? y

fdisk -l

포맷 과정에서 fdisk -l에 기존 Xenserver의 LVM이 매핑되어 있어서 관련정보를 dmsetup 명령어로 정리해주니 깔끔히 포맷이 되었다

지금까지는 Linux상에서 디스크 포맷, 마운트를 진행하였고 Proxmox에서 인식하기 위해서는 아래 명령어를 입력해준다

vgcreate 명령입력시 Proxmox에서 인식할 이름 태그을 붙여준다. 일단 newdrive라고 붙여줬다

pvcreate /dev/sdb1
vgcreate newdrive /dev/sdb1

다시 Proxmox의 Web-UI로 돌아와서 아래와 같이 들어가준다

아래와 같이 창이뜨면 ID를 식별하기 쉬운 이름으로 하고 Volume Group으로 설정하면 끝난다

LXC 생성

Template Download

생성할 LXC의 ISO를 Proxmox에서 제공하는 Template 을 받으면 실행할 수 있다

웹브라우저로 Proxmox 관리화면을 들어가보면

위 와 같이 local - Content 에 보면 Template 항목을 눌러보면

다운받을 수 있는 다양한 Template을 제공한다

일단 Centos-7 버전을 다운받기로 했다

다운로드가 시작되었다 한 네트워크환경에 따라 속도가 다르지만 10분정도가 소요되었다

Starting LXC

메인화면으로 돌아와서 오른쪽 상단에 LXC생성 버튼을 눌러준다

ID는 100으로 시작하지만 101로 주고 설정하기로 한다 Hostname 과 root password 를 입력해주고 Next

조금전에 다운받은 Template 으로 설정해줬다

HDD 설정이다 우선 disk 사이즈를 300으로 잡아줬고 아래에 Adcanced 옵션을 눌러보니

세부 옵션을 추가할 수 있는데 I/O성능을 올릴 수 있는 noatime 을 설정해줬다

CPU는 넉넉히 4코어로 잡아주었다

메모리는 8GB 로 잡아줬다

네트워크 화면이다, IPv4에 고정 IP를 잡아줬고 firewall 를 체크해제 해줬다

DNS설정이다 가장 빠른 DNS서버 주소를 잡아줬다

현재 까지 설정한 내역이다 별 어려움없이 생성이 끝났다

앞으로 해당 컨테이너에 필요한 설정들을 집어넣고 Clone 시켜서 Hadoop cluster를 구성할 계획이다

Taylor Vick