SPARK 클러스터 환경설정

Prerequisits :

1. Linux (Ubuntu, Centos)
2. JAVA 설치된 상태
3. SSH 설치
4. SPARK 다운로드
5. Master PC, Slave PC

설정

1. /usr/local에 다운받은 SPARK를 압축해제 시킨다. (Slave 도)

   $ tar xvf spark-*

2. 폴더명을 spark 로 바꾼다. 일반 유저에게 권한을 부여한다.(전체 노드에 설정)

   $ mv SPARK-* spark

   $ chown -R (유저명):(그룹명) spark

   
   

3. 환경변수에 자바와,스파크 디렉토리를 등록한다. (전체 노드에 설정)

   $ vi .bashrc
   export $JAVA_HOME=/usr/loca/java (알아서 찾길)
   export	$SPARK_HOME=/usr/local/spark
   export PATH=$PATH:$SPARK_HOME/bin
   
   $ source .bashrc

   
   

4. /etc/hosts 에 마스터 ip 와 슬레이브 ip 를 입력한다.

   $ vi /etc/hosts
   192.xxx.xxx.xx master
   192.xxx.xxx.xx slave01

   
   

5. 서로간에 ssh 가 통하는지 확인한다. 안돼면 포트 문제거나 설치가 안된거

   $ ssh slave01
   $ ssh slave02

   
   

6. 마스터 PC의 SPARK 디렉토리의 conf/slaves.template 수정, 슬레이브 호스트명 입력

   $ vi slave.template
   
   slave01
   slave02

   
   

7. 마스터 PC의 SPARK 디렉토리에 sbin/start-all.sh 실행.

   
   

8. 브라우저 localhost:8080 로 들어가서 연결확인*

출처

Jake Blucker