Hadoop Clustering (2)
오픈소스 Hadoop 배포판을 다운로드하여 설치 및 설정에 대해서 알아보겠습니다.
아래는 Apache Hadoop 배포판 한국 미러링 사이트입니다.
wget 명령을 설치하여 다운로드 링크 주소를 입력하여 리눅스에 바로 다운받았다
파일명을 읽어보면 src가 붙은게 있고 없는게 있는데 소스파일이란 뜻이다
src 로 받을 시 make 로 빌드까지 해야 하는 번거로움이 있으므로 바이너리 파일로 받는다
1 | yum install wget -y |
Hadoop Configuration
Environment Configuration File
아래 site-specific configuration files 를 수정하여 Hadoop 클러스터의 구성을 설정할 수 있다
| Site-Specific Configuration Files | |
|---|---|
| core-site.xml | Core Hadoop configuration |
| mapred-site.xml | Configuration for Mapreduce |
| hdfs-site.xml | Configuration for HDFS |
| yarn-site.xml | Configuration for YARN |
추가적으로 설정할 수 있는 파일들은 다음과 같다
| Other Hadoop-Related Configuration Files | |
|---|---|
| log4j.properties | for configuring logging |
| hadoop-metric.properties | Configuration for hadoop metrics |
| allocations.xml | for configuring Fair Scheduler |
| capacity-scheduler.xml | for configuring Capacity Scheduler |
| incude and exclude files | Used for specifying which hosts to include or exclude from a hadoop cluster |
Hadoop의 로깅 설정은 log4j.properties를 수정하여 변경할 수 있는 등 여러가지 추가 설정파일들이 많다 자세한건 다음에 다시 다루도록 하자