데이터 처리 방법은 다양하고 넓게 분류해보면 배치, 실시간 으로 나뉜다. 원하는 방식을 사용하여 원하는 결과를 얻을 수 있지만 어떤 상황에서는 두 처리 방법의 데이터가 모두 필요한 경우가 있다. 이때 데이터 병합 문제가 발생할 수 있는데 Lambda Architecture, 람다 아키텍쳐 를 적용하면 문제를 해결할 수 있다.
람다 아키텍쳐는 높은 확장성과 분산 컴퓨팅 성능을 제공하며, 배치와 실시간 처리를 통해 결과적으로 일관성 있는 데이터를 제공한다.
현재 테스트중인 서버엔 128GB SSD하나, 2TB HDD가 달려있고 proxmox는 SSD에 설치되었다
Proxmox 설치 당시 /dev/sda에 마운트된 SSD에 설치하여 Web-UI의 Disk화면에서 조회가 가능하나 2TB의 HDD가 마운트된 상태가 아니었다
HDD를 마운트시키고 앞으로 올릴 컨테이너의 데이터를 저장하도록 하자
Apache Zeppelin 공홈
wget 명령어로 아파치 미러사이트에서 다운로드 받습니다.
1 | wget http://apache.mirror.cdnetworks.com/zeppelin/zeppelin-0.8.2/zeppelin-0.8.2-bin-all.tgz |
오픈소스 Hadoop 배포판을 다운로드하여 설치 및 설정에 대해서 알아보겠습니다.
아래는 Apache Hadoop 배포판 한국 미러링 사이트입니다.
앞으로 진행할 내용은 6개의 node로 구성된 multi-node distributed Hadoop cluster 를 구성하는 것입니다.
HDP, CDH와 같은 Hadoop 배포판을 사용하지 않고 aphache.org의 Native Hadoop 배포판으로 설치를 진행합니다.
