OS 환경
- Ubuntu 20.04 LTS- 4 vCPU, 8GB- Cloudera Manager 7(설치되는 OS에 맞게 설치)
- 30GB SSD Disk
- OS 버전에 따라 설치가 잘 안될 수 있으니 OS 선택 시 주의 필요.
1. 개요
2. SW, HW 환경
3. 설치
. java
sudo apt-get update
sudo apt-get install openjdk-8-jdk. python3 설치
sudo apt update
sudo apt install python3. eclipse
. virtual Box
. puTTy
. Fileziller
. Chrome
. NTP 설치
. 실습예제 및 소스 다운로드 : https://github.com/wikibook/bigdata2nd/archive/master.zip
*** 최초 Ubuntu 24.04 LTS 에 설치하려니 지원하지 않는다는 메시지 출력. Ubuntu 20.04 LTS로 변경
*** 아래는 Cloudera Manager 7 이 설치되는 OS 버전임.
Cloudera Manager supports the following 64-bit operating systems:
* Red Hat Enterprise Linux 7 (Update 6 or later recommended)
* Red Hat Enterprise Linux 8 (Update 2 or later recommended)
* Oracle Enterprise Linux 7 (Update 4 or later recommended)
* CentOS 7 (Update 4 or later recommended)
* CentOS 8 (Update 2 or later recommended)
* Ubuntu 18.04 LTS
* Ubuntu 20.04 LTSType 'back' to go back.
4. VM 에 cloudera Manager 설치
1) /etc/hosts 파일에 서버 등록
각자의 서버 IP에 대한 hostname을 /etc/hosts 파일에 등록해 준다. FQDN 은 등록하지 않아도 된다.
172.31.5.7 aiserver01.domain.com aiserver01
172.31.3.242 aiserver02.domain.com aiserver02
172.31.3.225 aiserver03.domain.com aiserver03
1) Cloudera Manager Server 설치
Cloudera Manager를 다운로드하고 CDP Private Cloud Base 클러스터를 설정한다.
아래의 명령어로 cloudera Manger 를 설치한다.
$ wget https://archive.cloudera.com/cm7/7.4.4/cloudera-manager-installer.bin
$ chmod u+x cloudera-manager-installer.bin
$ sudo ./cloudera-manager-installer.bin
설치 시 계속이어지는 화면이다. 화면이 길어서 2개의 화면으로 캡쳐했다.
설치가 완료되면 7180 포트로 브라우저에서 접속할 있다.
http://localhost:7180/ 또는 localhost 대신 접속할 수 있는 IP로 접속해 보면 아래와 같은 로그인 화면을 볼 수 있다.
로그인 화면에 설치시에 화면에 보여진 admin 계정에 admin 패스워드를 입력하여 접속한다.
설치된 Cloudera manager는 60일 데모 버전이다. 로그인하면 아래와 같이 license file을 업로드 하거나
60일 trial 버전을 사용하거나 하는 선택화면이 나온다. 본 문서에서는 60일 trial 을 선택한다.
아래와 같은 화면이 나오는데 [계속] 버튼을 클릭한다.
클러스터 이름을 입력한다.
Agent를 설치할 Hosts를 네트워크 상에서 검색한다. 22번 Port로 검색하니 22번 Port로 통신이 되어야 한다.
/etc/hosts 파일에 등록한 hostname을 콤마로 구분하여 입력한 후 [검색] 버튼을 클릭한다.
리포지토리 선택
JDK 선택
JDK는 OpenJDK 8 버전을 설치하였으므로 "Manually manage JDK" 를 선택한다.
SSH 로그인 정보 설정
Agent가 설치될 서버에 접근할 수 있는 사용자 계정과 인증방법을 선택한다. 본문서에서는 인증키를 이용한다.
Private Key를 선택해 준다.
2) Cloudera Manager Agent 설치
- Cloudera Manager 서버의 7182 port와 agent가 통신하므로 port가 오픈되어 있어야 한다.
아래 화면은 Agent가 설치 완료된 화면이다.
Parcels 설치
다음 단계로 Parcels 가 설치되는 화면이다. 설치 시간이 오래 걸린다.
클러스터 인스펙트
클러스터 구성이 잘 되었는지 검사하는 과정이다.
네트워크 성능 검사는 ping 테스트를 수행하는데 방화벽이 설정되어 있을 경우, ICMP 프로토콜을 허용해 준다.
Network Performance 수행 시 Error가 발생했는데 확인해 보니 Cloudera Manager 에서 Python2 를 사용하고 있고, 이 부분에서 오류가 발생했다. Host 검사도 warning이 발생했는데 해결방법을 찾지 못해 무시하고 진행했다.
설치할 서비스를 선택하는 화면이다.
본 문서에서는 "Data Engineering"을 선택했다. 각자의 사용 목적에 따라 설치하면 된다.
역할 할당
서버별로 서비스할 역할을 할당해 주는 화면이다.
kafka,Atlas, Data Analytics Studio, HBase, HDFS, Hive, Hive on Tez, Hue, Cloudera Management Service, Oozie, Ranger, Solr, Tez, YARN (MR2 Included), ZooKeeper 서비스에 대한 각 서버의 역할을 할당한다.
아래는 본 문서에서 할당한 역할들이다.
데이터베이스 설정
본 문서에서는 "내장된 데이터베이스 사용 "을 선택했다. 화면에 제시된대로 패스워드는 따로 저장해 둔다.
1) /etc/apt/sources.list.d/cloudera.manager 파일을 생성한 후 아래 내용을 입력한다.
내용 중 /myUsername:myPassword 부분은 본의의 https://www.cloudera.com/ 의 계정과 패스워드를 입력한다.
단, 주의할 점은 계정과 패스워드에 특수문자는 반드시 퍼센트 인코딩(percent encoding) 문자로 변경해야 한다.
예를 들면, 계정이름이 name@email.com 이라면 '@' 특수문자는 '%40' 으로 퍼센트 인코딩 문자로 변경해야 한다.
# Cloudera Manager 7.11.3
# Changeme: change username and password below to match your license
deb [arch=amd64] https://myUsername:myPassword@archive.cloudera.com/p/cm7/7.11.3/ubuntu2004/apt bionic-cm7.11.3 contrib
Import the repository signing GPG key (substitute the correct URL):
wget https://[username]:[password]@archive.cloudera.com/p/cm7/[**Cloudera Manager version**]/ubuntu2004/apt/archive.key
sudo apt-key add archive.key
- 위의 명령어에서 username, password, [**Cloudera Manager version**] 부분은 위와 동일하게 Cloudera URL의 계정과 패스워드 그리고 설치할 Cloudera Mnager 버전을 기입한다. 본 문서에서는 7.11.3 버전을 설치한다.
https://www.cloudera.com/downloads/cdp-private-cloud-trial/cdp-private-cloud-base-trial.html
-->
--
Ubuntu 20 Repository:
https://username:password@archive.cloudera.com/p/cm7/7.11.3/ubuntu2004/apt
Repository file:
https://username:password@archive.cloudera.com/p/cm7/7.11.3/ubuntu2004/apt/cloudera-manager.list