2. Cloudera Manager (CM) 설치
1. Cloudera Manager(CM)란?
Hadoop 및 Hadoop Eco System을 직접 설치할 수 있지만 Cluster상의 수많은 머신에 일일이 설치하고 환경 구성을 하려면 매우복잡한 일이 될 수 있기 때문에 이런 작업을 편하게 해주는 도구이다.
※CM 주요기능
프로비저닝 : 하둡 에코시스템을 편리하게 설치, 삭제, 수정 관리
매니저먼트 : 설치한 에코시스템의 설정 변경 및 최적화 지원
모니터링 : 하드웨어의 리소스 및 설치 컴포넌트의 상태 모니터링/대시보드
2. CM 설치
clouder-manager(2.4 단계)는 master 서버에서만 설치를 진행을 하고 그것을 제외한 모든 설정은 모든 서버에 진행을 한다.
2.1 yum updata를 진행을 한다.
yum update -y2.2 NTP 설치를 한다.
yum install ntp
sudo systemctl start ntpd
sudo systemctl status ntpd2.3 java 설치를 진행을 한다.
Centos7은 기본적으로 openJDK가 설치되어 있다. Oracle JDK로 설치를 하는 것이 좋다.
아래와 사이트를 보고 Oracle JDK를 설치를 진행함.
https://copycoding.tistory.com/290
2.4 cloudera-manager 저장소 추가한다.
2021년 2월 1일부터 Cloudera Manager의 모든 다운로드에는 사용자 이름과 암호가 필요합니다.
cloudera사이트(https://www.cloudera.com/downloads/cdp-private-cloud-trial.html ) 접속해서 회원가입을 한 후 Trial 버전을 선택을 한 후 서버에서 아래와 같은 명령어를 입력한다.
- wget https://archive.cloudera.com/cm7/7.4.4/cloudera-manager-installer.bin
- chmod u+x cloudera-manager-installer.bin
- sudo ./cloudera-manager-installer.bin
라이센스 확인 후 설치가 진행이 된다.
설치 후 Your browser should now open to http://localhost:7180/. Log in to Cloudera Manager with username: 'admin' and password: 'admin' to continue installation. 문구가 나온다.
cloudera-manager가 서버사양에 따라 구동되는 시간이 다르기에 아래와 같은 명령어로 확인을 한다.
service cloudera-scm-server-db status
sudo service cloudera-scm-server status
설치 로그 확인 :
tail -100f /var/log/cloudera-manager-installer/3.install-cloudera-manager-server.log
cloudera-scm-server 명령어
※참고 start 명령어 : sudo service cloudera-scm-server start
※참고 stop 명령어 : sudo service cloudera-scm-server stop
※참고 status 명령어 : sudo service cloudera-scm-server status
2.5 CDH 패키지 설치
yum install cloudera-manager-daemons cloudera-manager-agent
service cloudera-scm-agent status
service cloudera-scm-agent start
위와 같은 명령어로 서비스가 정상적으로 가동중인지 확인을 한다.
2.6 CLOUDERA Web 접속
http://(ip or hostname)7180로 접속을 한다.
ex) http://nn:7180
ID , 패스워드 둘다 admin이다.
로그인을 하면 라이센스 여부를 물어보는 페이지가 나옵니다. 저는 60일 평가판으로 진행을 하겠습니다.
클러스터 이름은 Cluster1 이라고 설정한다.
새 호스트 선택하고 설치한 머신 ip,호스트이름 검색하기를 누른 후 계속을 누른다.
기본설정으로 진행을 한다.
저는 이미 OpenJDK 설치가 되어있어서 Manually manage JDK를 선택한다.
사용자 계정을 선택하고 계정 비밀번호를 입력을 한다.
설치 준비 완료가 되었다.
설치가 완료가 되고 I understand the risks of not running the inspections or the detected issues, let me continue with cluster setup을 체크를 한다.
사용자지정 서비스를 체크를 후 서비스를 선택을 한다. 저는 HDFS,YARN,Zookeeper를 선택했습니다.
HDFS 호스트 설정
- NameNode : Master Server로 설정할 호스트네임을 선택한다.
- SecondaryNameNode : Master Server로 설정할 호스트네임을 선택한다.
- Balancer : Master Server로 설정할 호스트네임을 선택한다.
- HttpFS : 미설치
- NFS Gateway : 미설치
- DataNode : DataNode 서버로 설정할 호스트네임을 선택한다.
Cloudera Management Service 호스트 설정
- Service Monitor : DataNode2 Server 선택
- Active Monitor : 미설치
- Host Monitor : DataNode2 Server 선택
- Report Manager : DataNode2 Server 선택
- Event Server : DataNode2 Server 선택
- Alert Publisher : DataNode2 Server 선택
- Telemetry Publisher : 미설치
YARN (MR2 Included)
- ResourceManager : Master Server
- JobHistory Server : Master Server
- NodeManager : Same as DataNode 선택
Zookeeper 설정
- Server : DataNode1 선택
데이터베이스 테스트연결을 선택을 하면 Successful이 뜬다.
하둡 설정을 설정할 수 있는 단계이다. 기본설정으로 한 후 설치를 진행을 한다.
설치가 완료된 화면이다.
2.7 HDFS 복제 계수 설정
현재 가상머신은 사양은 좋지않아서 HDFS 복제 계수를 3에서 2로 낮춘다.
검색창에 복제 계수라고 검색을 하면 설정을 바꿀 수 있는 화면이 나온다.
2.8 HDFS 권한 검사 해제
좀 더 제약 없이 자유롭게 사용하기 위해 권한 검사를 해제를 한다
검색창에 HDFS 권한 검사라고 검색을 하면 설정을 바꿀 수 있는 화면이 나온다.
2.9 HDFS 블록크기 변경
128MB -> 64MB로 변경을 한다.
2.10 YARN 메모리 변경
YARN 메모리를 변경을 할 수 있다.
yarn.scheduler.max 검색 후 설정변경을 한다.
yarn.nodemanager.resource.memory-mb 검색 후 설정변경을 한다.
Scheduler 클래스 검색 후 FifoScheduler로 설정 변경(저사양에서 실행할 경우 변경하면 좋다.)
설정을 변경 한 후 메인홈페이지로 돌아오면 변경사항을 배포를 해야한다. 파란색 배포버튼을 클릭 후 진행 후 배포가 완료된다.
출처 : https://docs.cloudera.com/documentation/enterprise/latest/topics/configure_network_names.html
https://www.youtube.com/watch?v=EBPrZb41-AU
https://wooyoung85.tistory.com/47
https://theserverside.tistory.com/m/652?category=845433
https://docs.cloudera.com/documentation/enterprise/latest/topics/installation.html
https://alphaoragroup.com/2021/05/21/setup-java-1-8-on-cloudera-manager-7/
실무로 배우는 빅데이터 기술 데이터 수집, 적재, 처리, 분석, 머신러닝까지(2판)