3.하둡 간단한 명령어 실습

Cloudera Manager를 통해 하둡을 설치를 했으니 간단한 하둡 명령어을 알아본다.

Centos7 서버 /home/test/ 경로에  FTP를 이용하여 간단하게 테스트용인 Sample.txt 파일을 업로드한다.

 

1. HDFS 파일 저장

 

#Sample.txt 파일을 HDFS /tmp 경로에 저장을 하겠다.
hdfs dfs -put Sample.txt /tmp
#/tmp 조회하겠다.
hdfs dfs -ls /tmp
#Sample.txt안에 내용을 보겠다.
hdfs dfs -cat /tmp/Sample.txt

 

2. HDFS에 저장한 파일 상태 확인

 

파일크기(%b), 파일 블록크기(%o), 복제 수(%r), 소유자명(%u), 파일명(%n) 정보를 보여준다.

hdfs dfs -stat '%b %o %r %u %n' /tmp/Sample.txt

 

3. HDFS에 저장한 파일 이름 바꾸기

 

#/tmp/Sample.txt를 /tmp/Sample2.txt로 변경을 한다.
hdfs dfs -mv /tmp/Sample.txt /tmp/Sample2.txt
#조회한다
hdfs dfs -ls /tmp

 

4. HDFS의 파일 시스템 상태 검사

 

전체 크기, 디렉터리 수, 파일 수, 노드 수 등 파일 시스템의 전체 상태를 체크한다.

hdfs fsck /

Missing blocks, Corrupt blocks, Missing replicas 부분을 유심히 봐야한다.      

 

hdfs dfsadmin -report

하둡 파일시스템의 기본 정보 및 통계를 보여준다.

 

하둡을 운영하다가 많이 사용하는 명령어이다.

 

5. HDFS에 저장된 파일을 로컬 파일 시스템으로 가져오기

 

hdfs dfs -get /tmp/Sample2.txt

 

6. HDFS의 저장한 파일 삭제(휴지통)

 

hdfs dfs -rm /tmp/Sample2.txt

휴지통으로 이동이다.

 

7. HDFS 파일의 비정상 상태

 

HDFS 점검 명령을 실행할 때 하둡의 파일시스템에 문제가 발생할 경우 CORRUPT FILES, MISSING, BLOCKS, MISSING SIZE, CORRUPUT BLOCKS 등의 항목에 숫자가 표시된다. 이 같은 상태가 지속되면 하둡은 물론 HBase, 하이브 등에 부분적인 장애가 발생할 수 있다. 특히 강제 셧다운이 빈번하고 리소스가 부족한 테스트 환경에서 자주 발생할 수 있는 현상이다. 원래 HDFS는 비정상적인 파일 블록을 발견할 경우 다른 노드에 복구하려고 시도하며, 다음과 같이 사용자가 직접 삭제/이동 명령으로 조치할 수 있다.

 

안전모드 상태로 전환됐다면 강제로 안전모드를 해제한다.

hdfs dfsadmin -safemode leave

손상된 파일을 강제로 삭제한다.

hdfs fsck /-delete

손상된 파일을 /lost+found 디렉터리로 옮긴다.

hdfs fsck / -move

 

8.  주키퍼 명령어 사용

 

#zookeeper shell 모드로 진입
zookeeper-client

#test라는 Z노드 생성
create /test

#조회
ls /

#test라는 Z노드 삭제
delete /test

 

 

 

 

출처 : 실무로 배우는 빅데이터 기술  데이터 수집, 적재, 처리, 분석, 머신러닝까지 책을 보고 공부한 내용을 정리함.