IT 공부정리

1. HDFS 1.0 아키텍처 특징 HDFS는 블록 구조의 파일 시스템이며, HDFS에 저장하는 파일은 특정 크기의 블록으로 나눠져 분산된 서버에 저장이 된다. 블록 크기는 기본적으로 64MB이며, 크기는 하둡 환경설정 파일을 수정하여 변경할 수 있다. 여러 개의 블록은 동일한 서버에 저장되는 것이 아니라 여러 서버에 나눠서 저장되기 때문에 큰 규모의 데이터를 저장할 수 있다. 2. 디스크 블록 개념 물리적인 디스크는 블록 크기란 개념이 있다. 블록 크기는 한 번에 읽고 쓸 수 있는 데이터의 최대량이다. 보통 파일시스템의 블록의 크기는 KB이고, 디스크 블록의 크기는 기본적으로 512byte이다. 3. 블록의 크기가 왜 64MB나 되고, 일반적인 디스크 블록크기 보다 큰 이유는? 64MB, 128MB, ..

Hadoop 2022. 1. 6. 15:50

Cloudera Manager를 통해 하둡을 설치를 했으니 간단한 하둡 명령어을 알아본다. Centos7 서버 /home/test/ 경로에 FTP를 이용하여 간단하게 테스트용인 Sample.txt 파일을 업로드한다. 1. HDFS 파일 저장 #Sample.txt 파일을 HDFS /tmp 경로에 저장을 하겠다. hdfs dfs -put Sample.txt /tmp #/tmp 조회하겠다. hdfs dfs -ls /tmp #Sample.txt안에 내용을 보겠다. hdfs dfs -cat /tmp/Sample.txt 2. HDFS에 저장한 파일 상태 확인 파일크기(%b), 파일 블록크기(%o), 복제 수(%r), 소유자명(%u), 파일명(%n) 정보를 보여준다. hdfs dfs -stat '%b %o %r %u..

Hadoop 2021. 9. 10. 17:57