IT 공부정리

1. HDFS 1.0 아키텍처 특징 HDFS는 블록 구조의 파일 시스템이며, HDFS에 저장하는 파일은 특정 크기의 블록으로 나눠져 분산된 서버에 저장이 된다. 블록 크기는 기본적으로 64MB이며, 크기는 하둡 환경설정 파일을 수정하여 변경할 수 있다. 여러 개의 블록은 동일한 서버에 저장되는 것이 아니라 여러 서버에 나눠서 저장되기 때문에 큰 규모의 데이터를 저장할 수 있다. 2. 디스크 블록 개념 물리적인 디스크는 블록 크기란 개념이 있다. 블록 크기는 한 번에 읽고 쓸 수 있는 데이터의 최대량이다. 보통 파일시스템의 블록의 크기는 KB이고, 디스크 블록의 크기는 기본적으로 512byte이다. 3. 블록의 크기가 왜 64MB나 되고, 일반적인 디스크 블록크기 보다 큰 이유는? 64MB, 128MB, ..

Hadoop 2022. 1. 6. 15:50

빅데이터 적재 및 하둡에 대한 간단한 개념을 알아보겠습니다. 추후에 더 자세한 HDFS의 아키텍처 및 맵리듀스 아키텍처를 알아보겠습니다. 1. 빅데이터 적재란? 데이터를 수집을 해왔으면 어딘가에 저장을 해야한다. 적재는 일반적으로 RDB나 파일을 생각을 할 수 있는데 빅데이터에서는 볼륨이 크고 형태도 다양하기 때문에 RDB나 파일 중간이라고 생각을 한다. 빅데이터 적재는 일반적으로 대용량데이터 적재와 실시간성 데이터 적재로 볼 수 있다. 원천데이터에는 정형,반정형,비정형 데이터가 있다. 문제는 형태도 다양한데 배치 수집도 다르다. 적재 저장소 유형은 크게 2가지로 구분된다. 배치처리와 실시간 처리로 구분된다. 배치처리는 큰 데이터를 처리, 실시간처리는 작은 메세지를 처리 한다고 볼 수 있다. 유형마다 사..

Hadoop 2021. 9. 16. 11:08

Cloudera Manager를 통해 하둡을 설치를 했으니 간단한 하둡 명령어을 알아본다. Centos7 서버 /home/test/ 경로에 FTP를 이용하여 간단하게 테스트용인 Sample.txt 파일을 업로드한다. 1. HDFS 파일 저장 #Sample.txt 파일을 HDFS /tmp 경로에 저장을 하겠다. hdfs dfs -put Sample.txt /tmp #/tmp 조회하겠다. hdfs dfs -ls /tmp #Sample.txt안에 내용을 보겠다. hdfs dfs -cat /tmp/Sample.txt 2. HDFS에 저장한 파일 상태 확인 파일크기(%b), 파일 블록크기(%o), 복제 수(%r), 소유자명(%u), 파일명(%n) 정보를 보여준다. hdfs dfs -stat '%b %o %r %u..

Hadoop 2021. 9. 10. 17:57

1. Cloudera Manager(CM)란? Hadoop 및 Hadoop Eco System을 직접 설치할 수 있지만 Cluster상의 수많은 머신에 일일이 설치하고 환경 구성을 하려면 매우복잡한 일이 될 수 있기 때문에 이런 작업을 편하게 해주는 도구이다. ※CM 주요기능 프로비저닝 : 하둡 에코시스템을 편리하게 설치, 삭제, 수정 관리 매니저먼트 : 설치한 에코시스템의 설정 변경 및 최적화 지원 모니터링 : 하드웨어의 리소스 및 설치 컴포넌트의 상태 모니터링/대시보드 2. CM 설치 clouder-manager(2.4 단계)는 master 서버에서만 설치를 진행을 하고 그것을 제외한 모든 설정은 모든 서버에 진행을 한다. 2.1 yum updata를 진행을 한다. yum update -y 2.2 N..

Hadoop 2021. 9. 1. 17:31

※환경구성 virtualbox에 가상머신 3대를 설치하고 os : Centos7 , RAM : 8GB, HDD : 100GB, cpu core 수 : 4 로 설정했습니다. Cloudera Manager(CM)를 설치하기 전에 환경구성입니다. Centos 환경구성 3대의 가상머신 모두 설정한다. 1. Hostname 변경 명령어 : hostname ( 원하는 호스트이름) ex) hostname을 nn이라고 설정을 하겠다. hostname nn 2.Host 파일 수정 vi 편집기로 hosts파일에 들어가 가상머신 3대 ip,hostname 등록을 해준다. 명령어 : vi /etc/hosts 아래와 같이 추가를 한다. 3 .방화벽 설정 systemctl stop firewalld systemctl disabl..

Hadoop 2021. 8. 30. 10:49

1. 하둡이란? 대용량 데이터를 분산 처리할 수 있는 자바기반의 오픈소스 프레임워크이다. 하나의 대형 컴퓨터를 사용하여 데이터를 처리 및 저장하는 대신, 하둡을 사용하면 상용 하드웨어를 함께 클러스터링하여 대량의 데이터 세트를 병렬로 분석할 수 있다. 이는 분산저장(HDFS)기술과 분 산 처리기술(MapReduce)이 탁월하며, 한 번에 여러 디스크로부터 데이터를 읽을 수 있다. 즉, 하둡은 DFS(Hadoop Distributed File System)라는 데이터 저장소와 맵리듀스(MapReduce)라는 분석 시스템을 통해 분산 프로그래밍을 수행하는 프레임워크 인 것이다. 2. 하둡의 장점 정형 데이터의 경우 기존의 관계형 데이터베이스(RDBMS)에 저장할 수 있지만 웹로그 같 은 비정형 데이터를 RD..

Hadoop 2021. 8. 25. 14:12

1. 빅데이터 개념 빅데이터는 단순히 큰 데이터, 큰 정보로만 보지않음. 과거로부터 현재까지 쌓인 데이터를 분석해 현재를 이해, 데이터에서 만들어지는 다양한 패턴을 해석해 미래를 예측하기 시작, 조직의 중요한 의사결정에 빅데이터가 활용됨. 큰 데이터 집합에서 기술, 분석, 통찰력까지 총칭하는 용어로 사용함. ※빅데이터 정의 빅데이터는 통상적으로 사용되는 데이터 수집 및 관리, 처리와 관련된 소프트웨어의 수용 한계를 넘어서는 크기의 데이터를 말하며, 빅데이터의 규모는 단일 데이터 집합의 크기가 수십 테라바이트에서 수 페타바이트에 이르며, 그 크기가 끊임없이 변화하는 것이 특징이다. 일반적인 데이터베이스 소프트웨어로 저장,관리,분석할 수 있는 범위를 초과하는 규모의 데이터이다. 대용량 데이터를 활용,분석해서..

Hadoop 2021. 8. 25. 11:11