티스토리

IT 공부정리

검색하기

블로그 홈

IT 공부정리

kyeonminsu.tistory.com/m

견오수 님의 블로그입니다.

구독자: 0

방명록 방문하기

728x90

주요 글 목록

맵리듀스(MapReduce) 개념 정리 1. 맵리듀스의 개념 맵(Map)과 리듀스(Reduce)라는 두 가지 단계로 처리를 한다. 맵은 입력 파일을 한 줄씩 읽어서 데이터를 변형(transformation)한다. 리듀스는 맵의 결과 데이터를 집계(aggregation)한다. 2. 맵리듀스 모델의 처리 과정 맵은 한 줄에 있는 단어 개수를 계산해 한 줄씩 출력한다. 그 후 리듀스는 맵의 출력 데이터를 집계한다. 맵 : (k1, v1) → list(k2, v2) , 리듀스 : (k2, list(v2)) → (k3, list(v3)) 맵은 키(k1)와 값(v1)으로 구성된 데이터를 입력 받아 이를 가공하고 분류한 후, 새로운 키(k2)와 값(v2)으로 구성된 목록을 출력한다. → 여러 개의 데이터 생성 맵의 입력키는 각 줄 번호, 입력 값은 각 줄.. 공감수 0 댓글수 0 2023. 7. 29.
HDFS 아키텍처 특징 1. HDFS 1.0 아키텍처 특징 HDFS는 블록 구조의 파일 시스템이며, HDFS에 저장하는 파일은 특정 크기의 블록으로 나눠져 분산된 서버에 저장이 된다. 블록 크기는 기본적으로 64MB이며, 크기는 하둡 환경설정 파일을 수정하여 변경할 수 있다. 여러 개의 블록은 동일한 서버에 저장되는 것이 아니라 여러 서버에 나눠서 저장되기 때문에 큰 규모의 데이터를 저장할 수 있다. 2. 디스크 블록 개념 물리적인 디스크는 블록 크기란 개념이 있다. 블록 크기는 한 번에 읽고 쓸 수 있는 데이터의 최대량이다. 보통 파일시스템의 블록의 크기는 KB이고, 디스크 블록의 크기는 기본적으로 512byte이다. 3. 블록의 크기가 왜 64MB나 되고, 일반적인 디스크 블록크기 보다 큰 이유는? 64MB, 128MB, .. 공감수 2 댓글수 0 2022. 1. 6.
7. 빅데이터 실시간 적재 - HBase & Redis 1. 빅데이터 실시간 처리 빅데이터 출현으로 관계형 데이터베이스가 한계가 발생합니다. 이를 극복하기 위해 NoSQL 소프트웨어 중 하나인 HBase입니다. 관계형 데이터베이스는 ACID 원칙이 있습니다. ACID는 데이터의 유효성을 보장하기 위한, 트랜잭션의 특징들의 앞글자를 딴 단어입니다. Atomicity(원자성) 모든 작업이 반영되거나 모두 롤백되는 특성입니다. Consistency(일관성) 데이터는 미리 정의된 규칙에서만 수정이 가능한 특성을 의미합니다. 숫자컬럼에 문자열값을 저장이 안되도록 보장해줍니다. Isolation(고립성) A와 B 두개의 트랜젝션이 실행되고 있을 때, A의 작업들이 B에게 보여지는 정도를 의미합니다. Durability(영구성) 한번 반영(커밋)된 트랜젝션의 내용은 영원.. 공감수 0 댓글수 0 2021. 10. 18.
6. 빅데이터 적재 개요 빅데이터 적재 및 하둡에 대한 간단한 개념을 알아보겠습니다. 추후에 더 자세한 HDFS의 아키텍처 및 맵리듀스 아키텍처를 알아보겠습니다. 1. 빅데이터 적재란? 데이터를 수집을 해왔으면 어딘가에 저장을 해야한다. 적재는 일반적으로 RDB나 파일을 생각을 할 수 있는데 빅데이터에서는 볼륨이 크고 형태도 다양하기 때문에 RDB나 파일 중간이라고 생각을 한다. 빅데이터 적재는 일반적으로 대용량데이터 적재와 실시간성 데이터 적재로 볼 수 있다. 원천데이터에는 정형,반정형,비정형 데이터가 있다. 문제는 형태도 다양한데 배치 수집도 다르다. 적재 저장소 유형은 크게 2가지로 구분된다. 배치처리와 실시간 처리로 구분된다. 배치처리는 큰 데이터를 처리, 실시간처리는 작은 메세지를 처리 한다고 볼 수 있다. 유형마다 사.. 공감수 0 댓글수 0 2021. 9. 16.
5. 아파치 플럼과 카프카란? 빅데이터 수집 기술 소프트웨어에는 플럼과 카프카가 있습니다. 플럼과 카프카에 대해 알아보겠습니다. 1. 플럼(Apache Flume)이란? 플럼은 오픈소스 프로젝트로 개발된 로그 데이터를 수집하는 기술이다. 여러 서버에서 생산된 대용량 로그 데이터를 효과적으로 수집을 하여 HDFS에 데이터를 전송 및 적재를 한다. 구조가 단순하고 유연하여 다양한 유형의 스트리밍 데이터 플로우(Streaming Data Flow) 아키텍처를 구성할 수 있다. 많은 기업들에서 실제 서비스 로그 데이터 관리를 위해 사용하고 있다. 플럼의 구성요소는 아래와 같습니다. Source 다양한 원천 시스템의 데이터를 수집하기 위해 Avro, Thritf, JMS, Spool Dir, Kafka 등 여러 주요 컴포넌트를 제공하며, 수집.. 공감수 1 댓글수 1 2021. 9. 13.
4. 빅데이터 수집 개요 빅데이터 프로젝트는 크게 수집, 적재, 처리/탐색, 분석.응용으로 크게 4단계로 구성이 되어있다. 첫 번째인 수집 단계입니다. 빅데이터는 크게 내부 데이터와 외부 데이터로 나누어진다. ※내부 데이터 빅데이터 시대 이전에는 주로 내부 데이터를 주로 활용하였다. 특징은 정형 데이터이며, RDBMS에서 주로 사용하였다. 종류에는 기업의 조직에 담긴 데이터 즉, 고객정보, 거래정보, 상품/서비스 정보 등이 있다. ※외부 데이터 특징은 비정형 데이터이며, 스키마가 없는 구조이다. 비정형은 크게 반정형 데이터(CSV 형태), 완전형 비정형 데이터(SNS, 포털 블로그)로 되어있다. 수집 대상을 선정을 하고 수집 계획을 수립을 후 수집 실행을 한다. 수집 정의서/계획서 기반으로 개발을 진행을 하기 때문에 매우 중요하.. 공감수 1 댓글수 0 2021. 9. 13.
3.하둡 간단한 명령어 실습 Cloudera Manager를 통해 하둡을 설치를 했으니 간단한 하둡 명령어을 알아본다. Centos7 서버 /home/test/ 경로에 FTP를 이용하여 간단하게 테스트용인 Sample.txt 파일을 업로드한다. 1. HDFS 파일 저장 #Sample.txt 파일을 HDFS /tmp 경로에 저장을 하겠다. hdfs dfs -put Sample.txt /tmp #/tmp 조회하겠다. hdfs dfs -ls /tmp #Sample.txt안에 내용을 보겠다. hdfs dfs -cat /tmp/Sample.txt 2. HDFS에 저장한 파일 상태 확인 파일크기(%b), 파일 블록크기(%o), 복제 수(%r), 소유자명(%u), 파일명(%n) 정보를 보여준다. hdfs dfs -stat '%b %o %r %u.. 공감수 0 댓글수 0 2021. 9. 10.
2. Cloudera Manager (CM) 설치 1. Cloudera Manager(CM)란? Hadoop 및 Hadoop Eco System을 직접 설치할 수 있지만 Cluster상의 수많은 머신에 일일이 설치하고 환경 구성을 하려면 매우복잡한 일이 될 수 있기 때문에 이런 작업을 편하게 해주는 도구이다. ※CM 주요기능 프로비저닝 : 하둡 에코시스템을 편리하게 설치, 삭제, 수정 관리 매니저먼트 : 설치한 에코시스템의 설정 변경 및 최적화 지원 모니터링 : 하드웨어의 리소스 및 설치 컴포넌트의 상태 모니터링/대시보드 2. CM 설치 clouder-manager(2.4 단계)는 master 서버에서만 설치를 진행을 하고 그것을 제외한 모든 설정은 모든 서버에 진행을 한다. 2.1 yum updata를 진행을 한다. yum update -y 2.2 N.. 공감수 0 댓글수 1 2021. 9. 1.
1. Centos 환경 구성 ※환경구성 virtualbox에 가상머신 3대를 설치하고 os : Centos7 , RAM : 8GB, HDD : 100GB, cpu core 수 : 4 로 설정했습니다. Cloudera Manager(CM)를 설치하기 전에 환경구성입니다. Centos 환경구성 3대의 가상머신 모두 설정한다. 1. Hostname 변경 명령어 : hostname ( 원하는 호스트이름) ex) hostname을 nn이라고 설정을 하겠다. hostname nn 2.Host 파일 수정 vi 편집기로 hosts파일에 들어가 가상머신 3대 ip,hostname 등록을 해준다. 명령어 : vi /etc/hosts 아래와 같이 추가를 한다. 3 .방화벽 설정 systemctl stop firewalld systemctl disabl.. 공감수 0 댓글수 1 2021. 8. 30.
하둡이란? 1. 하둡이란? 대용량 데이터를 분산 처리할 수 있는 자바기반의 오픈소스 프레임워크이다. 하나의 대형 컴퓨터를 사용하여 데이터를 처리 및 저장하는 대신, 하둡을 사용하면 상용 하드웨어를 함께 클러스터링하여 대량의 데이터 세트를 병렬로 분석할 수 있다. 이는 분산저장(HDFS)기술과 분 산 처리기술(MapReduce)이 탁월하며, 한 번에 여러 디스크로부터 데이터를 읽을 수 있다. 즉, 하둡은 DFS(Hadoop Distributed File System)라는 데이터 저장소와 맵리듀스(MapReduce)라는 분석 시스템을 통해 분산 프로그래밍을 수행하는 프레임워크 인 것이다. 2. 하둡의 장점 정형 데이터의 경우 기존의 관계형 데이터베이스(RDBMS)에 저장할 수 있지만 웹로그 같 은 비정형 데이터를 RD.. 공감수 0 댓글수 1 2021. 8. 25.
빅데이터란? 1. 빅데이터 개념 빅데이터는 단순히 큰 데이터, 큰 정보로만 보지않음. 과거로부터 현재까지 쌓인 데이터를 분석해 현재를 이해, 데이터에서 만들어지는 다양한 패턴을 해석해 미래를 예측하기 시작, 조직의 중요한 의사결정에 빅데이터가 활용됨. 큰 데이터 집합에서 기술, 분석, 통찰력까지 총칭하는 용어로 사용함. ※빅데이터 정의 빅데이터는 통상적으로 사용되는 데이터 수집 및 관리, 처리와 관련된 소프트웨어의 수용 한계를 넘어서는 크기의 데이터를 말하며, 빅데이터의 규모는 단일 데이터 집합의 크기가 수십 테라바이트에서 수 페타바이트에 이르며, 그 크기가 끊임없이 변화하는 것이 특징이다. 일반적인 데이터베이스 소프트웨어로 저장,관리,분석할 수 있는 범위를 초과하는 규모의 데이터이다. 대용량 데이터를 활용,분석해서.. 공감수 0 댓글수 2 2021. 8. 25.

728x90

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.