5. 아파치 플럼과 카프카란?
빅데이터 수집 기술 소프트웨어에는 플럼과 카프카가 있습니다. 플럼과 카프카에 대해 알아보겠습니다. 1. 플럼(Apache Flume)이란? 플럼은 오픈소스 프로젝트로 개발된 로그 데이터를 수집하는 기술이다. 여러 서버에서 생산된 대용량 로그 데이터를 효과적으로 수집을 하여 HDFS에 데이터를 전송 및 적재를 한다. 구조가 단순하고 유연하여 다양한 유형의 스트리밍 데이터 플로우(Streaming Data Flow) 아키텍처를 구성할 수 있다. 많은 기업들에서 실제 서비스 로그 데이터 관리를 위해 사용하고 있다. 플럼의 구성요소는 아래와 같습니다. Source 다양한 원천 시스템의 데이터를 수집하기 위해 Avro, Thritf, JMS, Spool Dir, Kafka 등 여러 주요 컴포넌트를 제공하며, 수집..
Hadoop
2021. 9. 13. 13:43
