8. 빅데이터 실시간 적재 - Storm & Esper
1. Storm 이란? Legacy 시스템이나 수집 단계에서부터 데이터가 끊이지 않고 매우 빠른 속도로 유입되는 스피드 데이터는 워낙 양도 많고 빠르게 발생하다 보니 대규모 병렬 처리를 이용해 실시간 데이터를 프로세싱(분리, 정제, 조합, 카운팅)할 수 있는 S/W가 필요해졌고 이를 해결하기 위해 개발된 것이 Storm이라고 할 수 있습니다. Storm 은 데이터를 적재하기도 전에 발생과 동시에 이벤트를 감지해서 처리하는 방식으로 실시간 데이터를 분산 처리합니다. 카프카의 컨슈머 역할을 하며, 대규모 스트림 데이터를 병렬처리를 하면서 영구저장소에 빠르게 적재를 함. 영구저장소에 데이터를 저장하기 전에 전처리,분석,집계도 해줌. 2. Storm 아키텍처 storm도 분산 Node로 구성이 되어 있고 Sup..
카테고리 없음
2021. 10. 19. 16:30
