IT 공부정리

1. 맵리듀스의 개념 맵(Map)과 리듀스(Reduce)라는 두 가지 단계로 처리를 한다. 맵은 입력 파일을 한 줄씩 읽어서 데이터를 변형(transformation)한다. 리듀스는 맵의 결과 데이터를 집계(aggregation)한다. 2. 맵리듀스 모델의 처리 과정 맵은 한 줄에 있는 단어 개수를 계산해 한 줄씩 출력한다. 그 후 리듀스는 맵의 출력 데이터를 집계한다. 맵 : (k1, v1) → list(k2, v2) , 리듀스 : (k2, list(v2)) → (k3, list(v3)) 맵은 키(k1)와 값(v1)으로 구성된 데이터를 입력 받아 이를 가공하고 분류한 후, 새로운 키(k2)와 값(v2)으로 구성된 목록을 출력한다. → 여러 개의 데이터 생성 맵의 입력키는 각 줄 번호, 입력 값은 각 줄..

Hadoop 2023. 7. 29. 17:57

Paper : https://arxiv.org/abs/2004.10934 YOLOv4 : Optimal Speed and Accuracy of Object Detection 논문 리뷰입니다. 1. Introduction 대부분의 CNN 기반 Object detection기술은 컴퓨팅 파워가 높은 시스템에서만 사용할 수 있다. 예를 들어 빈 주차 공간은 찾는 모델은 느리고 정확도가 높지만 자동차 충돌을 경고하는 모델은 빠르고 부정확하다. 실제로 좋은 성능을 가진 모델은 실시간으로 돌아갈 수 없거나 멀티 GPU를 사용해야한다.저자는 컴퓨팅 파워가 높지 않은 환경에서도 1-GPU를 가지고 활용할 수 있도록 하는게 목표이다. YOLOv4를 사용하면 누구나 기존의 GPU를 가지고 figure1 결과를 얻을 수 있..

DeepLearning 2023. 3. 24. 13:03

코딩테스트 문제를 풀 때 시간 복잡도를 계산하여 수행 시간을 짐작하여 문제를 해결한다. 대학교 때 자료구조 시간 때 배운 시간복잡도와 공간 복잡도를 복습하여 정리하였다. 1. 시간 복잡도(Time Complexity) 및 공간 복잡도(Space Complexity) 정의 복잡도는 알고즘의 성능을 나타내는 척도이다. 시간 복잡도 : 알고리즘의 수행시간을 평가한다. 즉, 특정한 크기의 입력에 대하여 알고리즘이 얼마나 오래 걸리는지를 의미한다. 공간 복잡도 : 알고리즘 수행에 필요한 메모리 양을 평가한다. 특정한 크기의 입력에 대하여 알고리즘이 얼마나 많은 메모리를 차지하는지를 의미한다. 복잡도를 측정함으로써 시간 복잡도에서는 알고리즘을 의해 필요한 연산의 횟수를, 공간 복잡도에서는 메모리의 양을 계산할 수 ..

자료구조 2023. 1. 31. 11:19

제가 논문을 읽고 이해한대로 정리한 리뷰입니다. 제가 잘못 이해한 부분이 있으면 댓글 남겨주세요. 논문 : https://arxiv.org/pdf/2005.12872.pdf 이번에 리뷰할 DETR 모델은 Object Detection 분야에서 Transformer를 사용하여 좋은 성능을 보여주는 논문이다. Abstract 본 논문은 object detection을 direct set prediction problem을 해결하기 위한 새로운 방법을 제안한다. non-maximum suppression(NMS)와 anchor generation과 같은 방법을 사용하지 않으면서 detection pipeline을 간소화 시켰다. 제안된 모델은 DEtection TRansformer 또는 DETR로 불린다. 제..

DeepLearning 2023. 1. 15. 17:34

1 영상처리와 분석 1.1 영상처리와 영상분석의 차이점 영상처리 : 출력 영상을 얻기 위해 입력 영상을 다루는 알고리즘들을 다루는 연구하는 것이다. 영상분석 : 고수준의 정보를 추출하기 위해 영상을 다루는 알고리즘들을 연구하는 것이다. 다시 말해 영상처리 알고리즘은 다른 영상을 출력하며 저수준의 성격을 가지고 반면에 영상분석 알고리즘은 비 영상 형태를 출력하며 고수준의 성격을 가진다. 1.2 영상처리에서 중요한 3가지 주요 문제 1. 향상(enhancement) 시각적인 개선을 위해 영상을 다른 영상으로 변환하는 것을 포함한다. 예를 들어 원래 어두운 영상을 밝게 하는 것이나, 자세함을 높이기 위해 영상의 대비(contrast)를 증가시키는 것이다. 물체의 경계를 밝게 표시하거나 관찰자에게 다른 데이터 ..

영상처리 및 분석 2022. 8. 3. 13:41

합성곱 신경망(convolutional neural network, CNN)은 이미지 인식과 음성 인식 등 다양한 곳에서 사용되며, 특히 이미지 인식 분야에서 딥러닝을 활용한 기법은 거의 다 CNN을 기초로 한다. 1. 전체 구조 CNN에서는 합성곱 계층(convolutional layer)과 풀링 계층(pooling layer)이 새롭게 등장을 한다. 기존의 신경망은 그림 1과 같이 완전 연결 신경망은 Affime 계층 뒤에 활성화 함수(Relu or Sigmoid)를 갖는 구조이다. CNN 계층은 Conv-ReLU-(Pooling) 흐름으로 연결된다(풀링 계층은 생략하기도 한다). 2. 합성곱 계층 CNN에서는 패딩(padding), 스트라이드(stride) 등 CNN 고유의 용어가 등장한다. 각 계..

DeepLearning 2022. 3. 12. 00:17

1. HDFS 1.0 아키텍처 특징 HDFS는 블록 구조의 파일 시스템이며, HDFS에 저장하는 파일은 특정 크기의 블록으로 나눠져 분산된 서버에 저장이 된다. 블록 크기는 기본적으로 64MB이며, 크기는 하둡 환경설정 파일을 수정하여 변경할 수 있다. 여러 개의 블록은 동일한 서버에 저장되는 것이 아니라 여러 서버에 나눠서 저장되기 때문에 큰 규모의 데이터를 저장할 수 있다. 2. 디스크 블록 개념 물리적인 디스크는 블록 크기란 개념이 있다. 블록 크기는 한 번에 읽고 쓸 수 있는 데이터의 최대량이다. 보통 파일시스템의 블록의 크기는 KB이고, 디스크 블록의 크기는 기본적으로 512byte이다. 3. 블록의 크기가 왜 64MB나 되고, 일반적인 디스크 블록크기 보다 큰 이유는? 64MB, 128MB, ..

Hadoop 2022. 1. 6. 15:50

1. Storm 이란? Legacy 시스템이나 수집 단계에서부터 데이터가 끊이지 않고 매우 빠른 속도로 유입되는 스피드 데이터는 워낙 양도 많고 빠르게 발생하다 보니 대규모 병렬 처리를 이용해 실시간 데이터를 프로세싱(분리, 정제, 조합, 카운팅)할 수 있는 S/W가 필요해졌고 이를 해결하기 위해 개발된 것이 Storm이라고 할 수 있습니다. Storm 은 데이터를 적재하기도 전에 발생과 동시에 이벤트를 감지해서 처리하는 방식으로 실시간 데이터를 분산 처리합니다. 카프카의 컨슈머 역할을 하며, 대규모 스트림 데이터를 병렬처리를 하면서 영구저장소에 빠르게 적재를 함. 영구저장소에 데이터를 저장하기 전에 전처리,분석,집계도 해줌. 2. Storm 아키텍처 storm도 분산 Node로 구성이 되어 있고 Sup..

카테고리 없음 2021. 10. 19. 16:30