IT 공부정리

데이터 분석에서 자주 사용되는 앙상블 모델 및 분석에 대해 알아보겠습니다. 주어진 데이터를 이용해 여러개의 서로 예측모형을 생성한 후 예측 모형의 예측결과를 종합하여 하나의 최종 예측결과를 도출해내는 방법이다. 목표변수의 형태에 따라 분류분석, 회귀분석에 사용할 수 있지만 분류분석에 많이 쓰인다. 분류일 때는 가장 많이 선택된 클래스를 반환하고 회귀는 평균을 구해서 반환한다. 앙상블 기법은 가능하면 예측기가 서로 독립적으로 사용할 때 최고의 성능을 발휘한다. 예를 들어 의사결정나무, SVM분류기, 로지스틱 회귀 등 각 분류기에서 나온 클래스 중 가장많이 예측된 클래스를 반환해준다. 4개의 분류기중 3개가 1번 클래스를 예측하고 있다. 다수결로 결정하고 결과를 반환한다. 다수결 투표기는 개별 분류기 중 가..

MachineLearning 2021. 9. 17. 11:40

code : https://github.com/kyeonminsu/R-Study/tree/main/1.%EA%B8%B0%EB%B3%B8%20%EB%AC%B8%EB%B2%95 1. 자료구조 자료형(Data Type)은 저장된 데이터의 성격(숫자형, 문자형, 논리형)을 의미한다. 이에 비해 자료구조(Data Structure)는 변수에 저장된 데이터의 메모리 구조(배열, 리스트, 테이블)를 의미한다. 이런 메모리 구조는 객체가 생성될 때 만들어지기 때문에 자료구조를 객체형(Object Type)이라 한다. 데이터타입은 앞에서 배웠듯이 mode()함수를 이용하여 데이터의 자료형을 확인할 수 있으며, class()함수를 이용하여 자료구조, 즉 메모리 구조를 확인할 수 있다. R의 주요 자료구조 Vector : ..

R 2021. 9. 16. 14:27

code : https://github.com/kyeonminsu/R-Study/tree/main/1.%EA%B8%B0%EB%B3%B8%20%EB%AC%B8%EB%B2%95 1. 변수만들기 변수를 만들 때는 왼쪽을 향한 기호 를 사용한다. 여러 값으로 구성된 변수는 c()함수와 seq()함수로 만들 수 있다. 따옴표(“)를 사용하여 문자로 된 변수도 만들 수 있다. 2. Data Type 기본 데이터 타입 수치형(Numeric) : 숫자로 되어 있으며, 정수형과 실수형을 의미한다. L 기호를 이용하면 정수형, 그렇지않으면 실수형으로 간주한다. 문자형(character) : 하나의 문자 혹은 문자열로 되어 있으며 " " 혹은 ' '을 사용한다. 논리형(logical) : 참과 거짓의 논리값으로 TRUE(T..

R 2021. 9. 16. 13:57

빅데이터 적재 및 하둡에 대한 간단한 개념을 알아보겠습니다. 추후에 더 자세한 HDFS의 아키텍처 및 맵리듀스 아키텍처를 알아보겠습니다. 1. 빅데이터 적재란? 데이터를 수집을 해왔으면 어딘가에 저장을 해야한다. 적재는 일반적으로 RDB나 파일을 생각을 할 수 있는데 빅데이터에서는 볼륨이 크고 형태도 다양하기 때문에 RDB나 파일 중간이라고 생각을 한다. 빅데이터 적재는 일반적으로 대용량데이터 적재와 실시간성 데이터 적재로 볼 수 있다. 원천데이터에는 정형,반정형,비정형 데이터가 있다. 문제는 형태도 다양한데 배치 수집도 다르다. 적재 저장소 유형은 크게 2가지로 구분된다. 배치처리와 실시간 처리로 구분된다. 배치처리는 큰 데이터를 처리, 실시간처리는 작은 메세지를 처리 한다고 볼 수 있다. 유형마다 사..

Hadoop 2021. 9. 16. 11:08

Yolo v5 모델을 학습을 시켜 마스크 쓴 사람 안 쓴 사람을 검출을 해보겠습니다. 학습은 google colab에서 진행을 했고, 데이터셋은 roboflow에서 마스크 데이터셋을 이용했습니다. 1. 마스크 데이터셋 다운로드 https://public.roboflow.com/object-detection/mask-wearing 로 접속을 한다. 로그인을 한 후 진행을 한다. 416x416-black-padding을 선택을 한다. 416 X 416 해상도 데이터 세트의 경우, 원본 이미지의 해상도가 다르다고 하더라도 패딩(padding)을 채워 넣어 416 X 416 해상도를 맞춘 것을 의미한다. 149개의 이미지로 구성이 되어있고 가볍게 테스트하기 좋다. 오른쪽 상단의 Download버튼을 클릭 후 F..

영상처리 및 분석 2021. 9. 16. 08:20

R소개 및 Rstudio 설치를 진행해보겠습니다. 1. R이란? 데이터의 처리, 통계, 계산 및 분석, 그래픽스를 위한 프로그래밍 언어이다. 데이터 입출력, 데이터 차리, 데이터 분석, 그래프 작성 등을 위한 수많은 알고리즘 및 방법론을 제공한다. R의 모태는 – S 언어(AT&T Bell 랩의 John Chambers 등이 개발)이다. R은 기본(코어) 패키지와(코어) 99천 개 이상의 추가 패키지들로 구성됨. 2. 왜 R을 사용해야 하는가?? 무료 오픈소스 오픈소스로서 무료이다 보니 원하는 사람, 기관, 기업이면 가져다가 바로 사용할 수 있다. 특히, 요즘 우리나라처럼 장기불황의 그림자에 짓눌려 기업에서 ITIT 예산이 긴축 일변도인 상황에서는 무료라는 점이 그 어느 때보다도 큰 매력으로 다가올 것 ..

R 2021. 9. 15. 17:48

빅데이터 수집 기술 소프트웨어에는 플럼과 카프카가 있습니다. 플럼과 카프카에 대해 알아보겠습니다. 1. 플럼(Apache Flume)이란? 플럼은 오픈소스 프로젝트로 개발된 로그 데이터를 수집하는 기술이다. 여러 서버에서 생산된 대용량 로그 데이터를 효과적으로 수집을 하여 HDFS에 데이터를 전송 및 적재를 한다. 구조가 단순하고 유연하여 다양한 유형의 스트리밍 데이터 플로우(Streaming Data Flow) 아키텍처를 구성할 수 있다. 많은 기업들에서 실제 서비스 로그 데이터 관리를 위해 사용하고 있다. 플럼의 구성요소는 아래와 같습니다. Source 다양한 원천 시스템의 데이터를 수집하기 위해 Avro, Thritf, JMS, Spool Dir, Kafka 등 여러 주요 컴포넌트를 제공하며, 수집..

Hadoop 2021. 9. 13. 13:43

빅데이터 프로젝트는 크게 수집, 적재, 처리/탐색, 분석.응용으로 크게 4단계로 구성이 되어있다. 첫 번째인 수집 단계입니다. 빅데이터는 크게 내부 데이터와 외부 데이터로 나누어진다. ※내부 데이터 빅데이터 시대 이전에는 주로 내부 데이터를 주로 활용하였다. 특징은 정형 데이터이며, RDBMS에서 주로 사용하였다. 종류에는 기업의 조직에 담긴 데이터 즉, 고객정보, 거래정보, 상품/서비스 정보 등이 있다. ※외부 데이터 특징은 비정형 데이터이며, 스키마가 없는 구조이다. 비정형은 크게 반정형 데이터(CSV 형태), 완전형 비정형 데이터(SNS, 포털 블로그)로 되어있다. 수집 대상을 선정을 하고 수집 계획을 수립을 후 수집 실행을 한다. 수집 정의서/계획서 기반으로 개발을 진행을 하기 때문에 매우 중요하..

Hadoop 2021. 9. 13. 11:16