IT 공부정리

1. 빅데이터 실시간 처리 빅데이터 출현으로 관계형 데이터베이스가 한계가 발생합니다. 이를 극복하기 위해 NoSQL 소프트웨어 중 하나인 HBase입니다. 관계형 데이터베이스는 ACID 원칙이 있습니다. ACID는 데이터의 유효성을 보장하기 위한, 트랜잭션의 특징들의 앞글자를 딴 단어입니다. Atomicity(원자성) 모든 작업이 반영되거나 모두 롤백되는 특성입니다. Consistency(일관성) 데이터는 미리 정의된 규칙에서만 수정이 가능한 특성을 의미합니다. 숫자컬럼에 문자열값을 저장이 안되도록 보장해줍니다. Isolation(고립성) A와 B 두개의 트랜젝션이 실행되고 있을 때, A의 작업들이 B에게 보여지는 정도를 의미합니다. Durability(영구성) 한번 반영(커밋)된 트랜젝션의 내용은 영원..

Hadoop 2021. 10. 18. 13:36

1. 정렬이란? 정렬(sorting)은 물건을 크기순으로 오름차순(ascending order)이나 내림차순(descending order)으로 나열하는 것을 의미한다. 정렬은 컴퓨터 공학에서 가장 기본적이고 중요한 알고리즘 중의 하나로 일상생활에서 많이 사용된다. 정렬은 자료 탐색에 있어서 필수적이다. 예를 들어 사전에서 우리가 단어를 쉽게 찾을 수 있는 것은 사전안의 단어들이 알파벳 순으로 정렬되어 있기 때문이다. 만약 사전이 알파벳 순으로 정렬되어 있지 않다면 특정 단어를 찾는 것은 거의 불가능할 것이다. 이는 컴퓨터도 마찬가지이며, 정렬되어 있지 않은 자료가 주어지면 탐색의 효율성이 크게 떨어진다. 지금까지 개발된 정렬 알고리즘은 매우 많지만 모든 경우에 있어서 최상의 성능을 보여주는 최적의 알고..

자료구조 2021. 10. 17. 20:47

1. 아나콘다 환경세팅 2. 데이터셋 다운로드 후 dataset폴더생성 https://deepai.org/dataset/wider-face 3. run > python ./anno_store/tool/format/transform.py change .mat(wider_face_train.mat) into .txt(anno_train.txt) 아래 경로 확인하기 path_to_image file_to_label target_file 4. P-Net 학습시키기 prefix = '' anno_file = "./anno_store/anno_train.txt" im_dir = "./data_set/face_detection/WIDERFACE/WIDER_train/WIDER_train/images" pos_save..

영상처리 및 분석 2021. 10. 3. 11:06

딥러닝을 공부하기 앞서 hand-crafted features와 End to end 차이점을 알면 좋을 것 같다. 일단 머신러닝과 딥러닝의 차이점을 알아야한다. 인공지능(Artificial Intelligent, AI)은 인간이 지닌 지적 능력의 일부 또는 전체를 인공적으로 구현한다는 의미로 가장 큰 개념이다. 머신러닝(Machine Learning)은 인공 지능의 한 분야로써 컴퓨터가 학습할 수 있도록 알고리즘을 개발하는 분야를 말한다. 딥러닝(Deep Learning)은 머신러닝을 위한 하나의 기술적모델에 불과할 뿐이다. 머신러닝 전문가에 의해 고안된 아이디어를 바탕으로 직접 설계된 수제 특징(hand-crafted features) 등을 추출하고, 이들 특징을 기반으로 학습하여 문제를 해결하는 방식..

DeepLearning 2021. 10. 1. 16:14

1. PermissionError: [Errno 13] Permission denied 리눅스 chmod +x 등으로 실제 파일 권한을 변경해줄 수 있지만, windows에서는 Windows 등에서 오류가 나는 이유의 대다수는 경로 문제 및 파일 확장자 문제이다. \\,/ 확인해야한다. 2. UnicodeDecodeError: 'cp949' codec can't decode byte 0xf0 in position 9: illegal multibyte sequence cp949 코덱으로 인코딩 된 파일을 읽어들일때 발생 -> open('파일경로.txt', 'rt', encoding='UTF8') 3. OSError: [Errno 22] Invalid argument: 파일 저장할 때 경로 혹은 파일의 이름..

Python 2021. 9. 18. 00:44

code : https://github.com/kyeonminsu/R-Study/tree/main/2.기본함수 R 기본 함수 정리 1에 이어서 2입니다. 1. dplyr dplyr package는 기존의 plyr package의 성능과 기능을 개선한 package이다. plyr package는 R 언어로 구현되었기 때문에 속도가 느렸으나 dplyr package는 C++로 개발되어서 속도가 빠른 장점이 있다. 또한 data frame을 제어하는데 특화된 함수를 제공함으로 정형화된 데이터를 처리하는데 적합하며 %>% 기호를 이용하여 함수들을 나열하는 방식(chaining)으로 코드를 작성할 수 있다. tbl_df() : 데이터 셋에서 console창의 크기만큼 데이터 셋을 추출하는 기능 rename() :..

R 2021. 9. 17. 14:17

R에서 알면 좋은 기본적인 함수를 정리해보겠습니다. 순서대로 따라 하면 좋을 것 같습니다. code : https://github.com/kyeonminsu/R-Study/tree/main/2.기본함수 1. 데이터 조작 데이터 분석업무에서는 데이터 모델링이나 시각화에 적합한 데이터를 얻기 위해 복잡한 과정을 거치게 된다. 분석 프로젝트에서 절반 이상의 시간을 데이터 구축과 변환과 조작, 필터링과 전처리 작업에 할당한다. 사용하는 데이터 셋은 ggplot2 package의 mpg data set, hflights package의 hflights data set을 사용한다. mpg : 1999년에서 20082008년까지 인기 차종 38개에 대한 연비 데이터.. hflights : 2011년도 미국 휴스턴에서..

R 2021. 9. 17. 14:07

머신러닝에서 지도 학습(Supervised분류 분석(Classification)을 알아보겠습니다. 1. 분류분석이란? 미리 정의된 그룹으로 데이터를 분류를 한다. 클러스터링과 유사하지만 분류 분석은 각 그룹이 정의되어있다. 주어진 입력 변수에 근거하여 범주형 목표 변수를 예측하는 작업이다. 2. 지도학습지도 학습(Supervised Learning) 지도 학습은 목표 변수(정답)가 존재한다. 데이터에 각각 정답이 있다고 생각하면 된다. ex) 개 이미지에 개라고 알려주고, 고양이 이미지에 고양이라고 알려준다. 분류 : 목표 변수가 범주형이다. 추정/예측 : 목표 변수가 연속형이다. 3. 비지도학습비지도 학습(UnSupervised Learning) 목표 변수가 없이 데이터 내부의 특성을 이용한다. 군집분..

MachineLearning 2021. 9. 17. 13:31