1. 영상처리 및 분석이란?

1 영상처리와 분석

 

1.1 영상처리와 영상분석의 차이점

 

• 영상처리 : 출력 영상을 얻기 위해 입력 영상을 다루는 알고리즘들을 다루는 연구하는 것이다.
• 영상분석 : 고수준의 정보를 추출하기 위해 영상을 다루는 알고리즘들을 연구하는 것이다.

다시 말해 영상처리 알고리즘은 다른 영상을 출력하며 저수준의 성격을 가지고 반면에 영상분석 알고리즘은 비 영상 형태를 출력하며 고수준의 성격을 가진다.

 

 

1.2 영상처리에서 중요한 3가지  주요 문제

 

1. 향상(enhancement) 

 

• 시각적인 개선을 위해 영상을 다른 영상으로 변환하는 것을 포함한다.
• 예를 들어 원래 어두운 영상을 밝게 하는 것이나, 자세함을 높이기 위해 영상의 대비(contrast)를 증가시키는 것이다.
• 물체의 경계를 밝게 표시하거나 관찰자에게 다른 데이터 값이 구별되게 보이도록 그레이 스케일 영상을 채색하기 위해 영상의 에지를 탐지하는 것이다.

2. 복원(restoration)

 

•  잡음으로 훼손된 영상을 회복하는 목적을 가지고 있다.
• 훼손은 센스에 의한 잡음, 신호의 전송 중에 생긴 잡음, 외부처리에 의하여 발생되는 잡음이 원인이 될 수 있다.

 

3. 압축(compression)

 

• 가능한 압축에서 영상의 질이 떨어지지 않으면서, 원 신호가 필요한 비트보다 훨씬 적은 비트로 영상을 저장하는 것이다.
• 압축 알고리즘은 정지 영상이나 비디오에도 적용될 수 있다.

 

영상처리 3가지 문제를 해결하기 위해, 영상처리는 영상변환, 선형과 비선형 필터링, 주파수 영역 처리와 같은 개념을 이용한다.

 

영상처리에서 중요한 3가지  주요 문제 예시

 

1.3 영상분석에서 중요한 3가지  주요 문제

 

1. 영역분할(segmentation)

 

• 영상에서 같은 객체에 속한 화소들을 구분하는 과정이다.
• 영역분할은 저수준에서 화소들을 그룹화하는 상향식(botton-up-process) 처리로 볼 수 있다.

2. 분류(classification)

 

• 영상분할과 대조적으로, 분류는 영상에서 어느 화소들이 이전에 만들어진 모델에 속하는 지를 결정하는 것이다.
• 분류는 화소가 비교될 모델을 만든 전문가나 시스템에 의존하는 하향식(top-down-process)이다.
• 예를 들어, 디지털 카메라에서 사람 얼굴의 윤곽을 보여주는 것을 본 적 있다면, 그것은 분류의 결과이다.

3. 3차원 모양복원(shape from X)

 

• 3차원 모양복원은 스트레오, 비디오, 세이딩 혹은 텍스쳐와 같은 다양한 기술을 사용하여 장면에서 3차원 구조를 복원하는 것을 목표로 한다.

 

영상분석 3가지 문제를 해결하기 위해 선형대수, 통계분석,투상기하,함수 최적화와 같은 개념을 사용한다.

 

영상분석에서 중요한 3가지  주요 문제 예시

 

 

1.4 영상처리와 영상분석, 머신비전과 컴퓨터비전의 비교

 

영상분석의 목적은 컴퓨터로 하여금 "볼 수 있게" 하는 것이다. 이것은 영상에서 유익한 정보를 추출하기 위해 알고리즘들이 영상을 분석하기 때문이다. 이러한 의미에서 영상분석은 머신비전이나 컴퓨터비전과 거의 동의어라고 할 수 있다.

 

머신비전(machine vison)은 전형적으로 카메라의 위치와 조명이 조정될 수 있는 산업적으로 설치된 시스템을 언급한다.

 

컴퓨터비전(computer vison)은  비구조적인 설정에서 취해진 영상에 대한 처리를 위한 시스템을 말한다. 여기서 비구조적인 설정의 영상이란 일상에서 사람들이 개인 디지털 카메라로 찍은 사진이나 미지의 세계에 움직이는 이동로봇에 의해 획득된 영상이다.

 

	environment	sensor	algorithm	output
image processing	any	any	low-level(2D)	another image
image analysis	any	any	low-to high-level	nonimage
machine vision	industial	camera	low-level(2D)	nonimage
computer vision	everyday	camera	mid-to high-level	nonimage

표. 영상처리와 영상분석, 머신비전과 컴퓨터비전의 비교

 

위의 표와 같이 영상분석의 용어 사용을 센서 혹은 다른 어떤 것으로부터 얻은 영상에 적용 가능한 기술을 포함하는 것을 제안한다. 반면에 머신비전과 컴퓨터비전은 전통적인 카메라로부터 획득된 영상에 적용되는 기술이다.

 

 

영상처리와 영상분석의 6가지 핵심 문제들이 완전한 것은 아니지만, 실제로 일어나는 많은 문제들이 이들 중 하나라는 것은 주목할 만하다. 다음과 같이 예로 들 수 있다.

 

• 영상에서 임계치(thresholding)를 구하는 것은 영역분할의 문제이다. 왜냐하면 그 목표가 함께 속한 화소들의 영역을 결정하는 것이기 때문이다.
• 에지 탐색은 분류 문제에 해당한다. 왜냐하면 각 화소가 에지 화소인지 아닌지를 결정하기 때문이다.
• 추적(tracking)은 현재 영상에서 집단 화소들을 이전 영상에서 캡처된 목표의 모델에 매칭하는 것이다. 추적은 본래 분류 문제이다.
• 영상 인페이팅(image inpainting)은 영상복원의 한 형태이다. 왜냐하면 이것은 영상에서 없어진 데이터를 복원하는 것을 목표로 하기 때문이다.
• CT(computed tomography)는 목표가 보여질 객체의 3차원구조를 결정하는 것이기에 3차원 모양복원의 한 형태이다.

 

2 역사와 관련된 분야

 

영상처리는 1960년대 두 개의 현상의 결합으로 태어났다. 두 개의 현상은 아래와 같다.

 

1. 우주 프로그램은 훼손되어진 귀중한 달 사진을 지구로 보내기 시작하였다.
2. 디지털 컴퓨터가 훼손을 복원할 정도로 충분한 능력을 가졌다.

이후 1970년대는 상업적으로 제조 부품의 결합을 조사하는 실행가능한 머신비전 시스템이 소개되었고, 1980년대에는 다양한 현장들의 문제를 해결하기 위해 기초를 다지고 있었고, 1990년대 ~ 2000년대 중반이 되어서야 고속처리, 센서의 저가격, 가용한 대용량 훈련 데이터로 인해 컴퓨터 비전이 상품에 영향을 미치게 되었다.

 

비전 사이언스(vision science) 

정신 물리학자들은 19세기 중반 이후로 인간시각 시스템이 다양한 환경조건과 장면에 어떻게 반응하는지를 연구하였고, 그 사이에 컴퓨터 과학자들은 새로운 계산 알고리즘을 제안하기 위해 정신 물리학자들의 기술을 사용하였다. 이 두 진영의 교차되는 영역이 비전 사이언스(vision science)이다. 이 분야는 압축과 같은 응용을 위해 지각의 품질에 관한 원리들을 설정하는데 중요하게 되었다.

 

 

사진측량법(photogrammetry) 

이름에서 말하듯, 사진에서 대상을 측정한다. 19세기 중반에 항공기에 탑재된 카메라를 통해 얻은 영상을 사용하여 정확하고 자세한 3차원 지형도를 만들기 위해 복잡한 기술들이 개발되었다. 컴퓨터가 나오기전 3차원 좌표를 추정하기 위해 투영기하를 사용하여 계산하였다. 이러한 기술들 중에 삼각측량, 조정법과 같은 많은 부분들이 여전히 3차원 자동 재구성 시스템에 사용되고 있다.

 

신호처리(signal processing)

20세기로 접어들면서, 라디오, 전화, 레이더, TV와 같은 통신이 늘어나면서, 1차원 전자신호의 처리가 중요하게 되었다. 신호처리 및 디지털 신호처리는 잡음의 영향을 줄이고, 현재의 정보의 향상 또는 사용 가능한 대역폭의 보다 나은 사용을 위해 신호 필터링에 관심있다.

 

컴퓨터 그래픽스(computer graphics)

컴퓨터비전의 목표는 센서 데이터로부터 실세계의 모델을 추론하는 것인 반면에, 컴퓨터 그래픽스의 목적은 정반대이다.

실세계의 모델로부터 영상을 만드는 것이다. 두 분야는 투영 기하학에서 수학을 공통적으로 사용한다. 최근에는 증강현실, 도시 및 고고학 사이트 모델링, 의료 시각화, 얼굴 애니메이션, 원격 몰입과 같은 응용이 있다. 또한 인공 모션 블러, 영상 기반 애니메이션 및 비 사실적 렌더링과 같은 영화에 대한 특수한 효과를 생성하는데 사용한다.

 

머신러닝(machine learning)

머신러닝은 더 많은 경헉적 데이터를 제공함으로써 출력을 개선하는 시스템을 개발하는 것과 관련된 인공지능의 한 분야이다. 머신러닝과 영상분석 사이에는 강한 관계가 있다. 영역분할은 비지도학습이고 분류는 지도학습이다. 컴퓨터 비전 분야는 머신러닝의 패러다임에 크게 영향을 받았다.  많은 오래된 미해결의 문제들이 이제 머신러닝의 알고리즘을 통해 해결되기 시작했다.

 

3 응용의 예들

지난 60 ~ 70년 동안 영상처리 및 분석의 사용 증가로 인해, 이들 기술들을 매일 사용하는 수 많은 실세계의 응용을 찾는 것은 어려운 일이 아니다. 이러한 분야의 응용을 살펴본다.

 

산업 검사(industrial inspection)

머신비전 시스템은 제품의 결함을 찾기 위해 사용된다. 예를 들어 반도체 산업에서 반도체 웨이퍼의 결함을 찾기 위해 모델 템플릿과 비교한 후 유사한 시스템이 기판 위에 부품이 없는 것이나 손상된 것, 포장 라벨에서 오류, 제품에 끝이 빠진 것을 알아내기 위해 사용된다.

 

문서 영상분석(document image analysis)

우체국 서비스는 편지를 분류하기 위해 봉토에 쓰인 문자와 숫자를 읽기 위해 문자 인식기술을 사용한다. 유사한 방법으로는 자동차 번호판 인식이 있다. 유사한 기술을 사용하여 QR코드를 통해 제품의 정보를 확인할 수 있다.

 

운송( transportation)

배경 영상에서 화소의 변화를 측정하여 교통량과 도로의 점유정도를 자동적으로 측정하기 위해 도로 옆에 설치된 카메라를 사용한다. 

 

보안 감시( security and survaeillance)

생체인식 장치는 지문판독, 홍채인식, 비 접촉식 접근 제어를 가능하게 하는 얼굴 인식을 위해 사용된다. 

 

원격 감지(remote sensing)

지구에 관한 정보는 지구 주위를 돌고 있는 인공 위성이나 특정 위치에 비행하는 항공기의 센서들로 얻은 여러 스펙트럼 대역의 데이터로부터 데이터 획득 및 처리를 통해 수집한다. 지난 수십년 동안 궤도를 선회하는 위성에서 제공하는 다수의 영상을 통해 다양한 기록을 할 수 있다. 

 

과학적 이미징(scientific imageing)

다양한 분야에서 과학자들이 이미징을 사용하여 관심 있는 현상을 연구하고 측정한다. 예를 들어 생물학자들은 현미경 영상, 생체 영상으로 살아있는 세포를 추적한다.

 

의료 이미징(medical imageing)

활발한 연구의 가장 큰 영역 중 하나는 의료 이미징이다. 종양을 감지하고, 질병을 진단하고, 뼈가 뿌러졌는지 확인하고 특정 유형의 처리를 담당하는 영역 구분을 다양한 영상 기법을 사용해 인체의 영상들을 캡처한다.

 

의료 이미징(medical imageing)

활발한 연구의 가장 큰 영역 중 하나는 의료 이미징이다. 종양을 감지하고, 질병을 진단하고, 뼈가 뿌러졌는지 확인하고 특정 유형의 처리를 담당하는 영역 구분을 다양한 영상 기법을 사용해 인체의 영상들을 캡처한다.

 

 

 

참고 : Stan Birchfield 영상처리 및 분석 ( 입문자와 전문가를 위한 최신 영상처리 이론 및 알고리즘 소개)