Local image features

Local image features

Local image features는 이미지에서 우리가 관심을 가지는 부분입니다. 어떠한 색 영역이 될 수도 있고, shape이 될 수도, 혹은 edge가 될 수도 있죠. 많은 컴퓨터 비전 알고리즘은 우리가 '어떤 local image feature에 관심을 갖고 있는지'에서부터 시작합니다.

 

Image representation

이러한 local image features는 이미지를 표현하는 Image representation에 활용될 수 있습니다. 어떠한 이미지를 설명할 때, 다양한 local image features를 통합해 표현할 수 있죠. Local image features를 활용하면 여러 가지 장점을 가집니다. 우선, object의 외형을 모델링 하기에 좋습니다. 이미지를 부분 부분의 특징으로 인식하게 되면, 오브젝트의 포즈가 변화하여도 오브젝트를 구성하는 각각을 local image feature로 이해하기 때문에 오브젝트의 포즈 변화에 강건합니다. 또한 이미지에 오브젝트의 일부만 나타난 경우에도 local image feature로 이해할 수 있습니다. Local image features는 여러 view에서 object를 나타낸 이미지에서, 각 이미지들 사이의 매칭 포인트를 인식하는 데에도 활용할 수 있습니다. 여러 view에서 촬영한 이미지에서의 stereo matching, 3차원 형상을 구현하는 3D reconstruction, 파노라마 사진 등에 활용되는 image stitching이 그 예시입니다. 

 

Conditions for good local image feature

그렇다면, 좋은 Local image feature란 무엇일까요? 좋은 Local image feature의 조건은 대표적으로 다음과 같은 몇 가지가 있습니다. 첫째, 우리가 관심 있는 영역이어야 합니다. 이를 Saliency라고 합니다. 아무리 object의 특성을 잘 나타내더라도, 그 특성이 우리가 전혀 관심 없는 특성이라면 아무 소용이 없습니다. 둘째, 이미지에서 적당히 작은 영역이어야 합니다. 이를 Locality라고 합니다. Local image feature가 너무 큰 영역을 나타낸다면, 그것은 object 자체를 나타낼 가능성이 있습니다. 마지막은, 여러 이미지에 걸쳐 기하학적 변화 또는 조도의 변화 같은 다양한 변화에도 관계 없이 어느정도 특징을 유지하고 동일하게 인식되어야 한다는 것입니다. 이를 repeatability라고 합니다. 넷째, 매칭을 함에 있어 명확한 조건을 제시해야 합니다. 예를 들어 모서리의 꼭지점, 모서리의 라인, 면이 표현된 두 개의 이미지를 생각해 봅시다. 두 이미지에서 두 꼭지점의 매칭 관계는 명확합니다. 각 모서리는 각각 하나의 픽셀 좌표로 표현이 됩니다. 모서리의 라인은 어떨까요? 라인과 라인을 매칭할 수 있다고 생각하겠지만, 라인에서의 어떤 부분이 다른 이미지의 라인 위에 어떤 점과 매칭되는지 명확하지 않습니다. 이는 면을 생각했을 때 더더욱 매칭이 어렵습니다. 

 

Interest point(Key point)

우리가 선택한 local image feature를 interest point, 또는 key point라고 할 수 있습니다. Interest point는 이미지 영역에서 위치가 잘 정의되어야 하고, 많은 정보를 포함해야 하며, 기하학적 변화나 조도 변화에 대해 안정적이어야 합니다. 대표적인 Interest point로는 Corner, Blobs 등이 있습니다. 이러한 Interest point들은 간단한 Image processing을 통해 도출할 수 있습니다.