GOSPA 지표란: 다중 표적 추적 성능 평가에서 OSPA의 한계를 고친 새 거리 척도

핵심 메시지

• GOSPA는 벡터가 아니라 집합 사이의 거리를 재는 척도로, 다중 표적 추적 알고리즘의 성능을 평가하려면 원소 순서도 개수도 다른 두 집합을 비교해야 하기 때문에 필요하다.
• 추정값과 실제 표적을 최적으로 짝지은 뒤, 짝지어진 쌍에는 위치 오차를, 짝을 찾지 못한 원소에는 일정한 벌점을 매겨 합산하는 구조다.
• 기존에 널리 쓰인 OSPA는 집합 크기로 값을 나누기 때문에 오검출이 네 배로 늘어도 지표 값이 그대로일 수 있는데, 이는 추적 문헌이 요구하는 성능 개념과 어긋난다.
• OSPA에서는 미검출과 오검출이 한 쌍으로 생길 때 드는 비용이 하나만 생길 때와 같아, 오검출이 늘어나도 값이 오르지 않는 반직관적인 상황이 생긴다.
• 특정 파라미터 설정에서 GOSPA는 전체 오차를 위치 오차, 미검출, 오검출 세 항으로 분해할 수 있어 알고리즘의 강점과 약점을 나눠 볼 수 있다.

쉽게 이해하기

샬머스 공과대학의 레나르트 스벤손(Lennart Svensson) 교수가 공동 저자로 참여한 논문 "Generalized optimal sub-pattern assignment metric"을 직접 소개하는 영상이다. 이 논문은 2017년 정보 융합(Fusion) 학회에서 최우수 논문상을 받았고, 발표자는 지표를 계산하는 코드도 공개돼 있다고 밝혔다. 다중 표적 추적 알고리즘의 성능을 어떻게 숫자로 재야 하는지에 대한 이야기다.

문제 설정은 간단한 예로 설명된다. 실제로는 표적이 두 개 있는데 추정기가 세 개가 있다고 판단했다고 하자. 이때 추정이 얼마나 정확한지 재려면 두 집합이 서로 얼마나 가까운지를 재야 한다. 집합은 순서가 없고 원소 개수도 다를 수 있어서, 벡터 사이의 거리를 재는 것보다 훨씬 까다로운 문제가 된다.

추적 알고리즘은 전통적으로 표적을 놓치는 경우를 줄이면서 표적이 없는 곳에 있다고 잘못 보고하는 경우도 줄이도록 설계돼 왔다. GOSPA는 이 목표를 그대로 반영한다. 짝지을 만큼 충분히 가까운 쌍에는 위치 오차를 매기고, 대응 상대를 찾지 못한 원소는 미검출 또는 오검출로 보아 일정한 벌점을 매긴 뒤 전부 더한다. 앞의 예라면 짝지어진 하나의 위치 오차에, 미검출과 오검출을 합한 세 건의 벌점이 더해진다.

계산 절차는 두 단계다. 먼저 두 집합의 원소 사이에서 최적 짝짓기를 찾는데, 거리가 미리 정한 문턱값보다 크면 짝짓지 않고 남겨 둔다. 그다음 짝지어진 쌍은 그 거리만큼, 짝을 찾지 못한 원소는 정해진 벌점만큼 비용을 매긴다. 실제 표적 쪽에서 남은 원소는 놓친 표적이고, 추정 쪽에서 남은 원소는 잘못 보고된 표적이다. 발표자는 이를 짝짓기 집합 전체에 대한 최소화 문제로 정식화해 보여 준다.

기존 지표인 OSPA와의 차이는 두 가지로 정리된다. 하나는 OSPA가 큰 쪽 집합의 크기로 값을 나눠 정규화한다는 점이고, 다른 하나는 개수 불일치에 매기는 벌점의 크기가 다르다는 점이다. 발표자는 정규화 때문에 생기는 문제를 예로 든다. 표적이 하나도 없는 상황에서 오검출이 하나일 때와 네 개일 때를 비교하면, GOSPA는 네 배로 커지지만 OSPA는 같은 값에 머문다. 추적 문헌의 기준으로는 오검출이 늘면 오차가 커져야 한다.

더 반직관적인 사례도 제시된다. 위치가 맞은 표적 하나, 놓친 표적 둘, 잘못 보고한 표적 하나가 있는 상황에서 오검출을 하나 더 추가하면 GOSPA 값은 올라가지만 OSPA는 값이 변하지 않는다. 원인은 미검출과 오검출이 한 쌍으로 생길 때 그 쌍이 문턱값만큼의 위치 오차로 처리돼, 결과적으로 하나만 생긴 경우와 같은 비용이 되기 때문이다.

마지막으로 발표자는 이 지표가 열어 주는 분석 방식과 확장을 언급한다. 오차가 세 항으로 나뉘므로 여러 필터를 비교할 때 전체 오차뿐 아니라 위치 오차, 미검출, 오검출의 기여를 따로 그려 볼 수 있다. 실제 다중 베르누이 계열 필터들을 비교한 후속 연구에서는 대부분의 오차가 미검출 비용에서 왔다는 사실이 드러났다. 논문은 또 확률 변수, 즉 랜덤 유한 집합 사이의 척도로 GOSPA를 확장하는 결과도 함께 제시한다.

주요 인사이트

• 평가 지표의 설계가 곧 연구 방향을 정한다는 점이 이 발표의 핵심이다. 오검출이 늘어도 값이 오르지 않는 지표를 기준으로 알고리즘을 개선하면, 정작 실무에서 중요한 오검출 억제가 보상받지 못한다.
• 정규화가 지표를 왜곡하는 방식은 다른 분야에서도 되짚어 볼 만하다. 집합 크기로 나누는 순간 지표는 "평균 품질"을 재게 되고, 잘못된 항목이 몇 건인지는 사라진다. 재려던 대상이 총량이라면 정규화 자체가 문제가 된다.
• 분해 가능성이 지표의 실질적 가치를 만든다. 하나의 숫자로 순위만 매기는 대신 위치 오차, 미검출, 오검출로 쪼개면 어떤 필터가 왜 나쁜지 진단할 수 있고, 발표자가 소개한 필터 비교 연구도 이 분해 덕분에 미검출이 지배적이라는 결론을 얻었다.
• 파라미터 선택이 성질을 바꾼다는 설명도 중요하다. 발표자는 오차를 세 항으로 깔끔하게 나눌 수 있는 것은 특정 파라미터 값에서만 성립하며, 그 값을 권장한다고 밝혔다. 다른 값에서도 지표는 정의되지만 분해라는 장점은 사라진다.
• 기존 구현을 버리지 않아도 된다는 점은 도입 장벽을 낮춘다. 발표자는 OSPA를 헝가리안 알고리즘이나 경매 알고리즘으로 계산하고 있다면 그 구현을 조금 고쳐 GOSPA를 계산할 수 있다고 설명했다.

자주 묻는 질문

관련 AI 소식