[논문 정리] Staple: Complementary Learners for Real-Time Tracking

논문: Staple: Complementary Learners for Real-Time Tracking
저자: Luca Bertinetto, Jack Valmadre, Stuart Golodetz, Ondrej Miksik, Philip H. S. Torr
발표: CVPR 2016, pp. 1401–1409. arXiv 최초 등록 2015-12-04, 이 글의 기준은 v2(2016-04-13).
출처: 논문 · CVPR 공식 페이지 · 보충자료

1. 핵심 요약: 형태와 색은 서로 다른 순간에 실패한다

첫 프레임에서 지정한 물체를 계속 따라가려면, 움직임뿐 아니라 외형 변화에도 대응해야 한다. 당시 빠르고 강력했던 상관필터는 물체의 공간적 배치를 잘 기억하지만, 사람이 몸을 급격히 구부리는 것처럼 형태가 바뀌면 약해진다. 반대로 색 히스토그램은 픽셀 위치를 버리므로 변형에 강하지만, 배경과 색이 비슷하거나 조명이 달라지면 구별하기 어렵다. Staple은 어느 하나를 더 복잡하게 만드는 대신, 두 표현이 놓치는 정보를 서로 보완하게 한다.

• 형태와 색을 독립적으로 학습한다. HOG 템플릿과 색 히스토그램에 맞는 빠른 ridge regression을 각각 사용한다. 하나의 무거운 공동 최적화를 풀지 않는다.
• 최종 좌표가 아니라 후보 위치별 점수를 합친다. 두 모델이 각각 고른 위치를 평균 내기 전에, 전체 응답 지도를 결합해 가장 높은 위치를 선택한다.
• 정확도와 속도의 균형이 핵심이다. 저자 MATLAB 구현은 Intel Core i7-4790K 4.0GHz에서 약80 FPS를 보고한다. VOT14에서는 비교 대상의 종합 순위가 가장 좋지만, 모든 지표·데이터셋에서 최고인 것은 아니다.

Figure 1. 위 행은 색만으로 물체와 배경을 구별하기 어려운 경우, 아래 행은 물체가 빠르게 변형되는 경우다. Staple은 각각 템플릿·색 모델의 강점을 활용한다. 출처: 논문 Figure 1. 확대 보기

2. 작동 방식: 두 응답 지도를 더한 뒤 위치를 고른다

Staple은 Sum of Template And Pixel-wise LEarners의 약자다. 첫 프레임의 정답 상자에서 출발하고, 이후에는 이전 위치 주변을 검색해 가장 그럴듯한 상자를 찾는다. 범용 물체 검출기처럼 매 프레임 물체 종류를 처음부터 인식하는 것이 아니라, 현재 영상 안에서 지정된 물체의 외형을 온라인으로 갱신한다.

Figure 2. 위쪽은 현재 추정 위치에서 모델을 갱신하는 학습 경로, 아래쪽은 다음 프레임의 탐색 경로다. 두 갈래가 마지막 응답 지도에서 만난다. 출처: 논문 Figure 2. 확대 보기

2.1 HOG 템플릿: 어디에 어떤 윤곽이 있는가

HOG는 작은 셀마다 밝기 변화의 방향을 모아 윤곽 정보를 표현한다. 템플릿은 이 특징이 어느 위치에 놓였는지까지 보존한다. 후보 영역과 템플릿의 상관 점수가 높으면, 이전에 학습한 물체와 공간 구조가 비슷하다는 뜻이다.

상관필터는 특징 지도를 순환 이동한 여러 후보를 학습 예제로 삼고, 정답 중심에서 높고 멀어질수록 낮아지는 가우시안 응답을 맞춘다. 순환 구조 덕분에 많은 이동 후보를 푸리에 공간에서 효율적으로 처리할 수 있다. Staple은 다채널 해의 계산을 단순화하는 DSST 방식의 근사도 사용한다. 따라서 매 위치에서 큰 행렬을 역산하는 방식이 아니다.

그러나 물체의 각 부분이 크게 움직이면, 같은 물체라도 고정된 공간 배치와 맞지 않는다. 바로 이 부분을 색 모델이 보완한다.

2.2 색 히스토그램: 위치를 잊고 물체다운 색을 센다

색 모델은 RGB 각 축을32개 구간으로 나눈다. 각 픽셀은32×32×32개 색 구간 중 하나에만 속하는 one-hot 특징이 된다. 전경과 배경에서 각 색이 얼마나 자주 나타나는지 세고, 전경에 흔하고 배경에는 드문 색에 높은 점수를 준다.

원문 식25의 핵심은 다음과 같다.

\beta^j = \frac{\rho^j(O)}{\rho^j(O)+\rho^j(B)+\lambda}

여기서 전경 영역 O와 배경 영역 B의 색 j 비율이 각각 분자·분모에 들어가고, λ는 정규화 항이다. 단순한 확률 직관처럼 보이지만, 논문은 전경 픽셀의 목표값을1, 배경을0으로 두는 ridge regression에서 이 형태를 얻는다. 각 픽셀이 한 구간에만 속하므로, 큰 색 특징 행렬을 푸는 대신 색별 독립 계산과 조회로 처리할 수 있다.

후보 상자의 색 점수는 그 안에 있는 픽셀 점수의 평균이다. 적분영상을 만들면 겹치는 후보 상자의 합을 매번 처음부터 계산하지 않아도 된다. 공간 순서를 버리므로 사람이 팔다리를 움직여도 색 구성이 유지되면 추적 단서가 남는다.

2.3 결합과 갱신: 고정 가중치여도 강한 응답이 주도한다

원문 식3에 실험의 가중치 정의를 대입하면 다음과 같다.

f(x)=(1-\alpha)f_{\mathrm{tmpl}}(x)+\alpha f_{\mathrm{hist}}(x),\qquad \alpha=0.3

두 학습기는 모두 물체에 높은 값, 배경에 낮은 값을 주도록 학습하므로 응답 크기를 비슷한 기준으로 합칠 수 있다. 가중치를 매 프레임 바꾸는 별도 선택기가 있는 것은 아니다. 한 모델의 응답이 평평하고 다른 모델에 뚜렷한 봉우리가 있으면, 고정 가중합에서도 뚜렷한 위치 정보가 최종 선택을 주도한다.

프레임별 절차는 다음과 같다.

1. 이전 위치 주변에서 HOG 상관 응답과 색 점수의 평균 지도를 계산한다.
2. 두 지도를 더한 뒤 최댓값 위치로 중심을 옮긴다.
3. 별도의1차원 상관필터로 크기를 추정한다. 색만으로 크기를 정하면 가장 전경다운 작은 부분으로 상자가 줄어들 수 있기 때문이다.
4. 새 위치의 통계를 기존 통계와 지수이동평균으로 섞는다. 과거 프레임을 전부 보관하지 않아도 되지만, 잘못 찾은 위치가 반복되면 모델이 배경 쪽으로 드리프트할 위험은 남는다.

Table 1. 템플릿 학습률0.01, 색 모델0.04, 결합 비율0.3, 정규화 면적150², HOG 셀4×4가 기본 설정이다. 150²는 원본 영상 해상도가 아니라 템플릿 영역의 정규화 면적이다. 출처: 논문 Table 1. 확대 보기

3. 대표 결과: 무엇을 기준으로 좋아졌는가

3.1 VOT14: 높은 겹침 정확도와 종합 순위

VOT14는25개 영상에서 추적 상자와 정답의 IoU를 정확도로, 겹침이0이 되는 실패를 강건성으로 평가한다. 실패하면5프레임 뒤 정답 위치로 재초기화한다. 실패가 잦으면 재초기화 덕분에 정확도만 높아질 수도 있으므로 두 지표를 함께 읽어야 한다.

Table 2. Staple의 정확도는0.644, 실패 보고치는9.38, 종합 rank는4.37이다. 종합 rank 값은 평균 순위 지표이며,4.37등이라는 뜻이 아니다. 비교 표에서 Staple이1위다. 출처: 논문 Table 2. 확대 보기

DSST의0.607·16.90, SRDCF의0.600·15.90과 비교하면 Staple은 더 정확하면서 실패 보고치도 낮다. 다만 실패 지표만 보면 DMA의0.72, PLT_13의1.66, PLT_14의3.41이 더 좋다. “실패가 가장 적다”가 아니라, 정확도와 강건성을 함께 평가한 결과가 좋다.

이 표는 속성별 결과를 모으는 report_challenge 기준이다.9.38처럼 소수가 있는 값은 해당 집계 절차의 보고치이며, 특정 영상에서 발생한 정수 실패 횟수나 실패율9.38%로 읽으면 안 된다. 또한 원문 설명의 DATs 대비 실패13% 개선은 표의13.17→9.38과 일치하지 않는다. 표에서 계산하면 약28.8% 감소이므로 이 글은 원표 수치를 기준으로 삼는다.

Figure 3. 오른쪽 위에 가까울수록 두 순위가 좋다. Staple이 정확도에서 강하면서도 실패 순위까지 절대적으로 가장 좋은 것은 아니라는 점이 보인다. 출처: 논문 Figure 3. 확대 보기

3.2 VOT15: 튜닝 조건과 비교 집합을 구분해야 한다

Table 3. 본문의3개 방법 비교에서 Staple은 정확도0.538·실패80, DSST는0.491·152, DATs는0.442·124다. 출처: 논문 Table 3. 확대 보기

다만 VOT15는 하이퍼파라미터 선택에도 사용했다. 따라서 이 결과를 완전히 독립적인 미관측 테스트 성능처럼 해석하면 안 된다.

보충 Table 7. 대회 결과까지 포함한63개 방법 비교에서 Staple은 종합4위다. 앞선 세 방법은 MDNet, DeepSRDCF, SRDCF이며, 저자 보고 속도는 각각1 FPS,1 FPS 미만,5 FPS다. 이 표의 Staple 수치는 정확도0.533·실패1.39·종합 rank21.64다. report_article의 집계와 확장된 비교 집합을 쓰므로 본문 Table 3의0.538·80과 같은 척도로 합치지 않는다. 출처: 보충자료 Table 7. 확대 보기

3.3 OTB-13: 정확도만으로 모든 경쟁자를 이기지는 않는다

OTB는 IoU 임계값을 바꿨을 때의 성공률 곡선 아래 면적(AUC)을 비교한다. OPE는 기본 실행, TRE는 시작 시점을 바꾸는 평가, SRE는 초기 위치를 바꾸는 평가다. VOT의 실패 후 재초기화 결과와 직접 비교할 지표가 아니다.

Figure 4. 세 패널과 범례를 모두 유지했다. 출처: 논문 Figure 4. 확대 보기

Figure 4에서 재정리한 값이다. Staple은 DSST보다 세 평가 모두 높지만 SRDCF보다 낮다. SO-DLT도 SRE에서는 Staple보다 높다. 따라서 원문 설명의 “OTB에서 SRDCF만 더 좋다”는 표현은 모든 평가에 성립하지 않는다. 이 논문의 장점은 정확도 단독 우승보다 높은 처리 속도를 유지하면서 얻은 경쟁력에 있다.

4. 설계 분석: 빠른 이유와 결합이 효과적인 이유

Figure 5. 셀 크기와 처리 면적이 속도·강건성의 절충을 바꾼다. 저자는2×2 HOG 셀,50² 면적에서 실패 증가가 비교적 작으면서100 FPS를 넘는다고 보고한다. 출처: 논문 Figure 5. 확대 보기

기본 설정의 약80 FPS는 MATLAB·Intel Core i7-4790K 4.0GHz 환경의 저자 측정치다. 본문에는 입력 영상 전체의 고정 해상도나 디코딩·I/O 포함 경계가 명확히 제시되지 않으므로, 다른 장치나 제품 전체 파이프라인의 속도로 일반화하지 않는다.

Figure 6. 갱신이 너무 빠르면 잘못된 예측을 급하게 학습하고, 너무 느리면 외형 변화에 뒤처진다. 두 학습률이 대략0.01 부근일 때 강건성이 좋다는 분석이다. 검은 점은 실측, 나머지는 보간이므로 모든 색 칸을 독립 실험으로 읽으면 안 된다. 기본 색 학습률0.04와 이 넓은 최적 영역 설명도 구분해야 한다. 출처: 논문 Figure 6. 확대 보기

Figure 7. 결합 비율0.3 부근이 좋으며, 응답 지도 결합이 최종 위치 추정값의 보간보다 낫다. 두 모델이 서로 다른 위치를 골랐을 때 좌표의 중간이 실제 물체 위치라는 보장은 없다. 후보별 점수를 먼저 합치면 이런 문제를 줄일 수 있다. 출처: 논문 Figure 7. 확대 보기

5. 한계와 의미

• 단기 단일객체 추적이 대상이다. 주변 영역을 검색하고 위치·크기를 바꾸지만, 종횡비와 회전은 직접 탐색하지 않는다. 장시간 가림 뒤 재검출하는 전체 시스템을 제안한 논문은 아니다.
• 보완 관계가 항상 성립하지는 않는다. 보충자료의 diving 사례에서는 Staple이 DSST와 DATs보다 나쁘다. 저자는 급격한 변형 중 재초기화되는 시점과, 상자 안 배경의 색 분포가 상자 밖 배경과 다른 상황을 원인으로 해석한다.
• 온라인 자기학습의 위험은 남는다. 별도의 정답 감독 없이 예측 위치로 모델을 갱신하므로 두 단서가 동시에 틀리면 드리프트를 막을 보장은 없다.
• 평가 범위를 좁혀 읽어야 한다. VOT15 튜닝 재사용, 집계 방식별 수치 차이, OTB에서 앞서는 경쟁 모델을 함께 고려해야 한다. 수치는 저자 보고이며 여기서 추적 실험을 재현한 것은 아니다.

Staple이 남기는 설계 원칙은 단순하다. 서로 다른 실패 원인을 가진 표현을 고르고, 각 표현에 맞게 싸게 학습한 뒤, 정보가 남아 있는 응답 단계에서 결합한다. 복잡한 모델 하나만 키우는 것과 다른 방식으로 실시간 추적의 정확도를 높인 사례다.

6. 보충자료 도표 모음

아래는 본문의 결론을 더 세밀하게 확인할 수 있는 원문 도표다. 보충 Table 7은 앞의 VOT15 절에 배치했다. 나머지 그림6개·표6개도 패널과 전체 행을 보존했다. 작은 범례나 개별 영상 수치는 각 확대 링크로 확인할 수 있다.

VOT14: 집계 기준과 영상별 편차

보충 Table 1. 속성별 report_challenge 집계다. 본문 Table 2와 같은 결과이며 실패 보고치9.38의 기준을 보여준다. 출처·확대

보충 Table 2. 영상별 report_article에서는 Staple의 정확도0.641·실패0.37·종합 rank5.49가 보고된다. 여전히 종합1위지만 다른 방법의 순서가 달라진다. 출처·확대

보충 Figure 1. 두 집계 방식의 순위 지도를 나란히 비교한다. 같은 원실험도 집계 단위에 따라 상대 순위가 달라질 수 있다. 출처·확대

보충 Table 3. 속성별 정확도다. 예를 들어 크기 변화에서는 Staple0.54보다 DATs0.58이 높아, 평균 우위가 모든 조건의 우위를 뜻하지 않는다. 출처·확대

보충 Table 4. 같은 속성의 실패 지표다. 정확도 표와 함께 읽어야 한다. 출처·확대

보충 Table 5. 영상별 편차가 크다. diving에서 Staple의 정확도는0.14로 DSST0.39·DATs0.37보다 낮다. 출처·확대

보충 Table 6. diving에서는 Staple4회, DSST·DATs 각각1회 실패한다. 좋은 평균 결과와 실제 실패 사례를 함께 보여준다. 출처·확대

속도·학습률·결합 비율: 정확도와 실패를 함께 보기

보충 Figure 2. 본문 Figure 5의 실패 곡선에 정확도 곡선을 함께 제시한다. 빠른 설정이 반드시 두 지표 모두에서 유리한 것은 아니다. 출처·확대

보충 Figure 3. 정확도와 실패 모두에서 학습률의 영향을 확인한다. 검은 측정점 사이 색은 보간값이다. 출처·확대

보충 Figure 4. 응답 지도 결합의 이점이 정확도뿐 아니라 실패 지표에서도 나타난다. 보충 캡션은 최적 구간을0.3~0.4로 설명한다. 출처·확대

OTB: 전체 곡선과 속성별 곡선

보충 Figure 5. 본문 Figure 4와 같은 세 평가의 곡선이다. 출처·확대

보충 Figure 6. 원문10개 패널 전체다. 변형 AUC에서는 Staple0.618이 DSST0.506보다 높지만 SRDCF0.635보다는 낮다. 보완적 표현의 효과와 남은 격차를 동시에 확인할 수 있다. 출처·확대