원문 Figure 1: 서로 다른 기준 좌표계로 표현한 같은 움직임에 대해 TLIO는 궤적과 공분산이 어긋나지만 EqNIO는 다시 정렬했을 때 일치한다.

[논문정리] EqNIO: 좌표계가 바뀌어도 일관된 IMU 위치 추정

논문: EqNIO: Subequivariant Neural Inertial Odometry
저자: Royina Karegoudra Jayanth, Yinshuang Xu, Ziyun Wang, Evangelos Chatzipantazis, Kostas Daniilidis, Daniel Gehrig
발표: ICLR 2025
논문 원문 · OpenReview · 공식 구현

1. 같은 움직임인데 좌표계를 바꾸면 왜 결과가 달라질까?

IMU의 가속도와 각속도만으로 위치를 추정하면 작은 센서 오차도 적분 과정에서 누적된다. TLIO와 RoNIN 같은 학습 기반 관성 주행거리 추정은 신경망이 이동 패턴을 학습해 이 드리프트를 줄인다. 그런데 같은 움직임도 어느 방향을 기준으로 표현하느냐에 따라 입력 숫자가 달라진다. 기존 네트워크는 움직임 자체뿐 아니라 이런 좌표계 차이까지 학습해야 한다.

중력 방향에 맞춰 입력을 정렬해도 문제가 모두 사라지지는 않는다. 위아래 축은 정해지지만 수평면의 기준 방향인 yaw는 여전히 자유롭다. 회전 증강으로 다양한 방향을 보여 주거나 예측의 일관성을 손실 함수로 유도할 수는 있어도, 학습하지 않은 방향에서 같은 결과를 낼 것이라는 보장은 없다.

EqNIO의 질문은 간단하다. 입력을 일관된 기준 좌표계로 옮긴 뒤 기존 네트워크가 예측하게 만들면 어떨까? 이때 기준 좌표계 자체가 입력의 회전·반사에 맞춰 함께 변하도록 설계한다.

  • 좌표계부터 학습한다: 중력 정렬된 IMU 입력에서 canonical frame, 즉 예측에 사용할 표준 좌표계를 구하고 그 안에서 기존 네트워크를 실행한다.
  • 이동량과 불확실성을 함께 되돌린다: 표준 좌표계에서 얻은 변위와 공분산을 원래 좌표계로 변환해, 방향이 바뀌어도 예측과 신뢰 영역이 일관되게 움직이도록 한다.
  • 기존 구조를 살린다: TLIO의 신경망·필터 조합과 RoNIN의 속도 예측 구조에 각각 적용한다. 특히 다른 데이터셋으로 옮겨 평가할 때 개선이 두드러진다.

원문 Figure 1: 서로 다른 기준 좌표계로 표현한 같은 움직임에 대해 TLIO는 궤적과 공분산이 어긋나지만 EqNIO는 다시 정렬했을 때 일치한다.

그림 1. 논문 Figure 1 인용. 왼쪽은 TLIO, 오른쪽은 EqNIO의 SO(2) 버전이다. 회전된 좌표계에서 예측한 결과를 같은 기준으로 되돌렸을 때 궤적뿐 아니라 공분산 타원체도 일관되는지가 핵심이다. 출처: Jayanth 외, ICLR 2025.

2. 핵심 방법: 좌표계 변환으로 기존 네트워크를 감싼다

불변성과 등변성은 역할이 다르다

불변성(invariance)은 입력을 변환해도 표현이 같게 유지되는 성질이다. 반면 등변성(equivariance)은 입력을 변환하면 출력도 그에 맞춰 변하는 성질이다. 위치 추정에서 변위는 방향을 가지므로, 좌표계를 돌렸는데 출력 숫자까지 그대로이면 안 된다. 표준 좌표계 안의 입력은 불변이고, 원래 좌표계로 복원한 변위는 등변이어야 한다.

EqNIO는 모든 3차원 회전에 대한 등변성을 직접 다루지 않는다. 중력을 고정하는 변환만 남긴다. 수평면 회전만 고려하는 SO(2) 버전과, 여기에 반사까지 포함하는 O(2) 버전을 제안한다. 이 변환들이 전체 3차원 직교변환의 부분군이므로 제목에 subequivariant, 즉 부분군에 대한 등변성이 들어간다.

원문 Figure 2: 등변 네트워크가 표준 좌표계를 예측하고, IMU 입력의 정규화와 기존 모델의 예측 및 출력 복원을 수행하는 EqNIO 구조.

그림 2. 논문 Figure 2 인용. 위쪽은 입력 변환 → 기존 모델 → 출력 복원의 흐름이고, 아래쪽은 좌표계를 예측하는 네트워크의 벡터·스칼라 처리 구조다. 출처: Jayanth 외, ICLR 2025.

입력은 표준화하고, 출력은 원래 좌표계로 복원한다

가속도 a, 각속도 ω는 이미 중력 정렬된 좌표계에 있다고 하자. 작은 등변 네트워크가 표준 좌표계 F를 예측하면, 기존 모델은 그 좌표계에서 변위 d′와 공분산 Σ′를 예측한다. 논문 식 (4)와 출력 변환을 행렬 형태로 모으면 다음과 같다.

\begin{aligned}
a_i^{\prime}&=F^\top a_i, & \omega_i^{\prime}&=\det(F)F^\top\omega_i,\\
d&=Fd^{\prime}, & \Sigma&=F\Sigma^{\prime}F^\top.
\end{aligned}

F는 중력 축을 유지하는 직교행렬이므로 역행렬이 전치행렬과 같다. 회전만 있으면 행렬식은 1이고, 반사가 있으면 −1이다. 각속도에만 이 부호가 필요한 이유는 다음 절에서 설명한다.

이 방식이 작동하려면 F를 구하는 네트워크 Ψ가 아무 좌표계나 출력해서는 안 된다. IMU 시퀀스를 X, 중력을 보존하는 회전·반사를 R이라고 할 때 다음 조건을 만족해야 한다.

\Psi(R\!\cdot\!X)=R\Psi(X).

여기서 R·X는 가속도와 각속도에 각각 올바른 변환 법칙을 적용한 입력이다. 입력이 바뀔 때 표준 좌표계도 함께 바뀌므로, 그 좌표계 안에서 본 입력은 같아진다. 일반적인 신경망은 이 일관된 입력을 처리하고, 마지막 복원 단계가 출력의 등변성을 만들어 준다. 전체 백본을 등변 네트워크로 다시 만들 필요가 없다는 점이 장점이다.

공분산도 방향을 가진다

공분산은 예측 오차가 어느 방향으로 얼마나 퍼질지를 나타낸다. TLIO처럼 이를 필터의 측정 불확실성으로 사용한다면, 변위만 회전시키고 공분산은 그대로 두는 것은 적절하지 않다.

EqNIO는 표준 좌표계에서 대각 공분산을 예측한다. 이를 F로 되돌리면 수평면에서 기울어진 불확실성 타원을 표현할 수 있다. 즉, 대각 성분으로 안정적으로 학습하면서도 원래 좌표계의 x·y 오차 상관관계를 나타낼 수 있다. 다만 수직축과 수평축의 교차 공분산은 0으로 두므로, 임의의 완전한 3차원 공분산을 예측하는 방식은 아니다.

3. 반사까지 다루려면 자이로스코프를 다르게 처리해야 한다

회전만 고려할 때는 가속도와 각속도를 같은 방식으로 돌릴 수 있다. 하지만 반사에서는 차이가 생긴다. 가속도는 일반 벡터인 반면, 각속도는 오른손 법칙을 따르는 축벡터(axial vector)이기 때문이다.

이를 무시하고 두 센서 신호를 같은 규칙으로 섞으면 반사 등변성이 깨진다. 논문은 각속도를 두 벡터의 외적으로 분해해 처리한다. 필요한 관계는 다음과 같다.

\omega=v_1\times v_2,\qquad
(Rv_1)\times(Rv_2)=\det(R)R\omega.

각속도를 구성하는 두 벡터를 일반 벡터처럼 변환하면 외적이 필요한 부호를 만들어 낸다. O(2) 버전은 이렇게 얻은 두 벡터와 가속도를 함께 처리하고, SO(2) 버전은 가속도와 각속도를 직접 처리한다.

좌표계 예측 네트워크 안에서는 수평 성분을 2차원 벡터로, 수직 성분·벡터의 크기·내적 등을 불변 스칼라로 나눈다. 벡터에는 등변 선형층과 시간축 합성곱을, 스칼라에는 일반 층을 적용한다. 비선형층도 좌표 성분을 임의로 바꾸는 대신 스칼라로 벡터 크기를 조절한다. 이렇게 처리한 출력 벡터를 직교화해 표준 좌표계를 만든다.

반사 처리는 센서를 실제로 거울에 비추거나 별도 센서를 추가한다는 뜻이 아니다. 좌우가 뒤집힌 이동 패턴까지 대칭 관계로 다룰 때 센서 신호의 물리적인 변환 규칙을 지키기 위한 설계다.

4. 실험: TLIO와 RoNIN에 붙였을 때

아래 결과는 논문 저자들의 보고이며 별도 재현 실험 결과는 아니다. 기본 입력은 200Hz IMU의 1초 구간이다. TLIO 계열은 변위와 공분산을 확장 칼만 필터(EKF)에 넣고, RoNIN 계열은 예측한 2차원 속도를 적분한다.

ATE는 전체 궤적의 위치 오차, RTE는 일정 시간 간격의 상대 이동 오차다. 논문 부록의 RTE 기준 간격은 1분이며, 두 지표 모두 작을수록 좋다. 별표(*)는 EKF 없이 네트워크 출력으로 계산한 결과를 뜻한다.

TLIO: 필터와 결합한 위치 오차 개선

TLIO 데이터로 학습하고 TLIO 및 Aria Everyday Activities에서 평가한 결과다. 아래는 논문 Table 1의 EKF 포함 지표만 골랐다. 기준선은 원래 TLIO에서 사용하던 yaw 회전 증강을 적용한 모델이다.

모델 TLIO ATE (m) TLIO RTE (m) Aria ATE (m) Aria RTE (m)
TLIO + 회전 증강 1.812 0.500 1.285 0.464
TLIO + EqNIO SO(2) 1.480 0.490 1.178 0.449
TLIO + EqNIO O(2) 1.433 0.458 1.118 0.416

O(2) 버전은 회전 증강 기준선보다 ATE가 TLIO에서 약 20.9%, Aria에서 약 13.0% 낮다. 특히 Aria는 학습에 사용하지 않은 데이터셋이므로, 단순한 학습 데이터 내 성능뿐 아니라 다른 센서·활동 분포로의 일반화도 확인하는 비교다.

그렇다고 모든 지표에서 우세한 것은 아니다. 같은 표의 TLIO 절대 yaw 오차(AYE)는 회전 증강 기준선 2.376°와 O(2) 모델 2.389°로 비슷하며, O(2) 쪽이 조금 높다. 위치 오차 개선을 곧바로 모든 자세 추정 성능의 개선으로 해석해서는 안 된다.

RoNIN: 학습 데이터 밖에서 나타난 차이

논문 Table 2에서 RoNIN-Unseen과 OxIOD 결과를 추렸다. Unseen은 학습에 참여하지 않은 사람들의 테스트 데이터다. EqNIO는 공개된 RoNIN 학습 데이터 50%만 사용한다. 100% 데이터 기준선은 학습량이 다르고, 50% 기준선과 RIO 결과는 논문이 기존 연구에서 가져온 수치라는 점을 구분해야 한다.

모델 RoNIN-U ATE* (m) RoNIN-U RTE* (m) OxIOD ATE* (m) OxIOD RTE* (m)
RoNIN, 학습 데이터 100% 5.14 4.37 3.46 4.39
RoNIN, 학습 데이터 50% 5.57 4.38 3.52 4.42
RIO, 50% + J + TTT 5.07 4.17 2.96 3.74
EqNIO SO(2), 50% 5.18 4.35 1.22 2.39
EqNIO O(2), 50% 4.42 3.95 1.28 2.10

RIO의 J는 회전 일관성을 유도하는 공동 학습, TTT는 테스트 시점 추가 학습이다. EqNIO는 이러한 테스트 시점 학습 없이 결과를 낸다. O(2)의 OxIOD ATE는 RIO의 J+TTT 조합보다 약 56.8% 낮다.

다만 반사까지 포함한다고 항상 더 좋은 것은 아니다. OxIOD ATE는 SO(2)가 1.22m로 O(2)의 1.28m보다 낮고, 같은 표의 RIDI Cross Subject ATE도 SO(2) 0.63m, O(2) 0.70m다. O(2)는 여러 평가에서 유리하지만, 데이터셋과 지표에 따른 예외가 있다.

5. 무엇이 효과를 만들었고, 어디까지 믿어야 할까?

논문 Table 3은 단순히 네트워크를 키운 효과인지, 표준 좌표계를 사용한 효과인지 분리한다. 더 깊은 TLIO, 일반 MLP로 예측한 좌표계, PCA 기반 좌표계, 전체가 등변인 CNN을 비교했으며, 제안한 학습형 등변 좌표계가 전반적으로 더 좋은 결과를 보였다. 저자들은 기존 백본의 표현력을 유지하면서 입력 변동성을 줄이는 조합이 중요하다고 해석한다.

공분산 처리도 부수적인 장식이 아니다. 부록 Table 15에서 Aria ATE는 학습한 공분산을 사용하는 O(2) 모델이 1.118m인 반면, 같은 모델의 변위 예측에 고정 공분산을 사용하면 1.680m다. 필터에서는 이동량의 정확도뿐 아니라 그 이동량을 얼마나 믿을지도 중요하다는 뜻이다.

적용 범위를 볼 때는 다음 조건이 남는다.

  • 중력 정렬은 여전히 필요하다: EqNIO는 중력 방향을 모르는 문제 자체를 없애지 않는다. 부록 A.13에서는 중력 방향 오차가 커질수록 성능이 나빠지고, 중력 방향 교란을 넣어 학습하면 이를 완화할 수 있음을 보였다. yaw 증강을 대체한다고 모든 종류의 증강이 불필요한 것은 아니다.
  • 좌표계의 일관성이 절대 방위 관측을 뜻하지 않는다: canonical frame은 예측을 위한 기준이다. IMU만으로 관측할 수 없는 절대 yaw를 새로 알아내거나 장기 드리프트를 완전히 제거하는 장치는 아니다.
  • 주요 검증 범위는 사람의 이동과 일상 활동이다: 다른 로봇·차량·격한 운동으로의 일반화까지 자동으로 보장되지는 않는다.
  • 실행 비용은 별도로 봐야 한다: 좌표계 예측 모듈이 추가된다. 테스트 시점 재학습을 피한다는 장점과 별개로, 논문의 엣지 기기 활용 전망을 특정 기기의 실시간 성능 보장으로 읽어서는 안 된다.

6. 정리

EqNIO의 핵심은 더 큰 신경망을 만드는 것이 아니라, 신경망이 같은 움직임을 같은 표현으로 보게 만드는 것이다. 중력으로 정해지지 않는 수평면의 자유도를 학습형 등변 좌표계로 처리하고, 변위뿐 아니라 공분산도 올바르게 복원한다.

TLIO 관점에서는 학습된 이동량을 필터에 넣는 흐름은 유지하되, 그 이동량과 불확실성이 기준 방향에 따라 흔들리지 않도록 개선한 연구다. RoNIN에도 같은 아이디어를 적용했다는 점에서, 특정 백본보다 IMU 예측 모델 앞뒤의 좌표계 설계가 중요한 기여라고 볼 수 있다.

참고 자료


게시됨

카테고리

,

작성자


댓글

답글 남기기

이메일 주소는 공개되지 않습니다. 필수 필드는 *로 표시됩니다