TLIO: Tight Learned Inertial Odometry
Wenxin Liu, David Caruso, Eddy Ilg, Jing Dong, Anastasios I. Mourikis, Kostas Daniilidis, Vijay Kumar, Jakob Engel
IEEE Robotics and Automation Letters, 2020 · 논문 · 프로젝트 · 공식 코드
1. 카메라 없이 이동 경로를 추정할 수 있을까
카메라와 관성측정장치(IMU)를 함께 쓰는 시각·관성 오도메트리(VIO)는 헤드셋이나 모바일 기기의 움직임을 추적하는 대표적인 방법이다. 하지만 어두운 장소나 카메라가 가려진 상황에서는 영상 추적이 어려워지고, 전력 소비와 사생활 문제도 생긴다. 그렇다고 가속도계와 자이로스코프만 적분하면 작은 잡음과 센서 바이어스가 쌓여 위치가 빠르게 틀어진다. TLIO는 이 간극을 사람의 움직임을 학습한 신경망과 물리적인 관성항법 모델의 결합으로 줄이려는 연구다.
- 신경망은 짧은 IMU 구간에서 3차원 이동량뿐 아니라 그 예측을 얼마나 믿을 수 있는지도 출력한다.
- 확장 칼만 필터(EKF)는 원시 IMU로 상태를 전파하고, 신경망의 이동량을 관측값처럼 받아 위치·자세·속도·센서 바이어스를 함께 보정한다.
- 검증 대상은 머리에 센서를 착용한 보행자의 움직임이다. 추론 중 카메라를 쓰지 않지만, 학습과 평가의 기준 궤적은 VIO로 얻었다. 아무 초기 정보 없이 모든 움직임을 추적하는 범용 시스템을 뜻하지는 않는다.

그림 1. 논문 §III–V와 Figure 2를 바탕으로 새로 구성한 설명도. 필터의 자세 추정이 신경망 입력 정렬에 다시 사용되는 순환 구조가 핵심이다. 원문 그림의 복제가 아니다.
2. 신경망은 적분을 대신하지 않고 움직임의 사전지식을 제공한다
2.1 입력: 중력 방향을 맞춘 1초의 IMU
TLIO의 네트워크는 1차원 ResNet18이다. 기본 설정에서는 200Hz로 얻은 1초 구간, 즉 200개 시점의 가속도와 각속도를 받는다. 입력 크기는 200×6이다. 센서가 기울어진 정도에 따라 같은 보행도 다르게 보이지 않도록, 입력을 중력 정렬 좌표계로 회전시킨다. 이 좌표계에서는 중력이 아래쪽을 향하지만, 수평면의 절대 방위까지 알려 주지는 않는다.
출력은 해당 구간의 3차원 변위와 축별 불확실성이다. 여기서 중요한 설계는 네트워크가 초기 속도를 입력받지 않는다는 것이다. 가속도만으로 초기 속도까지 알아낼 수는 없으므로, 네트워크는 물리 법칙에 따른 완전한 적분기가 아니라 학습 데이터에서 본 전형적인 사람의 움직임에 대한 사전지식을 제공한다. 속도와 그 불확실성의 시간 전파는 EKF가 맡는다.
2.2 출력: 이동량과 함께 신뢰도를 학습한다
네트워크는 변위와 별도의 출력 헤드에서 축별 표준편차의 로그를 예측한다. 논문 식 (3)의 공분산 표현은 다음과 같다.
\hat{\Sigma}=\operatorname{diag}\left(e^{2\hat{u}_x},e^{2\hat{u}_y},e^{2\hat{u}_z}\right)각 출력의 지수는 해당 축의 표준편차가 되므로 분산이 항상 양수다. 대각 공분산만 사용하기 때문에 축 사이의 오차 상관관계까지 모델링하지는 않는다.
학습은 먼저 평균제곱오차(MSE)로 변위 예측을 안정화한 뒤, 가우시안 음의 로그우도 손실로 전환한다. 논문 식 (2)에서 표본 하나에 해당하는 항을 상수 없이 쓰면 다음과 같다.
\mathcal{L}=\frac{1}{2}\log\det\hat{\Sigma}
+\frac{1}{2}(d-\hat{d})^\top\hat{\Sigma}^{-1}(d-\hat{d})여기서 d는 기준 변위, 나머지 두 출력은 예측 변위와 공분산이다. 오차가 큰데 지나치게 확신하면 두 번째 항이 커지고, 오차를 숨기려고 분산만 키우면 첫 번째 항이 커진다. 따라서 이동량을 잘 맞히는 것과 적절한 불확실성을 말하는 것을 함께 학습한다. 논문은 MSE로 10에포크 학습한 뒤 우도 손실로 전환했다고 보고한다.
3. Tight coupling: 과거와 현재 상태를 함께 보정한다
3.1 왜 과거 자세를 필터에 남기는가
신경망이 내놓는 것은 현재의 절대 위치가 아니라 두 시점 사이의 이동량이다. 따라서 현재 상태만으로는 관측을 표현하기 어렵다. TLIO는 확률적 상태 복제(stochastic cloning) 방식으로 과거의 자세와 위치를 필터에 남겨 둔다. 복제된 상태와 현재 상태 사이의 공분산도 함께 유지한다.
EKF는 원시 IMU의 운동학적 모델로 자세·속도·위치를 전파한다. 이후 신경망이 예측한 구간 변위와 필터의 두 위치 사이 차이를 비교해 업데이트한다. 이때 상태 간 상관관계를 통해 속도, 자세, 가속도계·자이로 바이어스까지 함께 보정할 수 있다. 예측 변위를 계속 이어 붙이는 방식과 달리, 이동량의 오차가 방향 추정과 센서 오차 추정에도 영향을 줄 수 있다는 점이 긴밀 결합의 의미다.
3.2 절대 방위를 아는 척하지 않는 관측식
IMU와 이 논문의 학습 사전지식만으로는 수평면의 절대 방위각, 즉 yaw를 결정할 수 없다. TLIO는 이 관측 불가능성을 깨지 않도록 구간 시작점에 고정된 국소 중력 정렬 좌표계에서 변위를 비교한다. 논문 식 (14)의 핵심은 다음과 같다.
h(X)=R_{\gamma_i}^{\top}(p_j-p_i)\approx\hat{d}_{ij}두 위치는 세계 좌표계의 값이고, 회전행렬은 구간 시작 시점의 yaw에 해당한다. 위치 차이를 국소 좌표계로 바꾼 뒤 네트워크 출력과 비교하는 것이다. yaw의 누적 오차를 줄이는 것과 절대 방위를 관측하는 것은 다르다. TLIO의 결과는 전자에 관한 주장이다.
3.3 불확실성은 필터의 가중치가 된다
칼만 필터는 현재 상태의 불확실성과 관측의 불확실성을 함께 보고 보정량을 결정한다. 네트워크가 어떤 움직임에 대해 확신하지 못하면 그 변위 관측의 영향은 줄어든다. 또한 카이제곱 검정으로 필터 예측과 크게 어긋나는 관측을 거부한다.
다만 이 시스템에는 중요한 근사도 있다. 같은 IMU를 상태 전파와 네트워크 입력에 모두 사용하고, 연속된 입력 창도 겹치므로 오차들이 완전히 독립적이지 않다. 논문은 학습 중 바이어스·중력 방향을 교란해 입력 오차에 대한 민감도를 낮추고, 실제 필터에 넣는 예측 공분산은 10배로 키운다. 이는 상관관계에 대응하는 실용적인 완화책이지, 독립성 가정을 수학적으로 복원하는 해결책은 아니다.

그림 2. 논문 §V-D·V-E·VII-A를 바탕으로 만든 입력 창 중첩 설명도. 연속 관측이 같은 데이터를 많이 공유하므로, 업데이트 횟수를 독립적인 새 정보의 수로 해석하면 안 된다.
4. 실험: 무엇과 비교했고 무엇이 좋아졌나
4.1 평가 조건부터 보기
| 항목 | 논문 설정 |
|---|---|
| 수집 장치·활동 | Bosch BMI055를 부착한 헤드셋, 걷기·정지·계단 이동 등 |
| 전체 데이터 | 400개 초과 시퀀스, 총 60시간, 5명 초과 참여자 |
| 분할 | 학습·검증·테스트 80%·10%·10% 무작위 분할 |
| 테스트 | 궤적 37개, 각 3–7분 |
| 기준값 | VIO가 추정한 자세와 위치 |
| 최종 시스템 | 200Hz 입력, 1초 변위 창, 20Hz 필터 관측 업데이트 |
비교 대상인 3D-RONIN은 원래 RoNIN의 결과를 그대로 가져온 것이 아니다. 저자들이 같은 데이터에서 학습한 네트워크의 출력을 사용해 3차원으로 확장한 기준선이다. 방향은 별도의 자세 추정 필터(AHRS)가 제공하고, 이동량은 이어 붙인다. 따라서 비교의 핵심은 동일한 문제에서 분리된 방향 추정과 이동량 누적을 EKF의 공동 추정으로 바꾸었을 때의 차이다.
4.2 대표 결과와 수치의 주의점
논문의 Figure 3에서는 TLIO가 3D-RONIN보다 위치와 yaw 관련 오차 지표에서 더 좋은 분포를 보인다. 위치 지표는 전체 궤적의 제곱평균제곱근 오차인 ATE와, 마지막 위치 오차를 이동 거리로 나눈 drift 등을 포함한다. 낮을수록 좋다.
| 확인 항목 | 저자 보고 | 읽을 때의 조건 |
|---|---|---|
| 평균 yaw drift 감소 | 27% | 서론과 §VII-B1에 모두 제시 |
| 평균 위치 drift 감소 | 서론 33%, §VII-B1 31% | 후자는 3D-RONIN-mse 대비라고 명시 |
| 축별 오차의 3σ 범위 포함 | 99% 초과 | 네트워크 단독 불확실성 분석, 약 60,000개 표본 |
위치 drift 개선율은 원문 안에서도 33%와 31%로 다르게 적혀 있다. 어느 한쪽을 임의로 대표 정답으로 택하기보다, 서론 요약과 구성 요소 분석의 보고를 구분하는 편이 정확하다. 이 값들은 상대적인 drift 감소율이며, 위치 정확도가 그만큼 퍼센트포인트 높아졌다는 뜻은 아니다.
불확실성 분석에서는 오차가 큰 표본에 더 큰 표준편차가 나오는 경향을 확인했다. 그렇다고 완벽한 확률 보정을 증명한 것은 아니다. 저자도 예측 불확실성이 다소 보수적인 경우가 있다고 설명한다.
4.3 좋은 신경망 점수가 곧 좋은 궤적은 아니다
구성 요소 분석에서 얻을 수 있는 메시지는 두 가지다.
- 공분산도 학습하는 것이 중요하다. 고정 공분산을 쓰는 TLIO 변형보다, 입력에 따라 공분산을 예측하는 최종 TLIO가 ATE와 drift에서 더 좋은 결과를 보였다. 단순히 EKF를 붙이는 것만이 핵심은 아니다.
- 입력 창을 늘려 MSE를 낮춰도 궤적은 꼭 좋아지지 않는다. 더 긴 중첩 창에서는 연속 예측의 오차 상관관계도 커질 수 있다. 개별 구간의 정확성과 누적 궤적의 정확성은 따로 평가해야 한다.
업데이트 빈도를 높이는 실험에서는 ATE와 drift가 줄었지만, 짧은 구간의 상대 yaw 오차는 증가해 방향 추정의 흔들림이 커지는 경향도 있었다. 모든 지표가 같은 방향으로 개선되는 것은 아니다.
5. 한계: IMU-only가 의미하는 범위
첫째, 학습한 움직임의 범위에 의존한다. 논문은 반복적인 옆걸음과 의자에 앉아 굴러가는 동작을 실패 사례로 제시한다. 보행 헤드셋에서 얻은 결과를 차량·로봇·다른 신체 부착 위치로 바로 일반화할 수 없다.
둘째, 좋은 초기화가 필요하다. 실험에서는 초기 속도와 roll·pitch를 기준값으로 초기화하고, 위치와 yaw는 좌표계의 기준을 고정하도록 설정했다. 센서의 공장 보정값도 사용했다. 따라서 이 실험은 카메라 없이 추적을 이어 갈 수 있음을 보여 주지만, 완전히 미지의 초기 상태에서 스스로 안정적으로 시작하는 문제까지 해결한 것은 아니다.
셋째, 평가 기준도 하나의 추정치다. 기준 궤적은 VIO 출력이며 데이터는 보행자 헤드셋 중심이다. 저자의 실험 결과를 실제 모든 환경에서의 절대 정확도 보장으로 읽어서는 안 된다.
구현을 살펴볼 때도 네트워크 단독 테스트와 전체 필터 평가를 구분해야 한다. 공식 README는 네트워크 테스트가 변위 적분에 정답 자세를 사용하므로 디버깅 도구에 가깝고, 그대로 벤치마크로 보지 말라고 안내한다. 이 글은 논문과 공개 문서를 정리한 것이며 모델 학습·추론을 재현한 결과는 아니다.
6. 정리
TLIO의 핵심은 IMU 적분을 딥러닝으로 모두 대체하는 데 있지 않다. 운동학적 전파는 필터에 맡기고, 신경망은 사람의 움직임에 대한 변위 사전지식과 그 불확실성을 제공한다. 그리고 두 시점 사이의 상대 관측을 이용해 위치뿐 아니라 자세와 센서 바이어스까지 함께 추정한다.
이 연구에서 가져갈 만한 설계 원칙은 예측 정확도만이 아니라 필터가 신뢰할 수 있는 불확실성, 관측 가능한 정보의 범위, 시간적으로 연결된 오차를 함께 다뤄야 한다는 점이다.

답글 남기기