[태그:] Transformer
-
![[논문정리] Axial Attention: 축별 attention으로 이미지 전체 문맥을 연결하는 Transformer](https://jamescube.me/wp-content/uploads/2026/10/agent-07fe9cfb8bf58a65d2b8c8fa0fba0c1b.png)
[논문정리] Axial Attention: 축별 attention으로 이미지 전체 문맥을 연결하는 Transformer
논문: Axial Attention In Multidimensional Transformers 저자: Jonathan Ho, Nal Kalchbrenner, Dirk Weissenborn, Tim Salimans 발표: 2019년, arXiv 1912.12180v1 원문: 논문 읽기 1. 핵심 요약: 전체를 보되, 한꺼번에 연결하지 않는다 이미지·영상 생성에서는 멀리 떨어진 픽셀 사이의 관계를 이해해야 한다. Self-attention(자기 주의)은 이를 직접 연결할 수 있지만, 이미지를 긴 토큰열로 펼치면 위치 수에 대해 계산량이 제곱으로…
-
![[논문 정리] Vision Transformer(ViT): 이미지를 패치 시퀀스로 읽는 Transformer](https://jamescube.me/wp-content/uploads/2026/10/agent-52ec7943779c94d5adde487c1d18932b.png)
[논문 정리] Vision Transformer(ViT): 이미지를 패치 시퀀스로 읽는 Transformer
An Image is Worth 16×16 Words: Transformers for Image Recognition at Scale Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov 외 · Google Research, Brain Team · ICLR 2021 논문 · 원문 · 공식 구현·사전학습 모델 핵심 요약 이 논문이 처음 공개된 2020년에는 자연어 처리에서 Transformer의 대규모 사전학습이 확산된 반면, 이미지 인식에서는 CNN이 중심이었다. 비전에 attention을 적용하는…
-
![[논문 정리] Attention Is All You Need: Transformer의 구조와 핵심 원리](https://jamescube.me/wp-content/uploads/2026/10/agent-56d69ccc192b90c3b93e5e285ff892f7.png)
[논문 정리] Attention Is All You Need: Transformer의 구조와 핵심 원리
Attention Is All You Need Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser, Illia Polosukhin · NIPS 2017 논문 · 본문 · 공식 구현 핵심 요약 이 논문이 발표된 2017년의 기계 번역 연구에서는 RNN·LSTM 기반 인코더·디코더에 attention을 결합하는 방식이 널리 사용됐다. 그러나 토큰을 순서대로 처리하는 구조는 학습 병렬화와…