[태그:] Deep Learning

  • [논문 정리] CNN 아키텍처 서베이: 구조의 발전과 7가지 분류

    A Survey of the Recent Architectures of Deep Convolutional Neural Networks Asifullah Khan, Anabia Sohail, Umme Zahoora, Aqsa Saeed Qureshi · Artificial Intelligence Review, 2020 논문 · 원문 · 출판 DOI 핵심 요약 이 논문은 ImageNet 같은 대규모 이미지 데이터와 GPU 학습을 바탕으로 CNN 아키텍처가 빠르게 다양해지던 시기를 다룬다. 특히 AlexNet 이후인 2012~2020년의 주요 구조를…

  • [논문 정리] Attention Is All You Need: Transformer의 구조와 핵심 원리

    Attention Is All You Need Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser, Illia Polosukhin · NIPS 2017 논문 · 본문 · 공식 구현 핵심 요약 이 논문이 발표된 2017년의 기계 번역 연구에서는 RNN·LSTM 기반 인코더·디코더에 attention을 결합하는 방식이 널리 사용됐다. 그러나 토큰을 순서대로 처리하는 구조는 학습 병렬화와…