이번에 다뤄볼 논문은 Low-Rank Adaptation of Large Language Models입니다. Abstract 자연어 처리의 중요한 패러다임 중 하나는 일반 도메인 데이터에서 대규모 사전 학습을 진행한 후 특정 작업 또는 도메인에 대한 adaptation을 하는 것입니다. pre-training하는 모델이 커질수록, 전체를 fine-...

이번에 다뤄볼 논문은 End-to-End Object Detection with Transformers입니다. 이 논문은 Object Detection에 대한 새로운 프레임워크인 DETR을 제안합니다. DETR의 주요 구성 요소는 bipartite matching을 통해 고유한 예측을 유도하는 set-based global loss와 transfo...

Segmentation task에서 평가 지표에 대해서 알아보도록 하겠습니다. IoU(Intersection over Union) 예측된 bounding box와 ground truth의 합집합과 교집합의 비율입니다. 0 ~ 1 사이의 값을 가지며, 1에 가까울수록 좋은 성능이고 0에 가까울수록 낮은 성능입니다. object 각각...

이번에는 Panoptic Segmentation에 대해서 알아보겠습니다. Panoptic Segmentation은 Image Segmentation task 종류 중의 하나입니다. 먼저 Image Segmentation의 종류에 대해 간단하게 정리해봅시다. Image Segmentation은 이미지를 몇 개의 object로 분할하는 task입니다...

이번에는 다음에 리뷰할 DETR 논문에 등장하는 Bipartite Matching에 대해서 알아보도록 하겠습니다. Bipartite Matching은 그래프 이론과 조합 최적화에서 중요한 개념입니다. 이렇게 Group A, Group B 두 집단이 있을 때, 모든 간선의 용량이 1이면서 양쪽 노드가 서로 다른 집단에 속하는 그래프를 이분 그래프...

이번엔 오디오 신호 처리 분야 논문을 접하는 데 도움이 되는 Background에 대해서 알아보겠습니다. LUFS(Loudness Units Relative to Full Scale) 오디오 신호의 음량을 측정하고 정량화하는 데 사용되는 단위입니다. 가청 주파수를 의미하며 인간이 느끼는 소리의 크기를 의미합니다. 마이너스 무한대에서 시작해서 소리...

이번에는 A Robust Vocal And Accompaniment Separation System Using Gated CBHG Module And Loudness Normalization 논문 리뷰를 진행해보겠습니다. 이 논문은 음원 분리 기술에 대한 내용을 다룹니다. 약간 생소할 수 있는 용어가 나오기 때문에 간단하게 도움이 될 만한 용어들을 ...

이번에는 AN IMAGE IS WORTH 16X16 WORDS:TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE 논문 리뷰를 시작해보겠습니다. Abstract Transformer 아키텍처는 자연어 처리 작업에서 표준적인 방법이 되었지만, 컴퓨터 비전 분야에서는 컨볼루션 아키텍처가 여전히 주류로 사용되고 있습니다. 비...

논문을 공부하면서 inductive bias라는 용어를 자주 볼 수 있는데요 오늘은 inductive bias에 대해서 알아보겠습니다. Inductive Bias란? 모델이 데이터로부터 일반화를 추론하는 데 도움을 주는 미리 종의된 가정이나 제한 사항을 의미하는데요. 일반적으로 모델이 갖는 generalization problem은 모델이 br...

안녕하세요 이번에 다룰 논문은 “Attention Is All You Need” 논문입니다. 정말 유명한 논문이죠! 논문의 제목조차 한번 들으면 잊을 수 없는 임팩트를 가지고 있습니다. 이 논문은 BERT, GPT 등의 기반이 되어 NLP 분야에 엄청난 영향력을 끼친 논문입니다. 처음으로 RNN, CNN을 완전히 배제하고 전적으로 어텐션 메커니즘...