본문 바로가기

Kyujinpy

(152)
[MoCo 논문 리뷰] - Momentum Contrast for Unsupervised Visual Representation Learning *MoCo 논문 리뷰를 코드와 같이 분석한 글입니다! SSL 입문하시는 분들께 도움이 되길 원하며 궁금한 점은 댓글로 남겨주세요. *SSL(Self-Supervised-Learning) 중 contrastive learning을 위주로 다룹니다! Moco paper: [1911.05722] Momentum Contrast for Unsupervised Visual Representation Learning (arxiv.org) Momentum Contrast for Unsupervised Visual Representation Learning We present Momentum Contrast (MoCo) for unsupervised visual representation learning. From a..
[SimCLR 논문 리뷰] - A Simple Framework for Contrastive Learning of Visual Representations *SimCLR 논문 리뷰를 위한 글입니다! SSL 입문하시는 분들께 도움이 되길 원하며 궁금한 점은 댓글로 남겨주세요. *SSL(Self-Supervised-Learning) 중 contrastive learning을 위주로 다룹니다! *해당 글에서는 Proxy task 논문, Exemplar, Jigsaw Puzzle에 대한 간단한 설명도 포함되어 있습니다. SimCLR paper: [2002.05709] A Simple Framework for Contrastive Learning of Visual Representations (arxiv.org) A Simple Framework for Contrastive Learning of Visual Representations This paper prese..
[FissureNet 논문 리뷰] - FissureNet: A Deep Learning Approach For Pulmonary Fissure Detection in CT Images * 해당 글은 논문 리뷰를 위한 글이고, 궁금하신 점이 있다면 댓글로 남겨주세요! FissureNet paper: FissureNet: A Deep Learning Approach For Pulmonary Fissure Detection in CT Images - PMC (nih.gov) FissureNet: A Deep Learning Approach For Pulmonary Fissure Detection in CT Images Pulmonary fissure detection in computed tomography (CT) is a critical component for automatic lobar segmentation. The majority of fissure detection method..
[UNETR++ 논문 리뷰] - UNETR++: Delving into Efficient and Accurate 3D Medical Image Segmentation *UNETR++ 논문 리뷰를 위한 글입니다. 질문이 있다면 댓글로 남겨주시길 바랍니다! UNETR++ paper: [2212.04497] UNETR++: Delving into Efficient and Accurate 3D Medical Image Segmentation (arxiv.org) UNETR++: Delving into Efficient and Accurate 3D Medical Image Segmentation Owing to the success of transformer models, recent works study their applicability in 3D medical segmentation tasks. Within the transformer models, the self-at..
[UNETR 논문 리뷰] - UNETR: Transformers for 3D Medical Image Segmentation *UNETR 논문 리뷰를 위한 글이고, 질문이 있으시다면 언제든지 댓글로 남겨주세요! UNETR paper: [2103.10504] UNETR: Transformers for 3D Medical Image Segmentation (arxiv.org) UNETR: Transformers for 3D Medical Image Segmentation Fully Convolutional Neural Networks (FCNNs) with contracting and expanding paths have shown prominence for the majority of medical image segmentation applications since the past decade. In FCNNs, the enco..
[TransUNet 논문 리뷰] - TransUNet: Transformers Make Strong Encoders for Medical Image Segmentation *TransUNet 논문 리뷰를 위한 글이고, 질문이 있으시다면 언제든지 댓글로 남겨주세요! TransUNet paper: [2102.04306] TransUNet: Transformers Make Strong Encoders for Medical Image Segmentation (arxiv.org) TransUNet: Transformers Make Strong Encoders for Medical Image Segmentation Medical image segmentation is an essential prerequisite for developing healthcare systems, especially for disease diagnosis and treatment planning. On v..
[(3D) U-Net 논문 리뷰] - 3D U-Net: Learning Dense Volumetric Segmentation from Sparse Annotation *U-Net 논문 리뷰를 위한 글이고, 질문이 있으시다면 언제든지 댓글로 남겨주세요! 3D U-Net paper: [1606.06650] 3D U-Net: Learning Dense Volumetric Segmentation from Sparse Annotation (arxiv.org) 3D U-Net: Learning Dense Volumetric Segmentation from Sparse Annotation This paper introduces a network for volumetric segmentation that learns from sparsely annotated volumetric images. We outline two attractive use cases of this method..
[Swin Transformer 논문 리뷰] - Swin Transformer: Hierarchical Vision Transformer using Shifted Windows *Swin Transformer 논문 리뷰를 위한 글이고, 질문이 있으시다면 언제든지 댓글로 남겨주세요! Swin Transformer 논문: [2103.14030] Swin Transformer: Hierarchical Vision Transformer using Shifted Windows (arxiv.org) Swin Transformer: Hierarchical Vision Transformer using Shifted Windows This paper presents a new vision Transformer, called Swin Transformer, that capably serves as a general-purpose backbone for computer vision. Challen..
[Vision Transformer 논문 리뷰] - AN IMAGE IS WORTH 16X16 WORDS:TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE *Vision Transformer 논문 리뷰를 위한 글이고, 질문이 있으시다면 언제든지 댓글로 남겨주세요! Vision Transformer paper: https://arxiv.org/abs/2010.11929 An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale While the Transformer architecture has become the de-facto standard for natural language processing tasks, its applications to computer vision remain limited. In vision, attention is either applied in co..
[Transformer 논문 리뷰] - Attention is All You Need (2017) *Transformer 논문 리뷰를 위한 글이고, 질문이 있으시다면 언제든지 댓글로 남겨주세요! Transformer paper: https://arxiv.org/abs/1706.03762 Attention Is All You Need The dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performing models also connect the encoder and decoder through an attention mechanism. We propose a new arxiv.org ..
Dimension and Rank - Dimension, Rank, B-coordinates * 본 글은 선형대수학 복습을 상기시키기 위한 글로, 설명이 매우 부족할(?) 수 있습니다. B-coordinates는 Basis의 좌표계를 의미하는 것이다. 즉 상대적인 좌표계의 의미라고 생각하면 된다. (Basis space 안에서) 위의 예제를 보면 x라는 항목은 basis를 구성하는 v1, v2의 벡터에 의해서 상대적인 좌표 (2,3)을 갖는다. -> 이런 의미로 해석 가능 Rank는 pivot의 개수! Dimension은 차원의 개수(?) dim Nul A의 경우는 null space를 구성하는 벡터의 개수를 의미하기 때문에, free variables의 개수가 된다! 앞의 부분의 inverse matrix와 이어진다. (추가적인 성질)
Subspaces - Col A, Nul A, Basis * 본 글은 선형대수학 복습을 상기시키기 위한 글로, 설명이 매우 부족할(?) 수 있습니다. Col A: column space의 linear combination으로 나타낼 수 있는 공간(집합) Nul A: Ax = 0 꼴의 homogeneous equation의 해로 나타낼 수 있는 공간(집합) 예전 수업에서 배울 때, Span과 Basis 개념이 헷갈려서 죽을 것 같았던(?) 기억이 난다. Span과 Basis는 vector들의 집합으로 이루어진 공간을 의미하는건 맞다! 근데 큰 차이점이 있다. Span을 구성하는 벡터들은 linearly dependent해도 된다! (possible) 그러나 Basis를 구성하는 벡터들은 linearly independent해야한다! (must) 이것이 가장 큰 ..

반응형