rank (2) 썸네일형 리스트형 [LoRA 논문 리뷰] - LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS *LoRA를 위한 논문 리뷰 글입니다! 궁금하신 점은 댓글로 남겨주세요! LoRA paper: https://arxiv.org/abs/2106.09685 LoRA: Low-Rank Adaptation of Large Language Models An important paradigm of natural language processing consists of large-scale pre-training on general domain data and adaptation to particular tasks or domains. As we pre-train larger models, full fine-tuning, which retrains all model parameters, becomes le arxi.. Dimension and Rank - Dimension, Rank, B-coordinates * 본 글은 선형대수학 복습을 상기시키기 위한 글로, 설명이 매우 부족할(?) 수 있습니다. B-coordinates는 Basis의 좌표계를 의미하는 것이다. 즉 상대적인 좌표계의 의미라고 생각하면 된다. (Basis space 안에서) 위의 예제를 보면 x라는 항목은 basis를 구성하는 v1, v2의 벡터에 의해서 상대적인 좌표 (2,3)을 갖는다. -> 이런 의미로 해석 가능 Rank는 pivot의 개수! Dimension은 차원의 개수(?) dim Nul A의 경우는 null space를 구성하는 벡터의 개수를 의미하기 때문에, free variables의 개수가 된다! 앞의 부분의 inverse matrix와 이어진다. (추가적인 성질) 이전 1 다음
