본문 바로가기

Al Basic11

IoU, GIoU, DIoU, CIoU Introduction객체 탐지(Object detection)에서는 크게 2가지에 대한 loss function이 필요함.Object ClassificationBounding Box Regression해당 article에서는 Bounding Box Regression에 대해서만 다룰 예정임.우선 IoU 기반의 loss function을 살펴보기에 앞서 기존의 Regression task와 관련된 loss function(MSE, MAE 등)의 한계를 살펴보자.MSE큰 객체에 대한 예측은 실제값(Ground Truth, GT)와 매우 유사해보이지만, 작은 객체에 대한 예측은 실제값과 다소 거리가 있어보인다.그러나 실제값과 예측값에 대한 거리는 큰 객체와 작은 객체 모두 동일하다.이는 loss 값과 gra.. 2024. 4. 26.
[Python] Poetry 프로젝트를 진행하다보면 라이브러리 간의 의존성 문제로 인해 프로젝트 자체보다는 환경 설정에 시간을 허비하는 경우가 많다. 그래서 주로 프로젝트마다 가상환경을 만들고 그 가상환경에 프로젝트에 필요한 패키지를 설치하여 작업 공간을 분리한다. 기존에는 conda나 virtualenv를 사용했지만, poetry라는 툴을 접하게 되면서 Poetry에 대해 더 능숙하게 사용하고자 글로 정리하고자 한다. 1. poetry란? Poetry is a tool for dependency management and packaging in Python. It allows you to declare the libraries your project depends on and it will manage (install/update.. 2023. 12. 28.
[NLP] ELMo 고려대학교 산업경영공학부 DSBA 강필성 교수님의 '[Korea University] Unstructured Data Analysis(Text Analytics)' ELMo : Embeddings from Language Models ELMo는 사전 훈련된 언어 모델을 사용하며, 다양한 문맥에서 사용되는 단어들을 다르게 임베딩한다는 특징을 지닌다. → 눈(Eye)과 눈(Snow)는 다르게 임베딩된다! ElMo는 개별 단어에 임베딩 값을 할당할 때 모든 입력 시퀀스(input sequence)의 정보를 사용한다. → 순방향과 역방향의 언어 모델을 모두 학습하는 bi-directional LM이다. → 앞서 등장한 단어들 뿐만 아니라 이후에 등장하는 단어들을 고려하여 특정 단어의 임베딩을 산출한다. (LST.. 2023. 10. 11.
[NLP] Topic Modeling 고려대학교 산업경영공학부 DSBA 강필성 교수님의 '[Korea University] Unstructured Data Analysis(Text Analytics)' Topic Modeling 특정 문서가 갖는 Topic의 비중을 통해 해당 문서를 K(=Topic의 수) 차원의 벡터로 표현할 수 있다. 이를 통해 각 문서 간의 유사도를 계산할 수 있기 때문에 Topic Modeling은 Distributed Representation을 하는 하나의 대안이 된다. Topic Modeling을 하기 위한 가장 간단한 접근은 LSA(Latent Semantic Analysis)이다. $$(U_{k}^{T}U_{k}) \Sigma_{k}V_{k}^{T} = U_{k}^{T}A_{k}$$ 위와 같은 LSA를 통해 .. 2023. 10. 4.
[NLP] Dimensionality Reduction 고려대학교 산업경영공학부 DSBA 강필성 교수님의 '[Korea University] Unstructured Data Analysis(Text Analytics)' Dimensionality Reduction 텍스트 데이터가 BoW(Bag-of-Words)로 표현되었을 때, 실제로는 일부 단어만이 text mining task와 연관되어있다. High dimensionality : 단어의 수가 문서의 수보다 많다. → 기존의 통계적 방법론을 사용하기에 한계가 있다. Sparseness : TDM의 대부분의 원소가 0으로 이루어져 있다. → 저장(메모리)과 연산의 비효율성을 초래한다. → 연산의 효율성을 높이고 텍스트 마이닝의 성능을 높이기 위해서는 차원 축소(Dimensionality Reduction).. 2023. 10. 3.
[NLP] Text Representation 고려대학교 산업경영공학부 DSBA 강필성 교수님의 '[Korea University] Unstructured Data Analysis(Text Analytics)' Count-based Representations 문서 내 사용되는 단어의 수나 문서의 길이가 문서마다 다르기 때문에 텍스트 데이터를 알고리즘에 적용하기 위해서는 각 단어를 고정된 길이의 벡터로 표현하는 것이 중요하다. 이때 각 단어가 등장한 횟수를 기반으로 표현하는 것을 Count-based Representation 라고 한다. 전체 문서에서 등장한(= corpus 내에 있는) 단어의 수가 $d$이고 각 문서를 $x$ 라고 할 때, $x \in R^{d}$ 라고 할 수 있다. 1) Bag of Words(BoW) 단어들의 빈도로부터 내용.. 2023. 9. 25.