Paper review31 ColBERT: Efficient and Effective Passage Search viaContextualized Late Interaction over BERT(2020) 리뷰 최근에는 계층적, Agentic, Modular 등의 다양한 RAG 방법론이 나오는데 basic 한 접근방법은 100만 개 이내의 embedding에 대한 exhaustive search 이후 k=1000 정도의 후보군에 대한 rerank를 사용하는 것이다. 흔히 사용되는 Reranker는 보통 Cohere reranker나 오픈소스 모델을 사용하는데 이들의 base가 되는 알고리즘이 ColBERT이다. RAG에서 DPR 정도의 위치에 있다고 보면 될 것 같다.Abstract&Introduction당시 IR에 language model(LM)을 사용하는 방법이 활발히 연구되고 있었지만 이 방법은 하나의 score를 얻기 위해 query, document쌍을 동시에 처리해야 하는 단점이 있다.이러한 단점을.. 2025. 3. 8. Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks(2019) 리뷰 RAG 서비스의 가장 근간이 되는 기술은 embedding 기술 그중 Sentence Transformers 라이브러리는 embedding에서 대체제가 없는 라이브러리라고 느껴졌고 자연스레 관심이 생겨 리뷰해보려 한다.Abstract&Introduction두 개 이상의 sentence pair를 regression하는 Semantic textual similarity(STS)와 같은 task에서는 대게 BERT base의 model들이었다. 하지만 이 model 들은 10000개의 sentence 비교를 위해 약 5000만 번의 필요했다.(모든 pair 간의 연산이므로 n(n+1)/2 약 O(n^2)번) 저자가 제안하는 SBERT는 기존 BERT base model이 65시간 걸리는 계산을 5초 이내에 .. 2025. 1. 19. A Survey on LLM-as-a-Judge(2024) 리뷰 LLM서비스를 개발하다 보면 fine tuning만을 위한 full dataset이 아니라 다른 포맷의 데이터에서는 잘 작동하는지 외부 데이터 소스를 잘 활용하는지 retrieval은 문제가 없는지 등 여러 시나리오에서 평가용 데이터셋이 필요한 경우가 많고 AI 개발자라 그런지 이런 경우 십중팔구 LLM api를 활용해 benchmark dataset을 만들어 성능을 평가한다. 나도 이러한 상황에 몇 번 처했는데 대부분 원하는 대로 동작했지만 가끔씩 data가 내 의도랑 좀 다르다거나 format이 마음에 들지 않는 등 성가신 상황이 가끔 발생했다.물론 정성들인 prompt engineering이 있다면 대다수의 문제를 해결할 수 있겠지만 조금 더 이 과정을 설득력 있게 해결하고 싶어 찾아본 논문이다... 2025. 1. 6. Toward Optimal Search and Retrieval for RAG(2024) 리뷰 Abstract&IntroductionRAG 성능은 크게 두 가지에 의존한다. 바로 query로부터 정보를 retrieval하는 retriever와 이를 이용해 문장을 생성하는 reader인데, 이 논문에서는 RAG에서 retriever의 성능을 어떤 식으로 최적화시켜야 할지 여러 실험을 통해 보여준다. 먼저 저자는 이 논문에서 retriever만의 contribution을 측정하기 위해 LLM의 tuning을 진행하지 않는다는 점을 먼저 언급했다. 구리고 보편적인 QA와 attributed QA task에 RAG 성능 평가를 진행했다는데 여기서 attributed QA란 LLM이 생성 시 어떤 document를 참고했는지 언급하는 task를 말한다.Experiment setupLLM instructio.. 2024. 12. 3. 이전 1 2 3 4 ··· 8 다음
