Paper review30 Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks(2019) 리뷰 RAG 서비스의 가장 근간이 되는 기술은 embedding 기술 그중 Sentence Transformers 라이브러리는 embedding에서 대체제가 없는 라이브러리라고 느껴졌고 자연스레 관심이 생겨 리뷰해보려 한다.Abstract&Introduction두 개 이상의 sentence pair를 regression하는 Semantic textual similarity(STS)와 같은 task에서는 대게 BERT base의 model들이었다. 하지만 이 model 들은 10000개의 sentence 비교를 위해 약 5000만 번의 필요했다.(모든 pair 간의 연산이므로 n(n+1)/2 약 O(n^2)번) 저자가 제안하는 SBERT는 기존 BERT base model이 65시간 걸리는 계산을 5초 이내에 .. 2025. 1. 19. A Survey on LLM-as-a-Judge(2024) 리뷰 LLM서비스를 개발하다 보면 fine tuning만을 위한 full dataset이 아니라 다른 포맷의 데이터에서는 잘 작동하는지 외부 데이터 소스를 잘 활용하는지 retrieval은 문제가 없는지 등 여러 시나리오에서 평가용 데이터셋이 필요한 경우가 많고 AI 개발자라 그런지 이런 경우 십중팔구 LLM api를 활용해 benchmark dataset을 만들어 성능을 평가한다. 나도 이러한 상황에 몇 번 처했는데 대부분 원하는 대로 동작했지만 가끔씩 data가 내 의도랑 좀 다르다거나 format이 마음에 들지 않는 등 성가신 상황이 가끔 발생했다.물론 정성들인 prompt engineering이 있다면 대다수의 문제를 해결할 수 있겠지만 조금 더 이 과정을 설득력 있게 해결하고 싶어 찾아본 논문이다... 2025. 1. 6. Toward Optimal Search and Retrieval for RAG(2024) 리뷰 Abstract&IntroductionRAG 성능은 크게 두 가지에 의존한다. 바로 query로부터 정보를 retrieval하는 retriever와 이를 이용해 문장을 생성하는 reader인데, 이 논문에서는 RAG에서 retriever의 성능을 어떤 식으로 최적화시켜야 할지 여러 실험을 통해 보여준다. 먼저 저자는 이 논문에서 retriever만의 contribution을 측정하기 위해 LLM의 tuning을 진행하지 않는다는 점을 먼저 언급했다. 구리고 보편적인 QA와 attributed QA task에 RAG 성능 평가를 진행했다는데 여기서 attributed QA란 LLM이 생성 시 어떤 document를 참고했는지 언급하는 task를 말한다.Experiment setupLLM instructio.. 2024. 12. 3. Dense Passage Retrieval for Open-Domain Question Answering(2020) 리뷰 RAG 업무를 맡으며 팀원이 추천해 준 논문인데 저자의 기법보다는 전반적으로 task의 흐름에 대해 잘 설명해 줘서 주의 깊게 읽은 논문이다. RAG 성능을 끌어올리기 위한 새로운 기법을 알고싶은 분들보다는 LLM 시대 이전의 전반적인 ODQA가 어떤 식으로 이루어졌는지 상세한 과정을 알고 싶은 사람들은 한 번쯤 읽어보면 좋을것 같다.Abstract & Introduction이 논문에서 저자는 기존의 sparse한 retrieval 방법론들(TF-IDF, BM25)보다 뛰어난 성능을 보여주는 dense representation을 통한 retrieval 방법론을 제시한다. 당시의 Open-domain question answering(ODQA)는 크게 두 가지 모듈의 성능에 좌우되었다.Retrieve.. 2024. 11. 16. 이전 1 2 3 4 ··· 8 다음
