Paper review28 Toward Optimal Search and Retrieval for RAG(2024) 리뷰 Abstract&IntroductionRAG 성능은 크게 두 가지에 의존한다. 바로 query로부터 정보를 retrieval하는 retriever와 이를 이용해 문장을 생성하는 reader인데, 이 논문에서는 RAG에서 retriever의 성능을 어떤 식으로 최적화시켜야 할지 여러 실험을 통해 보여준다. 먼저 저자는 이 논문에서 retriever만의 contribution을 측정하기 위해 LLM의 tuning을 진행하지 않는다는 점을 먼저 언급했다. 구리고 보편적인 QA와 attributed QA task에 RAG 성능 평가를 진행했다는데 여기서 attributed QA란 LLM이 생성 시 어떤 document를 참고했는지 언급하는 task를 말한다.Experiment setupLLM instructio.. 2024. 12. 3. Dense Passage Retrieval for Open-Domain Question Answering(2020) 리뷰 RAG 업무를 맡으며 팀원이 추천해 준 논문인데 저자의 기법보다는 전반적으로 task의 흐름에 대해 잘 설명해 줘서 주의 깊게 읽은 논문이다. RAG 성능을 끌어올리기 위한 새로운 기법을 알고싶은 분들보다는 LLM 시대 이전의 전반적인 ODQA가 어떤 식으로 이루어졌는지 상세한 과정을 알고 싶은 사람들은 한 번쯤 읽어보면 좋을것 같다.Abstract & Introduction이 논문에서 저자는 기존의 sparse한 retrieval 방법론들(TF-IDF, BM25)보다 뛰어난 성능을 보여주는 dense representation을 통한 retrieval 방법론을 제시한다. 당시의 Open-domain question answering(ODQA)는 크게 두 가지 모듈의 성능에 좌우되었다.Retrieve.. 2024. 11. 16. Compact Language Models via Pruning and Knowledge Distillation(2024)리뷰 LLM 논문을 분야 가리지 않고 여럿 읽던 중에 Nvidia의 경량화 관련 논문이 나와서 가볍게 읽어보고 리뷰해보려 한다. 이 기법은 nvidia에서 nemotron을 경량화하여minitron을 만드는 데 사용했다고 한다.Abstract&Introduction저자는 이 논문에서 현존하는 LLM을 기존보다 작은(의 데이터셋으로 경량화하고 retraining하는 방법론을 제안 경량화 방법으로는 pruning을 사용했으며 retraining에는 knowledge distillation(KD)를 사용했으며 기존 Nemotron4-15B모델을 8B와 4B로 경량화하였다. 연구의 시작점은 다음과 같은데 LLAMA, GPT 등 최근 LLM 모델들은 대게 7B, 13B, 70B 등 여러 parameter size의 모.. 2024. 11. 5. STaR: Self-Taught ReasonerBootstrapping Reasoning With Reasoning(2022) 리뷰 최근 o1이 등장하고 직접 써보니 무언가 기존과는 확실히 다른 inference과정을 거친다는게 느껴졌다. 찾아보니 self correctetion이라는 개념이 적용됐을 거라고 추측하는 글이 몇몇 있어 관련 논문을 리뷰해 보기로 했다. https://github.com/teacherpeterpan/self-correction-llm-papers?tab=readme-ov-file#post-hoc-correction GitHub - teacherpeterpan/self-correction-llm-papers: This is a collection of research papers for Self-Correcting Large LanguageThis is a collection of research paper.. 2024. 10. 8. 이전 1 2 3 4 ··· 7 다음
