분류 전체보기89 Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks(2019) 리뷰 RAG 서비스의 가장 근간이 되는 기술은 embedding 기술 그중 Sentence Transformers 라이브러리는 embedding에서 대체제가 없는 라이브러리라고 느껴졌고 자연스레 관심이 생겨 리뷰해보려 한다.Abstract&Introduction두 개 이상의 sentence pair를 regression하는 Semantic textual similarity(STS)와 같은 task에서는 대게 BERT base의 model들이었다. 하지만 이 model 들은 10000개의 sentence 비교를 위해 약 5000만 번의 필요했다.(모든 pair 간의 연산이므로 n(n+1)/2 약 O(n^2)번) 저자가 제안하는 SBERT는 기존 BERT base model이 65시간 걸리는 계산을 5초 이내에 .. 2025. 1. 19. 신입 AI 개발자 2024년 회고 2024년은 졸업 후 AI 개발자로 취업을 성공한 의미 깊은 해이다. 입사 후 반년도 채 되지 않은 지금 심정을 정리하고 올해를 돌아보려 한다.대학원&취업 준비이번 연도 6월까지는 대학원 입시에만 매진했었다. 나름 열심히 준비했다고 생각했지만 모두 떨어지고 무기력하게 하루하루를 보냈는데 돌이켜보면 당시에 대학원에 입학하고 싶다는 회피성 목표만 있었고 확실한 연구주제나 계획은 없어 실패하는 건 당연했던 것 같다. 한 번 바닥을 보고 나서 그런가 취준은 예상보다 어렵지 않았고 다행히도 2개월 안에 무난한 중소기업에 취업할 수 있었다. 취업도 대학원 입학도 못했던 시기에는 방에 쳐박혀서 뭐 하고 먹고사나 고민뿐이었지만 돌아보면 참 사소한 고민이었고 스스로를 조금 더 챙겼었으면 어땠을까 싶다.취업 이후입사한 .. 2025. 1. 9. A Survey on LLM-as-a-Judge(2024) 리뷰 LLM서비스를 개발하다 보면 fine tuning만을 위한 full dataset이 아니라 다른 포맷의 데이터에서는 잘 작동하는지 외부 데이터 소스를 잘 활용하는지 retrieval은 문제가 없는지 등 여러 시나리오에서 평가용 데이터셋이 필요한 경우가 많고 AI 개발자라 그런지 이런 경우 십중팔구 LLM api를 활용해 benchmark dataset을 만들어 성능을 평가한다. 나도 이러한 상황에 몇 번 처했는데 대부분 원하는 대로 동작했지만 가끔씩 data가 내 의도랑 좀 다르다거나 format이 마음에 들지 않는 등 성가신 상황이 가끔 발생했다.물론 정성들인 prompt engineering이 있다면 대다수의 문제를 해결할 수 있겠지만 조금 더 이 과정을 설득력 있게 해결하고 싶어 찾아본 논문이다... 2025. 1. 6. 2024년 빅분기 실기 합격 후기, 1주 공부법(전공자 기준) 23년도에는 3파트를 손대 못 대고 광탈했었는데 취업 후 빅분기 9회에 재도전해서 다행히 합격했다. 빅분기는 다른 IT 도메인 자격증들 중에 시행 횟수가 꽤 적은 편인데 1년에 두 번 밖에 시행하지 않는다. 그래서 그런지 문제유형도 고정적이지 않고 시중에 풀린 문제도 많지 않다. 이번에는 전공자를 기준으로 내가 어떤 컨텐츠로 공부했는지 적어보려고 한다. 필자는 numpy, pandas 같은 데이터 전처리, ML 라이브러리는 원활히 사용할 줄 알고 3유형에 나오는 통계 문제들은 개념조차 모르는 상태에서 공부를 시작했다. 물론 전공자이므로 책은 구매하지 않겠다는 전제를 깔고 들어갔다.(최근 3유형 문제들이 어느 정도 정형화돼서 귀찮으면 책 하나 떼는 것도 좋은 선택 같다)학습컨텐츠 정리 Kim Tae He.. 2024. 12. 24. 이전 1 2 3 4 ··· 23 다음
