ImportError: Could not import sentence_transformers python package. Please install it with `pip install sentence-transformers`해결방법

RAG하려고 환경 깔때마다 가끔 나오는 에러였는데 발생 이유를 몰라서 나올때마다 찾아보기 위해 해결법만 정리해보려한다.

TL'DR

pip install datasets -U

문제파악

로그로는 sentence-transformers 라이브러리 문제 같은데 다시 깔거나 버전 업을 해도 당연하게도? 해결되지는 않는다. 로그를 쭉 위로 올리다 보면

<<<ImportError: cannot import name 'IterableDataset' from 'datasets' (/home/yhkim/env/BBG/lib/python3.10/site-packages/datasets/__init__.py)>>>

이런 느낌의 로그가 있는데 datasets로 인해 발생했다는걸 알 수 있다. 보통 라이브러리 문제는 재설치하면 대부분 해결되므로

pip install datasets -U

바로 시전한 결과 버전이 1.4.1->3.1.0으로 올랐다. 아마 다른 라이브러리에서 꽤 옛날 버전으로 datasets를 설치한것 같다.

결과는 역시나. 원인을 모르겠어도 컴퓨터는 안되면 재설치가 답이다.