LLM 개발기

#diary #LLM #development #finetuning

오늘 개인적으로 가장 놀라운 개발 경험 중 하나를 하며 LLM을 설치하고 튜닝했던 이야기를 기록한다.[]

위키텍스트 데이터셋 불러오기

Huggingface의 Salesforce/wikitext 데이터셋은 Wikipedia 검증된 좋은 글에서 발췌한 1억 토큰 이상의 방대한 영어 코퍼스다. LLM 학습에 매우 인기 있는 데이터셋으로, load_dataset() 코드 한 줄로 간단하게 불러올 수 있다.huggingface+3

설치 과정의 우여곡절

설치 과정에서 난관에 봉착했다. Geforce 3060 GPU와 Pytorch를 기반으로 conda와 pip 설치가 엉켜 충돌이 발생했다. Conda 가상환경에 설치했을 때 GPU가 제대로 인식되지 않고, pip로 설치하면 CUDA 버전이 서로 달라 작동에 문제가 생겼다. 최신 패키지들은 pip로 설치할 때 GPU 환경설정이 더 수월하지만, CUDA 버전 호환성 체크가 필수라는 교훈을 얻었다. 결국 여러 번 삭제와 재설치를 반복, 환경설정을 깔끔하게 정리하는 데만 한참이 걸렸다.discuss.pytorch+2

데이터셋 정제와 모델 튜닝

데이터셋이 너무 커서 학습시간이 무한정 늘어나는 바람에 필터링과 줄이기 작업을 했다. LLM을 랩탑 환경에서 수월하게 학습시키려, 데이터셋의 크기를 10분의 1로 줄여서 샘플링 후 학습을 진행했다.gpters

최초 생성 모델 결과

결국 완성한 LLM 모델은 의외로 예상치 못한 “웃기는 생성기” 수준이었다. 직접 만든 AI로 몇몇 문장을 출력해 보니 결과가 코믹하고 엉뚱해서 7살짜리 조카도 배꼽 잡고 웃었다. “멍텅구리 AI”라며 합창까지 하셨다.

느낀 점

혼자서 LLM 설치부터 데이터 전처리, GPU 설정까지 해내며 얻은 교훈은 다음과 같다.

• 환경 구성이 가장 어렵고, 작은 버전 차이가 큰 문제로 이어질 수 있다.inflearn+1

• 적은 데이터셋으로도 커스텀 AI를 구현해볼 수 있다는 즐거움.gpters+1

• 결과가 기대와 달라서 실망 대신 웃음을 얻기도 한다는 유쾌한 경험이었다.

다음에는 더 똑똑한 생성기를 만들어 보고 싶다. 오늘 하루, 정말 뜻깊은 성장의 시간이었다!