GPT4ALL GPT를 내 컴퓨터에서 돌려보자

1. 세줄요약

01. GPT4ALL은 개인 컴퓨터에서 돌아가는 GPT다.

02. nomic-ai/gpt4all Github 오픈 소스를 가져와서 구동만 해봤다. 

03. 혁신이다. 특이점이 도래할 가능성을 엿보게됐다.

잘대답해준다.

 

2. 내용

(1) GPT4ALL은 무엇일까?

GPT4ALL은 Github에 들어가면 아래와 같은 설명이 있습니다.

Demo, data, and code to train an assistant-style large language model with ~800k GPT-3.5-Turbo Generations based on LLaMa

LLaMa는 페이스북에서 개발한 대규모 언어 모델인데 이를 기반으로 GPT 3.5 turbo의 80만개(800k) 파라미터를 기반으로 학습한 GPT입니다. 오픈소스 사용은 괜찮은데, 상업적으로 이용하지 말라고 하네요.

(2) GPT4ALL Github에서 로컬(내컴퓨터)로 설치하기

https://github.com/nomic-ai/gpt4all

GitHub - nomic-ai/gpt4all: gpt4all: an ecosystem of open-source chatbots trained on a massive collections of clean assistant dat

매우 단순합니다.

① Github에서 clone repo를 합니다. 그 다음에 vscode에 연결합니다. 

② gpt4all-lora-quantized.bin 해당 파일을 다운로드 받습니다.

③ 프로젝트 경로 중 chat폴더에 넣습니다. 

④ 아래 스크린샷과 같이 vscode내에서  터미널을 실행시키고 ./gpt4all-lora-quantized-win64.exe를 실행시킵니다.

⑤ chat mode로 사용합니다. 

(3) 가능성

개인 자원에서 GPT가 돌아갈 수 있다는 가능성을 확인했습니다. 물론 LLaMa 대용량 데이터 모델을 어떻게 학습시킬지, 개인을 위해 fine tuning이 가능한지, custom할 수 있는지는 고민을 해봐야겠지만, 그게 가능하다면 지금까지 상상하지 못했던 다양한 서비스들이 등장할 것입니다. 

 

3. 마치며

이번 시간은 GPT4ALL에 대해 알아봤습니다.

개인 DB를 연결해서 해당 내용들을 이해하고 답변해주는 GPTbot을 개발하고 싶은데 어떻게 개발할지 고민해봐야겠습니다.

질문이 있으시면 언제든 댓글 남겨주세요! 답변드리겠습니다. 같이 공부합시다^^
이 글을 보는 모든 분들 오늘 하루가 행복하시길 바랍니다.
감사합니다.