Meta Llama3 메타 AI LLM 성능 테스트 GPT openAI

1. 세줄요약

01. 메타 Llama 3 을 google colab에서 돌렸다. GPU 기준 약 1분에서 3분 정도 소요된다. (token 256 기준)

02. 기술 이해는 부족하지만 Llama2에서 안됐던 한국어가 Llama 3에선 비슷하게 흉내를 낸다.(신기신기)

03. 조금만 있으면 Local에서 LLM을 사용할 수 있는 날이 올 것이다.(확신에 찬 어조)

2. 내용

(1) 구글 Colab 실행

Google Colab을 실행합니다. 상단에 <런타임> 메뉴를 클릭하고 런타임 유형 변경을 클릭합니다.

하드웨어 가속기로 T4 GPU를 선택해줍니다. 프리미엄 GPU를 살 돈이 없습니다..(사랑해요 구글)

성능을 한번 확인해봅시다.

!nvidia-smi

Tesla T4인 것을 확인했습니다. GPU Colab 최고! 

이제 아래 스크립트를 차례대로 실행합니다.

#accelerate 설치하기
!pip install accelerate

import os
os.environ['HF_TOKEN'] = "Meta Llama3 token을 입력하세요."

 

여기서 Meta Llama3를 구동하려면 token을 받아야 합니다.

https://huggingface.co/meta-llama/Meta-Llama-3-8B-Instruct

meta-llama/Meta-Llama-3-8B-Instruct · Hugging Face

여기서 토큰을 받은 다음 토큰을 입력하면 됩니다.

#eta-Llama-3-8B-Instruct 모델 불러오기 및 설정

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

model_id = "meta-llama/Meta-Llama-3-8B-Instruct"

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16,
    device_map="auto",
)

#LLM 응답을 위한 함수 정의하기
def generate_response(system_message, user_message):
  messages = [
      {"role": "system", "content": system_message},
      {"role": "user", "content": user_message},
  ]

  input_ids = tokenizer.apply_chat_template(
      messages,
      add_generation_prompt=True,
      return_tensors="pt"
  ).to(model.device)

  terminators = [
      tokenizer.eos_token_id,
      tokenizer.convert_tokens_to_ids("<|eot_id|>")
  ]

  outputs = model.generate(
      input_ids,
      max_new_tokens=256,
      eos_token_id=terminators,
      do_sample=True,
      temperature=0.6,
      top_p=0.9
  )

  response = outputs[0][input_ids.shape[-1]:]

  return tokenizer.decode(response, skip_special_tokens=True)

response = generate_response(system_message="",
                             user_message="한국어로 얘기해줘. 미국 초대 대통령이 누구야?")
print(response)

 

한국어로 Llama3를 사용할 수 있었습니다!!! 미국 초대 대통령을 물어보니 잘 대답해주네요!

대한민국 임시정부를 수립한 초대 대통령이 누구냐고 하니까 김구선생님이라고 답하네요. 확실히 미국 데이터가 학습이 잘된 것 같습니다.

3. 마치며

이번 시간은 최근에 나온 메타 Llama3 LLM을 테스트해봤습니다. 

Local에서 돌릴 수 있다는 특장점을 갖고 있는 메타 Llama3는 ChatGPT4와도 견줄 수 있다고 하는데 과연 그런지 더 테스트해봐야 알 것 같습니다.

질문이 있으시면 언제든 댓글 남겨주세요! 답변드리겠습니다. 같이 공부합시다^^
이 글을 보는 모든 분들 오늘 하루가 행복하시길 바랍니다.
감사합니다.