분류 전체보기

1. 세줄요약01. Ollama를 설치하여 LLM모델을 불러왔다.02. Ollama Pull 명령어를 통해 모델을 불러온다.03. GGUF파일 형태인 양자화 모델도 Modelfile을 통해 불러올 수 있다. 2. 내용(1) Ollama가 뭔가요?2022년 12월, OpenAI가 ChatGPT 서비스를 출시한 이후 AI 관련 서비스들이 급격히 증가했습니다. 그 중 하나가 바로 Ollama입니다. Ollama는 개인정보 보호에 민감한 사용자들을 위해 설계된 Local LLM(Local Large Language Model) 도구입니다.사용자들은 ChatGPT를 사용할 때 자신의 소중한 정보들이 외부 서버로 유출될까 우려하는 경우가 많은데, Ollama는 이러한 문제를 해결하기 위해 개발되었습니다.Ollama..

요즘들어 구글 코랩을 활용하여 huggingface에서 제공하는 모델들을 양자화하고 로컬에서 돌릴 수 있는지 여러 테스트 중에 있다. 근데 희안하게 5기가 짜리 파일을 다운로드받는데 colab에서의 다운로드 속도는 굉장히 느리다.  그래서 켜놓고 지켜볼 수밖에 없는데 30분? 15분?마다 세션이 끊겨 오랜시간 다운로드되던 파일이 초기화되버린다.(90분이라곤하는데 트래픽에 따라 세션유지시간을 조절하나보다.) 그래서 아래와 같이 console창에 입력하고 setInterval을 주면 계속 runtime 버튼을 주기적으로 클릭하기때문에 세션이 살아있다. 잘쓰시길!function ClickConnect(){ console.log("Connnect Clicked - Start"); document.query..

1. 세줄요약01. Docker를 사용해봤다.02. Docker Hub에 많은 image들이 있다. 03. 나와 맞는 image를 검색하기 어려워 dockerfile을 통해 직접 build해서 실행해봤다.  2. 내용(1) Docker란 무엇인가?지금까지 IT를 해오면서 주로 시스템을 개발하는 일들을 해왔습니다. 서버 개발자가 아니다보니 서버환경을 구축해본 적이 없었습니다. 또 윈도우 기반에서만 개발하다보니 리눅스가 멀게 느껴졌습니다.  그러던 중 요즘같이 마이크로한 sLLM들이 우후죽순 등장하기 시작하면서 리눅스 환경에서, 윈도우 환경에서, Jupyterlab환경에서, python3.11 환경에서 등등 다양한 환경에 맞는 서버 환경을 구축해야하더라구요. 그래서 말로만 듣던 Docker에 대해서 관심이 ..

1. 세줄요약01. 한 문제마다 한 장의 분량을 작성한다 생각하고 정리해야겠다.02. 현업에서 restful방식으로 통신하자고 하는데도 한장을 쓰려니...03. 어렵다!! 매일 블로그에 정리를 잘해서 시험공부를 해봐야겠다.2. 시험문제 접근법(1) 개념 정의뮤테이션(Mutation Test)는 소프트웨어 테스트 기법 중 하나로, 개발한 소스코드의 특정 부분을 의도적으로 수정하여 해당 코드가 올바르게 작동하고 있는지 테스트 케이스들을 검증하는 것입니다. 이를 통해 테스트 케이스의 강도와 유효성을 측정하는 것입니다. 주요 개념 1. 뮤턴트(Mutant) : 소스 코드의 일부를 변경하여 생성된 새로운 코드 버전2. 살아있는 뮤턴트(Live Mutant) : 테스트 케이스를 통해 테스트한 결과 오류를 검출하지 ..

1. 세줄요약01. 한 문제마다 한 장의 분량을 작성한다 생각하고 정리해야겠다.02. 현업에서 restful방식으로 통신하자고 하는데도 한장을 쓰려니...03. 어렵다!! 매일 블로그에 정리를 잘해서 시험공부를 해봐야겠다.2. 시험문제 접근법(1) 개념을 정의하자. REST API는 REpresentational State Transfer 아키텍처 스타일의 설계 원칙을 준수하는 API입니다. 자원을 표현적(representational)으로 구분하여 해당 자원의 상태(State)를 주고 받는(Transfer) 모든 것을 의미합니다. 현어베서는 RESTful API 또는 RESTful 웹 API라고도 하는데. REST API에 굳이 굳이! RESTful API라고 하는 이유는  stackoverflow에 ..

1. 세줄요약01. 메타 Llama 3 을 google colab에서 돌렸다. GPU 기준 약 1분에서 3분 정도 소요된다. (token 256 기준)02. 기술 이해는 부족하지만 Llama2에서 안됐던 한국어가 Llama 3에선 비슷하게 흉내를 낸다.(신기신기)03. 조금만 있으면 Local에서 LLM을 사용할 수 있는 날이 올 것이다.(확신에 찬 어조)2. 내용(1) 구글 Colab 실행Google Colab을 실행합니다. 상단에 메뉴를 클릭하고 런타임 유형 변경을 클릭합니다.하드웨어 가속기로 T4 GPU를 선택해줍니다. 프리미엄 GPU를 살 돈이 없습니다..(사랑해요 구글)성능을 한번 확인해봅시다.!nvidia-smiTesla T4인 것을 확인했습니다. GPU Colab 최고! 이제 아래 스크립트..