IT/AI

1. 세줄요약01. Deepseek 14B 모델도 나름 사용할만한 편인 것 같다.02. ollama와 openwebui를 설치하니 gpt처럼 사용할 수 있다. 03. 하드웨어 성능을 많이 타지 않는 것 같아 AI기술의 민주화가 가능할 것으로 보인다.2. 실습(1) Deepseek 실행결과ollama deepseek-r1:14b를 맥북 M1 Pro에서 구동한 결과입니다. 구글 웹검색을 통해서 결과값을 잘 보여주는 것을 확인할 수 있었습니다. 14b는 속도가 빠른 편은 아니지만 한국어 fine tune이 된 것 같구요. 7b로 하면 영어는 잘되는데 한국어는 잘 안되는 증상이 있었습니다.  (2) GPT와 비슷한 성능, 저렴한 가격 DeepSeek요즘 AI시장이 계속 커지면서 AI 서비스를 사용하기 위해서 여..

마이크로소프트 연구원들이 발표한 논문 에 따르면 LLMs(Large Language Models)를 구동하는데 있어서 GPU자원이 필요했으나, bitnet.cpp라는 소프트웨어 스택을 통해 GPU가 아닌 CPU 자원을 사용하여 LLM의 추론을 사용할 수 있는 방법을 찾아냈다. 이걸 software stack이라고 하는데 LLM을 구동하는데 필요한 소프트웨어 구성 요소 정도로 이해하면 된다.M1 맥북에서 돌려보니 llama-8B모델을 추론하는데 CPU를 약 22% under로 사용하는 것을 확인할 수 있었다.  실행문은 터미널에서 쉘로 동작시키면 된다.  1. Clone the repogit clone --recursive https://github.com/microsoft/BitNet.gitcd BitN..

1. 세줄요약01. yahoo finance와 LLM을 연결했다.02. 주식 정보를 연계해서 LLM에 물어봤다.03. 개인 주식계좌와 연결하면 좋겠다.2. 내용(1) 주식 정보를 연계하여 LLM에게 물어봤다./stock이라고 입력하면 아래와 같이 SPY ETF(S&P500)의 상위 10개 주식을 불러옵니다.상위 10개 기업에 대한 현재주가를 불러옵니다. 그리고 테슬라에 대한 자세한 주식정보를 물어보니 잘 대답해주는 것을 확인할 수 있습니다. /stock 회사명 이렇게 입력하면 해당회사의 주식 정보를 불러옵니다. 저는 /stock broadcom을 입력했습니다.그리고 100주에 대해 1년 동안 보유했을 때 배당금을 물어보니 1년에 약 209달러 배당금을 받을 수 있다고 알려줍니다./stock 주식명 gra..

1. 세줄요약01. 공공데이터포털에 많은 정보를 받아올 수 있다. 대한민국 행정부 대한민국 IT만세!02. 아파트 실거래가를 ONZO AI Agent에 연결하면 요약정보를 Agent가 답해준다!03. 공공데이터포털에 정말 많은 정보들을 연결할 수 있겠다? 다음은 뭘해볼까?2. 내용(1) 텔레그램으로 아파트 실거래가를 알려달라고 했다.집을 사고 싶어요.......아파트 매매 실거래가를 검색했어요! 강동구에 집값은 어떻게 될까요?!2024년 8월 고덕동 기준 10억이 모두 넘어가네요!희망을 잃지 않고 가장 저렴한 아파트에 대해 물어봤어요.^^ 11억 4천만원 즈음에 23평이 거래됐다고 하네요!제가 왜 아파트 매매 실거래가를 알아봤을까요? 다음엔 전월세 가격을 API연결해서 찾아볼게요!(2) ONZO AI A..

1. 세줄요약01. 모두가 사용할 수 있는 AI Agent를 만들고 싶었다. 02. 이름하야 ONZO AI Agent03. 이름은 거창하지만 비전도 거창하다!! 2. 내용(1) AI Agent 시대가 온다!메타 CEO 마크 저커버그가 개인, 소상공인들이 모두 AI Agent를 사용하는 시대가 곧 올 것이라고 얘기했습니다. 평소 기술의 민주화를 이야기 했던 마크 저커버그가 Llama라는 AI 모델을 지속적으로 출시하는 이유가 바로 이런 맥락이 아닐까 싶습니다?그런 의미에서 저도 나만의 AI Agent를 만들려고 알아보고 있는 와중에 Github에 모두가 사용할 수 있게 업로드하면 어떨까? 라는 생각이 들었습니다. 그래서 애정을 갖고 만들 Identity를 가질 수 있는 네이밍을 고민했습니다.(2) ONZO..

1. 세줄요약01. Obisidian(옵시디언)에 LLM을 연결했다.02. Local LLM, API를 통한 LLM이 다양하니 알맞게 쓰면 되겠다. 03. 메모광이라면 정말 효율적인 툴이다. 2. 내용(1) LM studio를 설치해보자!로컬 LLM을 다운로드 받아서 사용하는데 보통 Ollama와 LM studio를 사용합니다.Ollama도 사용하는데 문제는 전혀 없지만 보다 UI친화적인 LM studio라는 툴도 있으니 사용해보시기 바랍니다.lmstudio 다운로드는 아래 링크에서 하시면 됩니다. 모든 OS에 호환되니 그냥 사용하시면 됩니다.https://lmstudio.ai 👾 LM Studio - Discover and run local LLMsFind, download, and experimen..