cpu로 llm

마이크로소프트 연구원들이 발표한 논문 에 따르면 LLMs(Large Language Models)를 구동하는데 있어서 GPU자원이 필요했으나, bitnet.cpp라는 소프트웨어 스택을 통해 GPU가 아닌 CPU 자원을 사용하여 LLM의 추론을 사용할 수 있는 방법을 찾아냈다. 이걸 software stack이라고 하는데 LLM을 구동하는데 필요한 소프트웨어 구성 요소 정도로 이해하면 된다.M1 맥북에서 돌려보니 llama-8B모델을 추론하는데 CPU를 약 22% under로 사용하는 것을 확인할 수 있었다.  실행문은 터미널에서 쉘로 동작시키면 된다.  1. Clone the repogit clone --recursive https://github.com/microsoft/BitNet.gitcd BitN..