ᓚᘏᗢ 我的 llama.cpp 筆記

最近試了一下 llama.cpp 來操作本地 AI

取得 llama.cpp

首先是 llama.cpp 的取得，我是參考小灰灰的笔记：《llama.cpp 入门指南：在本地运行大语言模型》，去 llama.cpp 專案的 release，根據自己的 OS 來選擇（我現在是 win11 x64，所以選「Windows x64 (CPU)」）

將之解壓縮後，放在你要的資料夾，然後設置環境變數。

如果電腦沒有系統管理員權限，可以像我這樣找設定個人帳號的環境變數：

使用 llama.cpp

下載下來的 llama.cpp 壓縮檔裡面都是已經編譯好的工具。

各工具用途可參考專案的 README。

最常用的大概是 llama-cli 與 llama-server 兩個吧

前者是直接用終端機和 AI 對話；後者是像 ChatGPT 那樣用網頁來與 AI 對話。

如果要使用 hugging face 的模型，指令就是

llama-cli -hf { 模型專案 }

例如要使用 ggml-org/gemma-3-1b-it-GGUF，就是：

llama-cli -hf ggml-org/gemma-3-1b-it-GGUF

這段指令除了讓你用該模型外，還會把 ggml-org/gemma-3-1b-it-GGUF 模型下載下來，我這邊下載下來後，模型放在以下位置

%USERPROFILE%\.cache\huggingface\hub\models--ggml-org--gemma-3-1b-it-GGUF\snapshots\f9c28bcd85737ffc5aef028638d3341d49869c27\gemma-3-1b-it-Q4_K_M.gguf

下次我要執行同一模型，除了原本指令外，也可以用以下指令來執行

llama-cli -m %USERPROFILE%\.cache\huggingface\hub\models--ggml-org--gemma-3-1b-it-GGUF\snapshots\f9c28bcd85737ffc5aef028638d3341d49869c27\gemma-3-1b-it-Q4_K_M.gguf