Ollama

本機優先的 LLM 執行環境，可拉取量化後的開源模型權重，並透過 `localhost` 上的 OpenAI 相容 API 提供服務。評級為 Grade A，因為 Ollama 是那約 80% 不想自己編譯 `llama.cpp` 的用戶「想要 OpenAI 品質輸出但不想將提示發送到任何地方」的標準答案 — MIT 授權、整個流程中無需任何帳號、推理路徑上無遙測，且推理本身絕不離開你的機器。這是本目錄中最強的隱私姿態，因為在資料路徑上沒有需要信任的運營者。

它是什麼。 Ollama 是一個桌面 + 伺服器應用程式，將 `llama.cpp` 推理引擎包裝在簡潔的 CLI（`ollama run <model>`、`ollama serve`）、模型註冊庫（`ollama.com/library` 存放約 80 個熱門開源模型的量化 GGUF 權重 — Llama、Mistral、DeepSeek、Qwen、Phi、Gemma、Mixtral 及更多），以及一個位於 `localhost:11434/v1` 的 OpenAI 相容 HTTP API 中。您安裝一次（約 600 MB 二進位檔），`ollama pull llama3` 下載權重（依據模型大小約 4-40 GB），`ollama run llama3` 將您帶入對話 REPL — 或將任何 OpenAI SDK 消費者（LangChain、Continue.dev、Cursor、Aider、`openai` Python SDK）指向本機端點，無需修改程式碼即可運作。

背景。 Ollama 由 Jeffrey Morgan 和 Michael Chiang 於 2023 年啟動，最初是 Mac 優先專案（Apple Silicon 的統一記憶體使消費級 LLM 推理變得特別可行）。它在數月內擴展到 Linux + Windows，現在可在 CPU、NVIDIA CUDA、AMD ROCm 和 Apple Metal 上執行，自動選擇最佳可用加速器。團隊運營 Ollama, Inc.（特拉華州 C 型公司，總部位於舊金山），具有創投資金 — 但執行環境在 MIT 授權下完全開源，程式碼庫位於 `github.com/ollama/ollama`，公司的商業模式是企業支援／本地部署，而非消費級 CLI。

`ollama.com/library` 上的註冊庫是專案的集中式分發表面 — 類似於模型權重的 Docker Hub。您也可以透過 `Modelfile`（專案聲明模型 + 系統提示 + 參數的精簡規範）將 Ollama 指向磁碟上的任何 GGUF 檔案，因此離線或完全自託管的註冊庫工作流是一等公民。

您信任什麼。

• 整個安裝或使用流程中無帳號、無註冊、無電子郵件。 Ollama 是您本地執行的軟體；沒有需要建立的「Ollama 帳號」。首次啟動桌面應用時，它不會要求您註冊 — 您執行 `ollama pull <model>` 就完成了。
• 推理是本機的。 一旦模型被拉取到磁碟，生成就在您的硬體上執行，在提示 → 補全往返過程中沒有網路呼叫。您可以在 `ollama pull` 完成後拔掉網路線，推理仍可繼續運作。
• MIT 授權下的開源。 執行環境 + 所有 CLI 程式碼位於 `github.com/ollama/ollama`（95k+ 星，活躍維護）。可分支、可審計，且 `Modelfile` 格式意味著您可以從原始 GGUF 權重重現相同的模型行為，而不接觸 Ollama 的分發。
• 遙測是選擇加入的。 桌面應用在安裝時詢問；拒絕意味著零使用資料離開您的機器。CLI / 伺服器模式沒有遙測。`ollama --help` 記錄了相關環境變數（`OLLAMA_TELEMETRY=0` 作為額外保障）。
• 建立在 `llama.cpp` 之上。 底層推理引擎是 Georgi Gerganov 專案本身 — 開源、MIT 授權、由大型社群審計。Ollama 的附加價值在於封裝 + 註冊庫 + API 表面，而非推理路徑。
• 模型權重無供應商鎖定。 Ollama 執行的所有內容也可以在 Ollama 消失時直接透過 `llama.cpp` 執行 — GGUF 格式是開放的，`Modelfile` 規範是人類可讀的。

運營規格。

• 安裝：從 `ollama.com/download` 下載適用於 macOS / Linux / Windows 的單一二進位檔，或在 Linux 上 `curl -fsSL https://ollama.com/install.sh | sh`。約 600 MB 執行環境。
• 硬體：7B 參數模型在 Q4 量化下最低 8 GB RAM；13B 需 16-32 GB；70B 需 64+ GB。GPU 可選 — NVIDIA（CUDA 12+）、AMD（ROCm 5.7+）、Apple Silicon（Metal，所有 M 系列）。無 GPU 時 CPU 推理可以運作但速度慢 5-20 倍。
• 儲存：每個模型的磁碟使用量從約 1 GB（1B 參數 Q4）到約 40 GB（70B Q4）到 240+ GB（405B Q4）。模型快取至 `~/.ollama/models`（可透過 `OLLAMA_MODELS` 環境變數設定）。
• 提供的模型：截至 2025 年中約 80 個在公共庫中 — Llama 3 / 3.1 / 3.2、Llama 4（發佈後）、Mistral / Mixtral、DeepSeek V2/V3/R1、Qwen 2.5、Phi 3.5、Gemma 2，以及視覺（LLaVA、Llama-Vision）、嵌入（nomic-embed-text）和程式碼（CodeLlama、DeepSeek-Coder）變體。
• API：`localhost:11434/v1/chat/completions`（OpenAI 相容 — 串流、JSON 模式、工具、視覺，前提是模型支援），以及 Ollama 的原生 `/api/generate` 和 `/api/chat` 端點。CORS 可透過 `OLLAMA_ORIGINS` 設定。
• CLI：`ollama run <model>`、`ollama pull <model>`、`ollama list`、`ollama rm <model>`、`ollama show <model> --modelfile`、`ollama create <name> -f Modelfile`。Modelfile 規範涵蓋系統提示、溫度、上下文長度、停止序列和適配器合併。
• 自託管註冊庫：可選。您可以透過設定 `OLLAMA_HOST` + 自行提供註冊庫協議，將 Ollama 指向私有 GGUF 註冊庫（例如在離線環境中）。
• 支援：GitHub Issues（約 1500 個開啟，活躍的維護者分類處理）、Discord（大型 + 活躍），免費層無商業支援合約（企業層透過 Ollama, Inc. 存在）。

運營者哲學。 Jeffrey Morgan 在會議演講中的論述是 「本機推理是預設，而非備選」 — 團隊的設計選擇始終偏好在託管端以延遲 + 隱私優於功能完整性。Modelfile + GGUF 方法使 Ollama 在功能上成為 `llama.cpp` 之上的封裝層，這意味著專案的價值在託管 LLM 經濟變得更便宜／更隱私時會貶值（好事），在本地硬體變得更快時會增值（也是好事）。Ollama, Inc. 的企業端與開源執行環境解耦 — CLI 不會因為您不付費而降級，也沒有「免費層」速率限制（因為根本沒有限制的伺服器）。

評級理由。 Grade A 反映了：可用的最強隱私姿態（推理是本機的、資料路徑上無運營者、無帳號可被攻破）、在寬鬆的 MIT 授權下開源（可分支 + 可審計）、具名運營者責任制但無運營者依賴（Ollama, Inc. + Jeffrey Morgan 已公開身分，但即使他們消失，執行環境仍可繼續運作 — 切換到 `llama.cpp` 直接使用等同於更換一個封裝層）、廣泛的硬體支援（每個消費級加速器 + CPU 回退）、豐富的模型庫（約 80 個開源模型，所有 2024 年後的前沿級開源發佈）、OpenAI 相容 API 表面（可直接放入任何現有工具）、kycnot.me 對無 KYC 姿態的佐證、過去 12 個月內 r/LocalLLaMA / r/MachineLearning / GitHub issues 中無重大事件或信任侵蝕討論串，以及故意拒絕新增使用遙測。最後驗證於 2026-05-26。

何時適用：

• 您想要 OpenAI / Claude 品質的輸出用於敏感提示（醫療、法律、安全研究、金融），且無法接受提示被任何第三方看到。
• 您是使用 Continue.dev / Cursor / Aider / LangChain 的開發者，想要一個免費的本機端點，且 API 與付費前沿模型設定相容。
• 您想要將開源模型彼此比較測試或與託管供應商比較測試，而無需按呼叫付費。
• 您有一個閒置的 GPU（甚至僅 Apple Silicon），邊際推理成本實際上為零。
• 您需要用於新聞／研究／行動工作流的離線推理，無法接受任何網路連線。
• 您正在構建本機優先的應用程式（Obsidian 插件、Raycast 擴展、自訂 Electron 應用），想要 LLM 功能而不要求用戶取得 OpenAI 金鑰。

注意事項：

• 硬體是您的瓶頸。 7B 模型在 Q4 量化下需要最低 8 GB RAM 才能有意義地執行；70B 模型需要 48-64 GB RAM（或具有該 VRAM 的 GPU）。如果您的機器未達標準，效能將無法使用 — Ollama 不會魔法般地使推理變得便宜，它只是移除了網路成本。
• 輸出品質落後於託管前沿。 Ollama 庫中的開源模型從「與 GPT-3.5 相當」（Llama 3 7B）到「接近 GPT-4o」（Llama 3.1 405B、DeepSeek V3），但很少在推理密集型任務上匹敵 Claude Opus / Sonnet。對於程式碼 + 推理，NanoGPT 或直接 API 存取 Claude 仍然可測量地更好 — Ollama 的訴求是隱私，而非原始能力。
• 免費層無供應商支援合約。 有錯誤？提交 GitHub issue。企業支援透過 Ollama, Inc. 存在，但非免費。
• 模型權重預設存放在 `ollama.com/library`。 如果註冊庫停止運作，`ollama pull <new-model>` 會中斷，直到您指向替代來源 — 但已拉取的現有模型將永久繼續運作。
• 遙測選擇加入僅在安裝時。 如果您在首次啟動時接受，桌面應用會發送使用 ping。後續停用需要編輯設定或設定 `OLLAMA_TELEMETRY=0`。CLI / `ollama serve` 模式無論如何都沒有遙測。
• 預設手動更新（桌面應用會提示；CLI 使用者執行 `brew upgrade ollama` 或重新執行安裝腳本）。新的模型格式有時需要執行環境升級。
• VRAM 計算是近似的。 Ollama 有時會嘗試載入一個對您的 GPU 而言過大的模型，並在生成中途回退到 CPU，這會默默地將吞吐量降低到無法使用的水平。觀察 `ollama ps` 以確認哪個設備正在執行推理。