LLM 提供者
Koog 支援各大 LLM 提供者，並支援透過 Ollama 使用本機模型。 目前支援以下提供者：
LLM 提供者 | 選擇原因 |
|---|---|
| OpenAI (包含 Azure OpenAI 服務) | 具有廣泛功能的高階模型。 |
| Anthropic | 長上下文與提示詞快取。 |
| Google β | 多模態處理（音訊、影片）、長上下文。 |
| DeepSeek β | 具成本效益的推理與編碼。 |
| OpenRouter | 單一整合即可存取來自多個提供者的多種模型，提供靈活性、提供者比較以及統一的 API。 |
| Amazon Bedrock | AWS 原生環境、企業級安全與合規性、多提供者存取。 |
| Mistral β | 歐洲數據託管、GDPR 合規性。 |
| Alibaba β (DashScope OpenAI 相容用戶端) | 長上下文與具成本效益的 Qwen 模型。 |
| Ollama | 隱私、本機開發、離線運作且無需 API 費用。 |
下表顯示了 Koog 支援的 LLM 功能，以及哪些提供者在其模型中提供這些功能。
LLM 功能 | OpenAI | Anthropic | Google β | DeepSeek β | OpenRouter | Amazon Bedrock | Mistral β | Alibaba β (DashScope OpenAI 相容用戶端) | Ollama (本機模型) |
|---|---|---|---|---|---|---|---|---|---|
| 支援的輸入 | 文字、圖片、音訊、文件 | 文字、圖片、文件^1 | 文字、圖片、音訊、影片、文件^1 | 文字 | 依模型而異 | 依模型而異 | 文字、圖片、文件^1 | 文字、圖片、音訊、影片^1 | 文字、圖片^1 |
| 回應串流 | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ |
| 工具 (Tools) | ✓ | ✓ | ✓ | ✓ | ✓ | ✓^1 | ✓ | ✓ | ✓ |
| 工具選擇 (Tool choice) | ✓ | ✓ | ✓ | ✓ | ✓ | ✓^1 | ✓ | ✓ | – |
| 結構化輸出 (JSON Schema) | ✓ | ✓^1 | ✓ | ✓ | ✓^1 | – | ✓ | ✓^1 | ✓ |
| 多種選擇 (Multiple choices) | ✓ | – | ✓ | – | ✓^1 | ✓^1 | ✓ | ✓^1 | – |
| 溫度 (Temperature) | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ |
| 推測 (Speculation) | ✓^1 | – | – | – | ✓^1 | – | ✓^1 | ✓^1 | – |
| 內容審查 (Content moderation) | ✓ | – | – | – | – | ✓ | ✓ | – | ✓ |
| 嵌入 (Embeddings) | ✓ | – | – | – | – | ✓ | ✓ | – | ✓ |
| 提示詞快取 (Prompt caching) | ✓^1 | ✓ | – | – | – | – | – | – | – |
| 補全 (Completion) | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ |
| 本機執行 (Local execution) | – | – | – | – | – | – | – | – | ✓ |
NOTE
Koog 支援建立 AI 代理最常用的功能。 各提供者的 LLM 可能具有 Koog 目前尚未支援的其他功能。 若要了解更多，請參閱 模型功能。
使用提供者
Koog 讓您可以在兩個層級上使用 LLM 提供者：
使用 LLM 用戶端 與特定提供者直接互動。 每個用戶端都實作了
LLMClient介面，負責處理該提供者的驗證、請求格式化以及回應剖析。 詳情請參閱 LLM 用戶端。- 使用 提示詞執行器 作為更高階的抽象，它封裝了一個或多個 LLM 用戶端，管理它們的生命週期，並統一各提供者之間的介面。 它可以切換提供者，並可選擇性地使用對應的用戶端回退到已配置的提供者與 LLM。 您可以建立自己的執行器，也可以使用針對特定提供者預先定義的提示詞執行器。 詳情請參閱 提示詞執行器。
使用提示詞執行器為一個或多個 LLMClient 提供了一個更高階的層級。它管理用戶端的生命週期，並在不同提供者之間暴露統一的介面。在多提供者的設定中，它可以路由各提供者之間的請求，並在核心請求需要時選擇性地回退到指定的用戶端。您可以建立自己的執行器，或使用預先定義的執行器——同時提供單一提供者和多提供者的選項。
後續步驟
- 針對特定 LLM 提供者建立並執行代理。
- 進一步了解 提示詞 (prompts)。