LLM 제공업체
Koog는 주요 LLM 제공업체와 연동되며, Ollama를 통한 로컬 모델 사용도 지원합니다. 현재 지원되는 제공업체는 다음과 같습니다.
LLM 제공업체 | 선택 기준 |
|---|---|
| OpenAI (Azure OpenAI Service 포함) | 광범위한 기능을 갖춘 고급 모델. |
| Anthropic | 긴 컨텍스트 및 프롬프트 캐싱. |
| Google β | 멀티모달 처리(오디오, 비디오), 대규모 컨텍스트. |
| DeepSeek β | 비용 효율적인 추론 및 코딩. |
| OpenRouter | 유연성, 제공업체 비교 및 통합 API를 위해 여러 제공업체의 다양한 모델에 접근할 수 있는 단일 통합 환경. |
| Amazon Bedrock | AWS 네이티브 환경, 엔터프라이즈 보안 및 규정 준수, 다중 제공업체 접근. |
| Mistral β | 유럽 데이터 호스팅, GDPR 준수. |
| Alibaba β (DashScope OpenAI 호환 클라이언트) | 대규모 컨텍스트 및 비용 효율적인 Qwen 모델. |
| Ollama | 개인 정보 보호, 로컬 개발, 오프라인 작동 및 API 비용 없음. |
아래 표는 Koog가 지원하는 LLM 기능과 어떤 제공업체가 해당 기능을 모델에서 제공하는지 보여줍니다.
LLM 기능 | OpenAI | Anthropic | Google β | DeepSeek β | OpenRouter | Amazon Bedrock | Mistral β | Alibaba β (DashScope OpenAI 호환 클라이언트) | Ollama (로컬 모델) |
|---|---|---|---|---|---|---|---|---|---|
| 지원되는 입력 | 텍스트, 이미지, 오디오, 문서 | 텍스트, 이미지, 문서[^1] | 텍스트, 이미지, 오디오, 비디오, 문서[^1] | 텍스트 | 모델에 따라 다름 | 모델에 따라 다름 | 텍스트, 이미지, 문서[^1] | 텍스트, 이미지, 오디오, 비디오[^1] | 텍스트, 이미지[^1] |
| 응답 스트리밍 | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ |
| 도구 (Tools) | ✓ | ✓ | ✓ | ✓ | ✓ | ✓[^1] | ✓ | ✓ | ✓ |
| 도구 선택 | ✓ | ✓ | ✓ | ✓ | ✓ | ✓[^1] | ✓ | ✓ | – |
| 구조화된 출력 (JSON 스키마) | ✓ | ✓[^1] | ✓ | ✓ | ✓[^1] | – | ✓ | ✓[^1] | ✓ |
| 다중 선택 (Multiple choices) | ✓ | – | ✓ | – | ✓[^1] | ✓[^1] | ✓ | ✓[^1] | – |
| 온도 (Temperature) | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ |
| 추측 (Speculation) | ✓[^1] | – | – | – | ✓[^1] | – | ✓[^1] | ✓[^1] | – |
| 콘텐츠 모더레이션 | ✓ | – | – | – | – | ✓ | ✓ | – | ✓ |
| 임베딩 (Embeddings) | ✓ | – | – | – | – | ✓ | ✓ | – | ✓ |
| 프롬프트 캐싱 | ✓[^1] | ✓ | – | – | – | – | – | – | – |
| 완성 (Completion) | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ |
| 로컬 실행 | – | – | – | – | – | – | – | – | ✓ |
NOTE
Koog는 AI 에이전트 생성에 가장 일반적으로 사용되는 기능을 지원합니다. 각 제공업체의 LLM에는 Koog가 현재 지원하지 않는 추가 기능이 있을 수 있습니다. 자세한 내용은 모델 기능을 참조하세요.
제공업체와 작업하기
Koog는 두 가지 수준에서 LLM 제공업체와 작업할 수 있도록 지원합니다.
특정 제공업체와 직접 상호작용하기 위해 LLM 클라이언트를 사용합니다. 각 클라이언트는
LLMClient인터페이스를 구현하여 해당 제공업체의 인증, 요청 포맷팅 및 응답 파싱을 처리합니다. 자세한 내용은 LLM 클라이언트를 참조하세요.하나 이상의 LLM 클라이언트를 래핑하고, 수명 주기를 관리하며, 제공업체 간 인터페이스를 통합하는 고수준 추상화인 프롬프트 실행기(prompt executor)를 사용합니다. 제공업체 간에 전환할 수 있으며, 선택적으로 해당 클라이언트를 사용하여 구성된 제공업체 및 LLM으로 폴백(fallback)할 수 있습니다. 직접 실행기를 만들거나 특정 제공업체를 위한 미리 정의된 프롬프트 실행기를 사용할 수 있습니다. 자세한 내용은 프롬프트 실행기를 참조하세요.
프롬프트 실행기를 사용하면 하나 이상의 LLMClient 위에 상위 수준의 레이어를 제공합니다. 이는 클라이언트 수명 주기를 관리하고 여러 제공업체에 걸쳐 통합된 인터페이스를 노출합니다. 다중 제공업체 설정에서는 제공업체 간에 요청을 라우팅할 수 있으며, 핵심 요청에 필요한 경우 지정된 클라이언트로 폴백할 수 있습니다. 직접 실행기를 만들거나, 단일 제공업체 및 다중 제공업체 옵션이 모두 포함된 미리 정의된 실행기를 사용할 수 있습니다.
다음 단계
- 특정 LLM 제공업체로 에이전트 생성 및 실행하기.
- 프롬프트에 대해 자세히 알아보기.
[^1]: 해당 기능은 제공업체의 일부 모델에서만 지원됩니다.