LLM-провайдеры

Status200 позволяет подключать различные Large Language Model (LLM) провайдеры для AI-функций платформы. Здесь описана настройка своего LLM-провайдера.

Зачем нужны LLM-провайдеры

LLM-провайдеры в Status200 автоматизируют и усиливают workflow по инцидентам:

• Заметки по инцидентам: автоматическая генерация подробных заметок и обновлений
• Заметки по алертам: осмысленные описания алертов и контекст
• Заметки по плановому обслуживанию: автоматические тексты для maintenance events
• Постмортемы: черновики отчётов postmortem по инцидентам
• Улучшения кода: при подключении репозитория к Status200 LLM анализирует телеметрию (логи, traces, метрики, исключения) и предлагает улучшения кода

Пользователи Status200 SaaS

В Status200 SaaS (облако) по умолчанию доступен Global LLM Provider без дополнительной настройки — преднастроен для всех AI-функций.

Свои API keys или отдельный провайдер можно настроить по инструкции ниже.

Поддерживаемые провайдеры

Настройка LLM-провайдера

Шаг 1: раздел LLM Providers

1. Войти в dashboard Status200.
2. Project Settings → AI → LLM Providers.
3. Create LLM Provider.

Шаг 2: параметры

• Name — понятное имя конфигурации (например, «Production OpenAI», «Local Ollama»)
• Description (опционально) — для чего используется провайдер
• LLM Type — OpenAI, Anthropic или Ollama
• API Key — для OpenAI и Anthropic обязателен
• Model Name — конкретная модель (gpt-4o, claude-3-opus-20240229, llama2 и т.д.)
• Base URL (опционально) — свой API endpoint (для Ollama обязателен, для остальных — по необходимости)

Настройки по провайдерам

OpenAI

1. API key: OpenAI Platform
2. LLM Type: OpenAI
3. Ввести API key
4. Модель, например:
   • gpt-4o — максимальные возможности для сложных задач
   • gpt-4o-mini — быстрее и дешевле
   • gpt-4-turbo — баланс качества и скорости
   • gpt-3.5-turbo — быстро и экономично

Пример:

Name: Production OpenAI
LLM Type: OpenAI
API Key: sk-xxxxxxxxxxxxxxxxxxxx
Model Name: gpt-4o

Anthropic

1. API key: Anthropic Console
2. LLM Type: Anthropic
3. Ввести API key
4. Модель, например:
   • claude-3-opus-20240229 — максимальные возможности
   • claude-3-sonnet-20240229 — баланс качества и скорости
   • claude-3-haiku-20240307 — самая быстрая и компактная
   • claude-3-5-sonnet-20241022 — актуальный Sonnet

Пример:

Name: Production Anthropic
LLM Type: Anthropic
API Key: sk-ant-xxxxxxxxxxxxxxxxxxxx
Model Name: claude-3-5-sonnet-20241022

Ollama (self-hosted)

Open-source LLM локально или на своей инфраструктуре.

1. Установить Ollama: ollama.ai
2. Скачать модель: ollama pull llama2
3. Убедиться, что Ollama запущен и доступен
4. LLM Type: Ollama
5. Base URL (например, http://localhost:11434)
6. Model Name — как у ollama pull

Пример:

Name: Local Ollama
LLM Type: Ollama
Base URL: http://localhost:11434
Model Name: llama2

Популярные модели Ollama:

• llama2 — Meta Llama 2
• llama3 — Meta Llama 3
• mistral — Mistral AI
• codellama — специализация под код
• mixtral — mixture of experts от Mistral

Свой Base URL

Для enterprise или прокси можно задать свой Base URL:

• Azure OpenAI — endpoint Azure
• OpenAI-compatible API — любой API по спецификации OpenAI
• Приватный Ollama — внутренний URL сервера Ollama

Рекомендации

1. Понятные имена провайдеров («Production GPT-4», «Development Ollama»).
2. Беречь API keys — на стороне Status200 они шифруются, но не передавать третьим лицам.
3. Проверить после настройки — что AI-функции реально работают.
4. Следить за usage — контроль расходов на API.

Устранение неполадок

Проблемы с подключением

• OpenAI/Anthropic: валидность ключа и достаточный баланс/кредиты.
• Ollama: сервер запущен, Base URL верный.
• Firewall: исходящие соединения к API провайдера разрешены.

Model not found

• Проверить написание имени модели.
• Для Ollama: модель скачана через ollama pull <model-name>.
• Региональные ограничения на доступность модели.

Нужна помощь?

1. Status200 Issues — известные проблемы.
2. Поддержка — для enterprise-тарифов.