ИИ-модели: модель сервиса или своя

Модель нужна кабинету для разбора — сейчас это приём обращений из чата Битрикс24, см. Битрикс24: обращения из чата с разбором ИИ. Выбрать можно одно из двух.

#Модель Website Director

Работает на нашей стороне, ключ не нужен. Подключается к кабинету отдельно — напишите нам, и мы включим лимит запросов в месяц.

• Один запрос — один разбор пачки сообщений чата, до восьми серий за раз.
• Расход за месяц виден на странице Ещё → ИИ-модели.
• Лимит исчерпан — разбор останавливается до первого числа. Через 20 минут бот заведёт ожидающие просьбы без разбора, а приём можно переключить на свою модель.

#Подключить свою модель

1. Откройте Ещё → ИИ-модели.
2. В блоке Подключить свою модель выберите поставщика — адрес и пример модели подставятся сами.
3. При необходимости поправьте модель и впишите ключ API.
4. Нажмите Подключить, затем Проверить: модель должна ответить за несколько секунд.
5. В разделе Обращения из чата откройте чат, вкладку Настройки, и выберите эту модель в блоке «Кто решает, что это просьба».

#Поставщики

Для YandexGPT способ передачи ключа по умолчанию — Api-Key. Если проверка не проходит, в Тонких настройках выберите Bearer.

Запросы к модели идут с нашего сервера в России. Если поставщик ограничивает доступ по стране, проверка покажет ошибку доступа.

#Своя модель на своём сервере

Подходят Ollama, LM Studio, vLLM, LocalAI — любой сервер с API, совместимым с OpenAI (адрес вида …/v1/chat/completions).

• Адрес должен быть доступен из интернета: наш сервер обращается к модели сам. Адреса внутренних сетей (192.168.…, 10.…, localhost) не принимаются.
• Ключ по http не отправляется. Если модель защищена ключом, поставьте её за https — например, за nginx или Caddy с сертификатом.
• Порты почты, баз данных и удалённого входа (22, 25, 3306, 5432, 6379 и другие) не принимаются: модели на них не бывает.
• Ollama: адрес http://ваш-сервер:11434/v1, модель — как в ollama list, например qwen2.5:14b. По умолчанию Ollama слушает только локальный адрес: откройте её для сети переменной OLLAMA_HOST=0.0.0.0 и ограничьте доступ файрволом.
• Размер модели. Маленькие модели чаще путают просьбу с разговором. Начните приём в режиме наблюдения и посмотрите на решения.

#Тонкие настройки

• Протокол — для поставщика «Другой».
• Как передавать ключ — Authorization: Bearer (почти все поставщики) или Api-Key (Yandex Cloud).
• Ждать ответа — от 10 до 300 секунд, по умолчанию 90.
• Режим JSON — просить у модели ответ строго в JSON. Если сервер его не поддерживает, запрос сам повторится без него.

#Данные и безопасность

• Ключ хранится зашифрованным и после сохранения не показывается.
• Подключать модели может только владелец кабинета.
• Текст сообщений уходит выбранному поставщику. Если в переписке бывают персональные данные клиентов, выбирайте поставщика с учётом требований к их хранению — или свою модель.
• Расход каждой модели за месяц — запросы, ошибки, токены — виден на странице «ИИ-модели».

#Если проверка не проходит