Craft PodiumЕсли попросить языковую модель ответить на вопрос, на который у неё нет материала, она ответит. Гладко, уверенно и в чужой стилистике — и это не поломка, а свойство генерации: модель продолжает текст, и вопрос, заданный человеческим голосом, выглядит для неё достаточным основанием, чтобы продолжить. Отсюда самые дорогие жалобы на ИИ-ботов: не «он плохо понимает», а «он сказал то, чего нет в прайсе».
Значит, работать надо не с пониманием, а с границами. У Яны, бота семейного психолога, эта часть была в задании с первого дня, и ниже — как она устроена.
Три правила, которые закладываются в любой ИИ-бот
Первое: отвечать по материалам заказчика, а не по общим знаниям модели. Если клиент спрашивает про сроки работы, ответ должен собираться из их прайса и регламента, а не из того, что модель вообще знает про сроки. Разница видна сразу: в общих знаниях живут усреднённые цифры, которые не совпадают ни с одной реальной компанией.
Второе: честно сказать «не знаю», когда ответа в материалах нет. Это не отказ, это часть поведения. Молчаливый обход этого правила приводит к тому, что бот однажды уверенно сообщает клиенту цену, которой нет.
Третье: передать вопрос живому человеку, если он не закрылся материалом. Дальше сценарий развивается по-разному. В одних проектах бот просто пишет «передам специалисту» и поднимает для него уведомление, в других — ставит диалог в очередь и ждёт ответа человека, пока клиент не получит его в том же чате.
Как готовится база знаний
Материалы заказчика редко бывают готовыми к работе. Это прайс в Excel, инструкция в PDF без структуры, страницы сайта и записи консультаций. Мы приводим их к виду, в котором модель их находит: разбиваем на разделы, добавляем заголовки, убираем то, что не отвечает на вопросы, и переписываем то, что написано так, будто это знает автор, а не читатель.
Здесь есть неприятный момент, о котором стоит сказать сразу: если материалы не приведены в порядок, бот будет отвечать по ним плохо, и подрядчик не сможет это исправить настройкой. Это разовая работа, и она либо входит в проект, либо делается отдельно. На странице услуг загрузка базы знаний и её настройка — часть цены, а не опция.
Яна: границы, о которых договорились заранее
Тема, в которой работает Яна, чувствительная: семейный психолог, люди приходят в разные часы, и бот не имеет права додумывать то, чего в материалах специалиста нет. Правило звучало просто: на вопросы вне материалов Яна не сочиняет ответ, а говорит, что не знает, и передаёт вопрос специалисту.
Договорённость эта фиксируется до начала разработки, а не после первого жалобного сообщения. Когда границы обсуждаются на старте, их можно проверить: заказчик сам формулирует вопросы, на которые бот обязан ответить «не знаю», и мы проверяем, что так и происходит. Когда границы появляются после сдачи, начинается угадывание: заказчик объясняет, какие ответы считаются выдумкой, исполнитель перенастраивает бота, и через неделю выясняется, что часть ответов снова не устраивает.
Передача вопроса человеку
Отдельный кусок работы — точка, где вопрос покидает бота. Просто вывести текст вопроса в консоль недостаточно: человек должен получить его в том интерфейсе, в котором работает, увидеть контекст переписки и ответить, не выходя из Telegram.
У Яны это работает так: сообщения ночью и в выходные обрабатываются без участия человека, но сложный вопрос не остаётся висеть в диалоге — он уходит психологу, и уже специалист решает, что отвечать. Такой режим особенно важен там, где цена ошибки выше цены лишнего сообщения.
Голос: отдельная проверка, отдельный стек
Многие клиенты пишут голосовыми сообщениями, и для них естественнее получить ответ голосом же, а не читать текст. В Яне бот принимает голосовые, распознаёт их и отвечает голосом. Технически это отдельный слой: распознавание речи на входе и синтез на выходе, свой стек и своя модель.
Отдельно проверяется, как ответы звучат вслух. Текст, который на экране читается ровно, вслух может звучать тяжело: длинные предложения, неудачные паузы, цифры, произнесённые не так, как их ждёшь. Мы прогоняем ответы голосом до сдачи, а не после первого жалобного голосового от клиента.
Отдельный вопрос — приватность. Голосовые сообщения часто содержат то, что не должно уходить третьим лицам, поэтому во время разработки решается, где идёт распознавание. В нашем голосовом боте — расшифровка голосовых и кружков — оно идёт на своём сервере, записи не отправляются на внешние API и не хранятся. Двадцать секунд речи превращаются в текст примерно за семь секунд.
Чего база знаний не решает
Даже хорошо собранные материалы не делают бота безошибочным, и честно сказать об этом нужно до сдачи. Модель может не найти ответ, который в базе есть, если вопрос сформулирован не так, как ожидалось. Мы это лечим подбором формулировок и расширением набора проверочных вопросов, но полностью убрать не можем: это свойство поиска по смыслу, а не недостаток настройки.
Второе — устаревание. База знаний описывает то, как компания работает сегодня. Через полгода условия меняются, документы обновляются, а бот продолжает отвечать по старой версии. Кто-то должен следить за материалами и за тем, чтобы бот их перечитал; если этим не заниматься, бот однажды ответит клиенту по правилам, которые отменили.
Третье — язык. Материалы на русском, клиент пишет по-английски, или наоборот. Ответ зависит от того, как модель переводит термины вашей отрасли, и это отдельная задача, которую нужно проверить заранее, а не на первом иностранном клиенте.
Как выглядят эти 14 дней
Первый разговор — о материалах: что у заказчика есть, из чего будет состоять база, какие вопросы клиенты задают чаще всего. Второй шаг — правила и границы: что бот отвечает, где говорит «не знаю» и когда зовёт человека. Дальше — загрузка базы и настройка, затем голос, если он нужен, и проверка на наборе вопросов с самим заказчиком. Только после этого бот разворачивается на сервере, передаётся инструкция и 14 дней правок по ошибкам.
Порядок не меняется от проекта к проекту, потому что пропуск любого шага потом стоит дороже, чем сам шаг.
Как проверяется качество
Перед сдачей мы прогоняем набор типовых вопросов и смотрим ответы вместе с заказчиком. Вопросы берутся не из воздуха: это то, что клиенты спрашивают по-настоящему, включая неудобные и граничные.
Смотреть надо не только на факты, но и на тон. Ответ может быть верным по сути и при этом звучать так, что человеку неприятно его читать. В Яне это особенно заметно: материалы психолога требуют бережного подхода, и черновая формулировка, которая для прайса нормальна, для такой темы не годится. На этой проверке нашлось несколько мест, которые мы переписали вместе с психологом.
Сколько это стоит и сколько занимает
Бот с ИИ по базе знаний — от 40 000 ₽, срок от 14 дней. Обе цифры указаны на странице услуг и относятся к нижней границе. На практике срок чаще всего сдвигают не разработка, а подготовка материалов: пока база знаний не готова, проверять бота не на чем, а после того, как готова, выясняется, что половину документов нужно переписать.
Что спросить у исполнителя до старта
- Покажите пример ответа на вопрос, которого нет в базе знаний. Если в примере уверенный текст, дальше будет хуже.
- Что происходит с диалогом, когда бот не нашёл ответ: уведомление человеку, очередь, тишина?
- Что будет, если база знаний обновится: бот подхватывает изменения сам или это делается вручную?
- Где идёт распознавание речи, если бот принимает голосовые, и хранятся ли записи.
- Как будет выглядеть проверка перед сдачей и кто смотрит ответы.
Самый полезный вопрос — первый. Попросите показать два-три ответа на провоцирующие вопросы, которые клиент задаст в первую неделю. По тому, как человек на них отвечает, видно всё остальное: и настройку, и то, читал ли он задание.