RAG через TokenTool: встроенная база знаний или внешний retrieval

Встроенный режим подходит, когда команда хочет управлять документами, базой знаний, пресетом и проектом внутри одного control plane. Платформа выполняет внутреннюю подготовку и retrieval для подключённой базы; в Playground доступны диагностика RAG и источники, по которым можно проверить ответ до интеграции.

Внешний режим подходит, когда у продукта уже есть собственное хранилище, разбиение, векторный индекс и правила доступа. Приложение возвращает ограниченный набор фрагментов и передаёт их модели через TokenTool для генерации. В этом варианте качество поиска, актуальность документов и разграничение прав остаются ответственностью вашего приложения.

Сначала задайте измеримые ограничения: максимальный размер входа, язык документов, допустимое время ответа и бюджет одного запроса. Контекстное окно из каталога показывает технический предел, но не гарантирует качество на всём объёме. Сумма системной инструкции, истории, найденных фрагментов и ожидаемого ответа должна оставаться ниже этого предела.

Сравнивайте модели на одном закрытом наборе вопросов. Отмечайте, найден ли нужный фрагмент, поддержан ли вывод источником и признала ли модель отсутствие ответа. Страница не присваивает моделям способности по названию: учитываются только поля публичного каталога и результаты ваших собственных тестов.

Для текстовой модели базовая оценка складывается из входных и выходных токенов. Вход включает инструкции, вопрос и все переданные фрагменты, поэтому добавление контекста влияет на цену сильнее, чем кажется по длине пользовательского вопроса. Если у модели есть пороговые тарифы для большого входа, расчёт должен применять актуальное правило каталога.

До разработки возьмите несколько реальных документов, измерьте типичный объём найденного контекста и проверьте сценарии в калькуляторе TokenTool. Это оценка, а не обещание списания: фактический тариф определяется в момент запроса.

Храните тестовый набор отдельно от данных, на которых настраивали поиск. Для каждого вопроса зафиксируйте ожидаемый источник и допустимый ответ. Проверяйте поиск и генерацию раздельно: модель не исправит ситуацию, когда нужный фрагмент не попал в контекст.

В production логируйте технические метрики без исходных секретов и лишних персональных данных: идентификатор модели, число токенов, задержку, код ошибки и версию шаблона. Полные документы и API-ключи в маркетинговую аналитику попадать не должны.