Деньги и токены
Запрос стоил копейки. Месяц почему-то нет.
Почему цена за миллион токенов почти ничего не говорит о будущем счёте и как посчитать AI-функцию до того, как её полюбят пользователи.
В прайсе написано: несколько десятков рублей за миллион входных токенов. Звучит так, будто на тысячу пользователей хватит мелочи из кармана. Через неделю выясняется, что чат каждый раз перечитывает всю переписку, агент делает по восемь шагов, а неудачные попытки тоже были настоящими и платными.
Прайс не обманул. Просто продукт считал один ответ, а оплатил весь процесс вокруг него.
01
Миллион токенов не равен миллиону запросов
Токеном считают кусок текста, а не сообщение пользователя целиком. В коротком вопросе токенов мало. Но модель получает ещё системную инструкцию, историю разговора, найденные документы и служебные данные приложения. Затем оплачивается сгенерированный ответ.
Поэтому вопрос «сколько стоит один запрос» без формы запроса бесполезен. Кнопка «сделать короче» и разбор договора на сорок страниц используют один API, но живут в разных экономиках.
Считать надо не цену модели. Считать надо одну законченную работу пользователя.
02
Во вход незаметно приезжает грузовик
Первая версия чата обычно дешёвая. Истории почти нет, инструкция короткая. Потом добавляют память, профиль, правила бренда, каталог и несколько примеров хорошего ответа. Каждый новый пункт кажется маленьким. Вместе они начинают ездить в каждом запросе.
У RAG другая ловушка: поиск нашёл десять фрагментов, хотя для ответа нужны два. Модель честно прочитает все десять. Если документы дублируются или нарезаны без смысла, вы платите за повторение до того, как увидите результат.
03
Агент спрашивает модель чаще, чем пользователь
Обычный чат делает один запрос и показывает ответ. Агент планирует, читает результат инструмента, исправляет план и пробует снова. Один клик пользователя легко превращается в цепочку обращений. Это не ошибка само по себе: иногда без цепочки задача не решается.
Ошибка начинается, когда у цепочки нет лимита. Повтор после таймаута, ещё один повтор из-за плохого JSON, новый шаг после уже полученного результата. В интерфейсе пользователь видит одну задачу. В биллинге вырос небольшой кружок по интересам.
04
Сначала посчитайте три обычных дня
Возьмите типичный короткий запрос, тяжёлый запрос с контекстом и неудачный сценарий с повтором. Для каждого оцените вход, выход и число обращений. Затем умножьте на реальное количество пользовательских действий за день и на месяц.
Не подставляйте только лучший случай. Пользователи не обязаны задавать идеальные вопросы, сеть иногда падает, а модель порой возвращает ответ, который приложение просит переделать. Запас нужен не «на всякий случай», а на тот случай, который обязательно случится во вторник.
05
Дешевле бывает не модель, а архитектура
Короткую классификацию не обязательно отправлять самой тяжёлой модели. Историю разговора можно сворачивать. Из базы знаний можно приносить меньше, но точнее. Повторы надо ограничивать и записывать причину каждого нового шага.
Отдельный ключ на проект упрощает картину. Поддержка, внутренний помощник и экспериментальный агент перестают есть из одной миски. У каждого появляются свой дневной лимит, свои логи и возможность отключить только один сценарий, если он решил посвятить себя дорогому искусству.
Что для этого есть в TokenTool
Публичный калькулятор сравнивает модели на одинаковом объёме. В кабинете проекты и отдельные ключи разделяют расход, дневные лимиты останавливают особенно бодрый сценарий, а логи показывают входные и выходные токены каждого обращения.
Калькулятор отвечает до запуска. Логи отвечают после. Если эти две цифры сильно разошлись, не надо спорить с арифметикой: ищите лишний контекст, повторы или неверное число шагов.