Что такое токены и как их считать: понятный разбор

Токен — главная единица измерения в мире нейросетей: в них считают и лимиты, и цены. Разберёмся, что это такое и как прикинуть расход без калькулятора.

Токен — это кусочек текста

Модель не читает текст по буквам или словам — она разбивает его на токены: частые слова целиком, редкие — по частям. Например, «привет» может быть одним токеном, а необычная фамилия — тремя-четырьмя.

Для прикидки удобно держать в голове грубые ориентиры:

• короткое сообщение в пару предложений — десятки токенов;
• страница текста — несколько сотен токенов;
• большой документ на десятки страниц — десятки тысяч.

Точные числа зависят от модели и языка, но для оценки расходов такой точности достаточно.

Русский текст «дороже» английского

Токенизаторы большинства моделей обучены в первую очередь на английском, поэтому английский текст режется на токены экономнее. Один и тот же смысл на русском обычно занимает больше токенов, чем на английском. Это не повод переходить на английский — просто бери оценки «на глаз» для русского с запасом.

Вход и выход считаются отдельно

У запроса две части, и тарифицируются они по-разному.

Входные токены — всё, что модель читает: твой вопрос, история чата, вложенные файлы, системные инструкции. Обычно они дешевле.

Выходные токены — то, что модель пишет в ответ. Они дороже, иногда в несколько раз.

Важный неочевидный момент: история чата отправляется заново с каждым сообщением. Десятое сообщение в длинном чате «весит» не пару строк, а весь диалог целиком. Именно поэтому длинные чаты дорожают к концу.

Как посчитать конкретный запрос

Алгоритм простой:

1. Прикинь объём входа: запрос + история чата + файлы.
2. Прикинь ожидаемый объём ответа.
3. Умножь на цены модели за входные и выходные токены — они обычно указаны за миллион токенов.

Пример логики: короткий вопрос без истории к лёгкой модели стоит копеечные доли даже при заметной цене за миллион. А вот «проанализируй отчёт на пятьдесят страниц и напиши подробное резюме» флагманской моделью — уже ощутимая сумма, потому что велики и вход, и выход.

В Орбите можно не считать вручную: стоимость запроса в рублях видна до отправки, а в статистике использования — куда ушли токены по моделям. Так теория быстро превращается в интуицию.