Что такое Токен?

AI/ML Основы

Токен

Определение

Токен — единица текста для AI-модели (примерно ¾ слова на русском). От количества токенов зависит стоимость работы AI, поэтому важна оптимизация промптов.

Как это работает

AI-модели не «читают» слова целиком — они разбивают текст на токены. Слово «автоматизация» может быть 2-3 токена. Русский текст потребляет больше токенов, чем английский.

Стоимость API считается за токены: входные (ваш запрос) + выходные (ответ модели). GPT-4 стоит ~$30 за 1 млн токенов, Claude — ~$15.

Зачем это бизнесу

Понимание токенов = контроль расходов. В SemanticFactory одна статья на 6000 слов обходится в $0.06 — потому что промпты оптимизированы, а не потому что AI дешёвый.

Связанные термины

LLM (Large Language Model)

LLM — это большая языковая модель, AI-система, которая понимает и генерирует текст. Для бизнеса это означает автоматизацию работы с документами, клиентами и контентом без найма дополнительных сотрудников.

Промпт-инжиниринг

Промпт-инжиниринг — искусство правильно формулировать задачу для AI. От качества промпта зависит, получите ли вы бесполезный текст или готовый бизнес-документ.

Fine-tuning (дообучение)

Fine-tuning — настройка готовой AI-модели под вашу задачу. Бот начинает отвечать в стиле вашей компании и разбираться в отраслевой терминологии.

Как это работает

Зачем это бизнесу

Связанные термины

Читайте также