🧩 Азбука ИИ: что такое токены

🧩 Азбука ИИ: что такое токены
⠀
Возвращаемся к Азбуке ИИ! Сегодня - слово, которое часто встречается рядом с нейросетями и обычно пугает одним своим видом: токены.
⠀
Давай на простом примере
⠀
Мы с тобой читаем текст словами и буквами. А нейросеть видит текст иначе - она режет его на маленькие кусочки, токены. Это может быть целое слово, кусочек слова или даже один символ - смотря как получится "удобнее нарезать".
⠀
Представь текст как длинную шоколадку. Мы её едим целыми дольками-словами. А нейросеть сначала ломает её на кусочки помельче - не всегда ровно по долькам - и уже с этими кусочками работает.
⠀
Зачем это вообще нужно
⠀
📏 У любой нейросети есть предел - сколько токенов она может "увидеть" и обработать за раз. Это называют контекстным окном. Чем он больше, тем больше текста нейросеть удерживает в "памяти" за один разговор.
⠀
💰 Платные версии нейросетей часто считают стоимость именно в токенах, а не в словах или символах - поэтому длинный разговор может "весить" больше, чем кажется.
⠀
🔤 Слово "нейросеть" может оказаться одним токеном, а может разбиться на "нейро" и "сеть" - это зависит от конкретной нейросети и того, на каком языке она больше училась.
⠀
Главное, что нужно запомнить
⠀
💡 Токены - это просто единицы, в которых нейросеть измеряет текст. От них зависит и то, сколько она может "прочитать" за раз, и иногда - сколько это будет стоить.
⠀
В следующий раз разберём промпт - и как его правильно формулировать, чтобы получать от нейросети то, что действительно нужно.
⠀
Поставь реакцию, если стало понятнее 🙌