1. Обучение нейросети — как учёба школьника. Ученик решает задачи, сверяет ответы с учебником, находит ошибки и постепенно запоминает правильные решения. Нейросеть делает похожее: предсказывает следующий токен (слово или его часть), сравнивает его с правильным и вычисляет ошибку — Loss (числовой показатель того, насколько ошиблась модель). Алгоритмы Backpropagation (расчёт влияния каждого веса на ошибку) и градиентного спуска (постепенное изменение весов для уменьшения ошибки) корректируют миллиарды параметров — весов (чисел, определяющих работу нейросети). После огромного количества повторений модель усваивает закономерности, знания и навыки.
2. Генерация ответа (инференс — использование уже обученной модели) — как экзамен. Ученик получает вопрос и отвечает, используя полученные знания. Нейросеть разбивает вопрос на токены (слова или их части), преобразует их в числовые векторы (наборы чисел, представляющие информацию) и передаёт в трансформер (архитектуру нейросети для обработки информации). Механизм Attention («внимание» — определение важных связей между токенами) помогает учитывать контекст. Затем модель рассчитывает вероятности продолжения и последовательно генерирует ответ.
Главный вывод: обучение — это изменение весов и формирование знаний и навыков, а генерация — использование уже обученной модели без изменения весов. Обучение крупных нейросетей требует огромных вычислительных ресурсов и дата-центров, а для запуска небольшой готовой модели, например Qwen, может хватить обычного компьютера.
2. Генерация ответа (инференс — использование уже обученной модели) — как экзамен. Ученик получает вопрос и отвечает, используя полученные знания. Нейросеть разбивает вопрос на токены (слова или их части), преобразует их в числовые векторы (наборы чисел, представляющие информацию) и передаёт в трансформер (архитектуру нейросети для обработки информации). Механизм Attention («внимание» — определение важных связей между токенами) помогает учитывать контекст. Затем модель рассчитывает вероятности продолжения и последовательно генерирует ответ.
Главный вывод: обучение — это изменение весов и формирование знаний и навыков, а генерация — использование уже обученной модели без изменения весов. Обучение крупных нейросетей требует огромных вычислительных ресурсов и дата-центров, а для запуска небольшой готовой модели, например Qwen, может хватить обычного компьютера.
Просмотры: 10