Классическая книга о SVM и ядерных методах – Learning with Kernels доступна в PDF.
Бернхард Шёлькопф и Александр Смола объясняют математические основы метода опорных векторов, регуляризации и оптимизации.
Идея SVM – найти разделяющую границу с максимальным зазором между классами. С линейным ядром она линейная, а ядерный трюк позволяет строить нелинейные границы, не вычисляя новое пространство признаков явно.
В книге:
- SVM и методы максимального зазора.
- Ядерные функции и их математические свойства.
- Регуляризация и контроль сложности модели.
- Оптимизация и теоретические основы обучения.
- Задачи в конце глав для самостоятельной работы.
Подойдёт тем, кто хочет понимать, что происходит за вызовом SVC.fit(). Для чтения пригодятся линейная алгебра, математический анализ и теория вероятностей.
Книга на английском. Издатель указывает объём 648 страниц.
PDF:
https://mcube.lab.nycu.edu.tw/~cfung/docs/books/scholkopf2002learning_with_kernels.pdf
ИсточникOneRanker: Unified Generation and Ranking with One Model in Industrial Advertising Recommendation [3/3]
Заключительная часть разбора статьи о том, как в три шага объединить генерацию кандидатов и ранжирование в одной модели. В первом посте разобрали проблематику и первый шаг, во втором — следующий шаг. Сегодня обсудим заключительный шаг, обучение и результаты экспериментов.
Шаг 3. Ранжирование кандидатов
Для ранжирования авторы встраивают специализированный декодер ранжирования (R-Decoder) в общую генеративную архитектуру. Ему на вход поступают токены кандидатов, полученные MTP на шаге 2. В Query авторы добавляют к ним специальный ranking task token Tᵣ. В Key/Value передают представления из обоих предыдущих шагов: базовые интересы пользователя из шага 1 и уточнённые представления из шага 2. Так ранжировщик использует внутреннюю информацию генерации, а не только её результат.
Декодер состоит из одного слоя: сначала cross-attention к Key/Value, затем self-attention. Маска запрещает кандидатам видеть друг друга, но позволяет каждому видеть Tᵣ. Выход каждого кандидата небольшая MLP превращает в скалярный скор.
Обучение
Модель совместно обучается на трёх функциях потерь:
• Lₘₜₚ учит генератор предсказывать правильный код на каждом уровне семантического ID. Для головы бизнес-ценности авторы дополнительно используют семплирование с весом по ценности.
• Lᵣₐₙₖ учит ранжировщик ставить кандидата с большей меткой eCPM выше кандидата с меньшей.
• Lᴅᴄ связывает этапы: скоры ранжировщика превращаются в распределение по текущему набору кандидатов, а генератор учится приближать к нему свои вероятности.
Общая потеря — взвешенная сумма этих трёх частей.
Эксперименты
В офлайн-экспериментах авторы сравнили OneRanker с HSTU и MTP-версией GPR по двум метрикам: HR@K — попадание целевого объекта в топ-K, и NDCG@K — качество порядка объектов в топ-K. Относительно GPR метрика HR@1 выросла с 0,1824 до 0,2639 (+44,7%), а NDCG@5 — с 0,6818 до 0,7904.
В онлайн A/B-тесте OneRanker сравнивали с каскадом из генератора и отдельного ранжировщика. Прирост GMV-Normal снижался по мере выкатки на больший процент трафика:
• +1,34% на 5% трафика,
• +0,64% на 20%,
• +0,35% на 80%.
Авторы показывают снижение эффекта при росте охвата, но не дают его причинного объяснения.
@RecSysChannel
Разбор подготовил ❣ Артём Ваншулин
ИсточникИсследователи нашли способ тратить на 15% меньше вычислений на обучение LLM без потери качества
На EMNLP 2026, – А*-конференции, проходящей сейчас в Венгрии, – рисерчеры из Т-Теха представили метод LIMe, который позволяет обучать языковые модели примерно на 15% дешевле по вычислениям без просадки в качестве.
В трансформерах каждый слой опирается только на скрытое состояние предыдущего, и через него должен пройти весь контекст. Авторы показывают, что из-за этого возникает давление в сторону коллапса представлений. То есть токены становятся слишком похожими друг на друга, различия между ними теряются, а вместе с ними теряется и качество.
LIMe (Layer-Integrated Memory) это легкое расширение механизма внимания. Оно использует key-value буферы, которые и так хранятся для каждого слоя, и добавляет к ним обучаемые веса маршрутизации, отдельные для каждой головы и каждого слоя. С их помощью голова внимания может забирать представления не только с предыдущего слоя, но и с более ранних, и смешивать их. Размер скрытого состояния при этом не растет, а уже выполненные вычисления используются повторно.
В экспериментах на моделях примерно с миллиардом параметров LIMe достиг той же ошибки обучения, что и базовая LLaMA, при затратах на 15% ниже. На бенчмарках языкового моделирования и многошаговых рассуждений метод обошел другие подходы. Самый заметный выигрыш получили на синтетических арифметических задачах и в архитектурах с большим числом слоев.
Еще авторы отмечают, что у LIMe выше энтропия value-векторов и лучше разделимость токенов, то есть главная проблема действительно смягчается. А по выученным весам маршрутизации видно, что модель системно переиспользует и локальные, и дальние признаки.
Статья: https://arxiv.org/abs/2502.09245
Полная имплементация авторов: https://github.com/corl-team/lime
ИсточникСовременный мир — это... Когда кто-то делает Survival LLM — бесплатного ИИ-ассистента для Mac и Windows, который работает без интернета. Внутри него собрана библиотека на случай ЧП: около 930 тысяч статей из Википедии, медицинские справочники, гайды по выживанию и ремонту. Можно будет спросить, как сохранить продукты, когда отключили свет, как обработать ожог или очистить воду, и нейронка ответит по этим источникам и покажет, откуда взяла ответ.
Работает все на основе локальной нейронки. Приложение само подберет подходящую модель под ваш компьютер и скачает библиотеку с нужной инфой. Затем туда же можно будет добавить свои файлы с инструкциями.
Для установки понадобится минимум 16 ГБ памяти.
#инструменты
@neurozeh
Источник🚀 Want to Become a Generative AI Engineer in 2026? Here’s Your Learning Roadmap.
GenAI is evolving fast. You don’t need 50 courses or every framework. Master these 10 skills in sequence. 👇
1️⃣ Transformers & LLM Fundamentals
Learn transformer architecture, self-attention, Q/K/V, multi-head attention, masking, tokenization, context windows, positional encoding, and how LLMs generate responses.
📚 https://www.youtube.com/watch?v=ZhAz268Hdpw&t=784s
2️⃣ Embeddings & Vector Databases
Understand embeddings, semantic similarity, cosine similarity, nearest-neighbor search, vector indexing, and databases such as FAISS, Chroma, and Pinecone.
📚 Algorithms: https://www.youtube.com/watch?v=lvH_zPj2o04&t=156s
📚 Embeddings: https://www.youtube.com/watch?v=JsGwjwnl4hY
📚 Implementation: https://www.youtube.com/watch?v=5kCE0l11ZHk
3️⃣ Prompt Engineering & Structured Outputs
Learn zero-shot and few-shot prompting, system prompts, context engineering, JSON outputs, prompt optimization, tool calling, and validation.
4️⃣ Retrieval-Augmented Generation (RAG)
Master document ingestion, chunking, embeddings, semantic and hybrid retrieval, metadata filtering, reranking, grounded responses, citations, and evaluation.
📚 https://www.youtube.com/watch?v=4Ax77tnW0e8
📚 https://www.youtube.com/watch?v=X0btK9X0Xnk
5️⃣ LangChain
Connect models with data, tools, and application logic using integrations, prompt templates, retrievers, structured outputs, RAG pipelines, and workflows.
📚 https://www.youtube.com/watch?v=pSVk-5WemQ0&list=PLKnIA16_RmvaTbihpo4MtzVm4XOQa0ER0
6️⃣ LangGraph & Agentic AI
Build stateful workflows using nodes, edges, state management, conditional routing, memory, human approval, tool execution, error recovery, and multi-agent orchestration.
📚 https://www.youtube.com/watch?v=yC36gN-rqjo&list=PLKnIA16_RmvYsvB8qkUQuJmJNuiCUJFPL
7️⃣ Cloud AI & Production Deployment
Explore Microsoft Foundry, Amazon Bedrock, model hosting, inference APIs, enterprise RAG, agent deployment, observability, monitoring, scaling, cost optimization, and access control.
📚 Krish Naik: https://www.youtube.com/watch?v=ZP_U8eKBy2g
📚 Azure: https://www.youtube.com/watch?v=gKLEsHv8X6I&list=PLKN5-zCKJG7w-3gXIVptJV7sSi7fbQoBE
📚 AWS: https://www.youtube.com/watch?v=cTBGIKAckKE&t=880s
8️⃣ Evaluation, Security & Guardrails
Learn RAGAS, LLM-as-a-Judge, faithfulness, answer relevance, hallucination detection, prompt injection, data leakage, PII protection, testing, and regression evaluation.
📚 RAGAS: https://www.youtube.com/watch?v=J3M95E0LQl8
📚 Judge: https://www.youtube.com/watch?v=3FcYdRQPMCo
📚 Evaluations: https://www.youtube.com/watch?v=6W92_t9FveA&list=PLEneLIDJFpcA
📚 Injection: https://www.youtube.com/watch?v=DANRXYsT4Bs
📚 Guardrails: https://www.youtube.com/watch?v=7V1w5gnZ-kw
9️⃣ Model Context Protocol (MCP)
Understand Host, Client, Server architecture; tools, resources, prompts; transports; authentication; authorization; secure tool execution; and business-system integration.
📚 Anthropic: https://anthropic-partners.skilljar.com/introduction-to-model-context-protocol
📚 Gate Smashers: https://www.youtube.com/watch?v=GxHOSWxp7c0
📚 Chai aur Code: https://www.youtube.com/watch?v=dZyQNy3-HjU
📚 Krish Naik: https://www.youtube.com/watch?v=-UQ6OZywZ2I
🔟 Build Real-World GenAI Projects
Start with:
🛠 Post Generator: https://www.youtube.com/watch?v=qZ_J-Xg0QM4&list=PLeo1K3hjS3uvLuF4Tq1i1KqNM2QvIyzFK
🛠 LangGraph Chatbot: https://www.youtube.com/watch?v=51Ve2tE3Zns&list=PLKnIA16_RmvYsvB8qkUQuJmJNuiCUJFPL&index=10
🛠 Multi-Agent App: https://www.youtube.com/watch?v=_5XF5CCnbDk
Add authentication, logging, evaluation, monitoring, deployment, and a usable interface. That’s what turns a tutorial into a production-oriented application.
💡 Advice: Don’t chase every new framework. Master the fundamentals, build one
AI-ROI: учёт ИИ проектов
Если вам тоже надоело считать ROI от ИИ-проектов в эксель-табличках, возможно вам пригодится портал AI-ROI.
Сделал сначала для себя, но подумалось, что вам тоже может быть полезно, поэтому делюсь.
Что он умеет:
- бизнес-кейсы по Forrester TEI: NPV, ROI и окупаемость в трёх сценариях (пессимист/реалист/оптимист)
- жизненный цикл проекта по ГОСТ 34.601: идея → планирование → пилот → разработка → тестирование → внедрение → масштабирование → поддержка, и на каждом гейте — чек-листы «когда пускать дальше» (по практике Anthropic: пороги метрик, cost per outcome, готовность эксплуатации)
- документы и испытания как в ГОСТ: устав проекта и ТЗ с критериями приёмки до старта, протоколы предварительных/опытных/приёмочных испытаний, риски P×I и журнал изменений
- доверие к ИИ по ГОСТ Р 59276: качество данных, наблюдаемость, безопасность - прямо в чек-листах гейтов; классификация ИИ-решений по 59277 (автономность, технология)
- учёт всех затрат попроектно: подписки, GPU, токены по прайслисту, труд
- реестр выгод с дисциплиной: сначала базовая линия, потом подтверждение факта
- выгрузка отчёта в PDF/Excel и возможность ведения нескольких компаний с изолированными данными
Проще говоря: мировые методики (TEI, graduation criteria) обёрнуты в российские нормативы.
Эта версия без интеграций: портал ничего не тянет сам, только ручной ввод или файлы, но к интеграции все готово, - скажите агенту подключить к LiteLLM или иному прокси и учёт расхода ваших токенов будет импортироваться автоматически.
Архив и инструкция для установки на канале ИИзбранное, как и другие полезные материалы и записи обучающих эфиров (1 неделя, - пробная)
Если попробуете — расскажите, чего не хватает. Буду развивать потихоньку.
#проекты #airoi
———
@tsingular
Источник⚡ Только до 31 октября: покупайте один курс Proglib Academy и получайте второй в подарок!
Что можно освоить?
⏬ ИИ для разработчиков — применение ИИ на разных этапах разработки: от работы с кодом до тестирования, ревью и организации рабочего процесса.
⏬ Разработка ИИ-агентов — создание собственных агентов с памятью, интеграциями и доступом к внешним инструментам.
Научитесь не просто работать с нейросетями, а создавать решения, которые помогают автоматизировать реальные задачи 📍
Можно выбрать эту пару или сочетать любые другие курсы из каталога — под свои интересы и цели.
🎁 Один курс оплачиваете, второй получаете бесплатно. Акция длится до 31 октября.
✨ Прокачать скиллы по акции
ИсточникЖвачка для литераторов
Машинный перевод постоянно улучшается, но проблем всё ещё немало. Текст может выглядеть вполне прилично, а при чтении приходится возвращаться к отдельным фразам, чтобы понять, что имеется в виду. Неестественные формулировки и искажения смысла не всегда бросаются в глаза — чтобы их найти и оценить, нужна внимательная экспертная проверка.
Чтобы решить эту проблему исследователи Яндекса представили ORBIT — систему оценки переводов на базе языковых моделей. Она отмечает проблемные фрагменты и оценивает серьёзность ошибок. Работа опубликована в Findings of EMNLP 2026 — конференции по обработке естественного языка, которая сейчас проходит в Будапеште.
Для экспериментов собрали 600 переводов с английского на русский. Каждый независимо проверили три профессиональных лингвиста. Затем с их разметкой сравнили оценки ИИ: какие ошибки модели замечают и насколько согласны с экспертами.
Исследователи последовательно проверили, как устроить такого оценщика: насколько подробной должна быть инструкция, как собирать и отбирать примеры разметки и что даёт объединение нескольких моделей. Важным оказалось качество примеров, а не просто их количество. В самой сильной конфигурации GPT-5.4, Claude Opus 4.6 и Gemini 3.1 Pro проверяют перевод независимо, а затем Claude объединяет замечания в общий отчёт. Такая редакционная коллегия оказалась эффективнее повторных проверок одной моделью.
На тесте ORBIT достигла уровня согласия между экспертами в поиске ошибок и сравнении переводов по точности и естественности языка. Причём ИИ повлиял и на лингвистов: после знакомства с его отчётом они отмечали в среднем семь ошибок на фрагмент вместо 5,6 и ставили переводам более низкие оценки.
Подход также проверили на пяти других языковых направлениях с независимой разметкой по протоколам MQM и ESA. Данные и промпты открыли: можно проверить результаты и собрать собственного придирчивого редактора.
@anti_agi
Источник✔️ Нейросети научили использовать информацию из предыдущих слоев эффективнее
Исследователи Т-Банка разработали LIMe — метод, который позволяет сократить вычислительные затраты на обучение на 15% при том же качестве, что и у базовой LLaMA. Разработку представили на EMNLP — ведущей международной конференции по обработке естественного языка.
В трансформерах текст проходит через слои в виде числовых представлений. По мере обработки они могут становиться слишком похожими — модель теряет важные различия между токенами и хуже справляется с многошаговыми рассуждениями
LIMe добавляет маршрутизатор, который выбирает, какую информацию из предыдущих слоев использовать. Это помогает сохранять различия между токенами и повторно использовать результаты вычислений
Метод проверили на моделях примерно с миллиардом параметров. На бенчмарках языкового моделирования и рассуждений LIMe показал более высокое качество по сравнению с другими методами. Особенно заметной разница оказалась в синтетических арифметических задачах и в моделях с большим количеством слоев.
В результате нужно меньше вычислений для достижения того же качества и более точное решение задач, требующих рассуждений. Код LIMe выложен в открытый доступ на GitHub
📖 https://github.com/corl-team/lime
ИсточникИсследователи из Яндекса опубликовали на EMNLP две новые статьи про оценку LLM
EMNLP 2026 — это одна из двух главных NLP-конференций вместе с ACL, и по масштабам она, кстати, заметно выросла (в этом году организаторы получили 17 669 заявок против 8 тысяч в прошлом).
В этом году на EMNLP особенно актуальна тема бенчмарков. Старые насыщаются с огромной скоростью, и индустрия остро нуждается в свежих методах эвала LLM.
Один из трендов – игровые бенчи. Игры дают то, чего статичным наборам не хватает, а именно: проверяют стратегическое мышление, удержание контекста и умение мыслить многошагово.
MTGBench – это как раз игровой двуязычный бенчмарк, который состоит из семи многоходовых игр, каждая на английском и русском языках, куда входят Wordle, «Цепочка слов», «Данетки», «20 вопросов», «Поле чудес», «20 признаков» и «Алиас».
Кроме наполнения, бенчмарк интересен тем, на все ходы модели можно объективно ответить. В четырех играх результат проверяет алгоритм, в трех остальных LLM-судья строго ограниченно следит за соблюдением правил. Сам судья отдельно независимо провалидирован.
Лидерборд по 16 протестированным моделям наверху. Сильные ризонинг-модели догоняют или обгоняют собранный авторами человеческий бейзлайн за счет эффективной игры и получения отгадки за меньшее число ходов 😐
Вторая статья посвящена оценке машинного перевода. Его качество растет, но ошибки в передаче смысла и неестественные формулировки по-прежнему встречаются и не всегда заметны при первом чтении. Их поиск требует внимательной работы подготовленных экспертов, а такую разметку сложно масштабировать. Авторы исследовали, могут ли языковые модели оценивать перевод на экспертном уровне, и как должен быть устроен такой оценщик.
Для исследования собрали 600 англо-русских переводов с тремя независимыми экспертными разметками каждого и последовательно проверили влияние инструкций, способов подготовки и отбора примеров, выбора моделей и объединения их отчетов. Итогом стало семейство оценщиков ORBIT. Лучшая конфигурация достигла экспертного уровня согласованности в поиске ошибок при стоимости примерно в 28 раз ниже одного прохода профессионального эксперта. Подход также проверили на пяти других языковых направлениях с независимой разметкой по протоколам MQM и ESA.
Поздравляем исследователей с отличной работой и публикациями на EMNLP!
Источник
