Как заставить BERT хоть немного шарить в науке
Научных публикаций всё больше, растёт это дело по экспоненте — руками их уже не разложить по полочкам и не проиндексировать. Так что автоматическая классификация нужна, вопрос даже не обсуждается. Обычный BERT дообучаешь на размеченных статьях — и на текстах общей тематики он выдаёт шикарный результат.
Только научно-технические тексты живут по другим законам: термины узкие, сущности редкие, связи между концептами хитрые — и вся эта красота плохо ловится базовой статистикой совместной встречаемости слов. Трансформер учится на распределении токенов. Он в курсе, что «градиентный спуск» и «оптимизация» тусуются рядом, но что первое — разновидность второго, до него не доходит. А когда термины междисциплинарные или контекста кот наплакал, одних статистических паттернов уже не хватает.
Граф знаний такие связи держит явно — семантическими триплетами «субъект — отношение — объект». Впихнуть эту верифицируемую онтологию в дообучение языковых моделей — и слепота трансформеров к фактам лечится. Проблема в другом: как передать модели знания, не убив скорость инференса и не отрезав половину статьи из-за лимитов памяти. Читать далее
👉 Telegram | Max | 🌥 Claude и другие ИИ
Просмотры: 3