Геолог-программист

Кстати, у нас случился релиз 🥳.

Заходите - попробуйте https://deepcore.petroleum.digital/ (если вы были ранее зарегистрированы - все данные должны были сохраниться).

Теперь определяется вся геотехника, включая альфу и бетту и можно фильтровать по естественным трещинам (это всё было, но теперь всё на одном планшете и не надо перезапускать), дополнительно - можно вообще всё что угодно загружать, включая шлифы и каротаж.

Выгрузка - в любом видео - строгая отчетность в docx, csv, xlsx

Шлифы можно тоже обрабатывать - определять гранулометрию, следите за обновлениями, скоро будет много интересного ;)

geologistprogrammer | VK | TG

Кому алмазных буровых голов отечественных с XII (самым сложным) классом буримости?
(не реклама, как всегда - делюсь новостями с конференций)

Доклад вызвал бурную дискуссию и желание поддержать проект со стороны экспертов, вношу свою лепту :)

Ещё немного пообщался с самим производителем - оказывается, буровиков-технологов не хватает, много кто просто губит коронки на пустом месте, вне зависимости от страны производства коронок.

geologistprogrammer | VK | TG

Кто на Майнексе - буду рад видеть в 'Толстом', презентация будет в районе 10:30-11:30 (возможно - позже и после - у нашего стенда 🤝

Она перестала быть только про керн.

Идея новой версии системы автоматического описания керна — логичный запрос от пользователей: хочется хранить и смотреть на всё вместе, наша же позиция всегда была от данных, которые мы можем обрабатывать автоматически, теперь работаем и с образцами (шлифы, аншлифы, шлам), и с каротажем.

Мы продолжаем встраиваться в специализированные системы наших партнеров (зачем реализовывать у себя то, что и так уже есть у коллег, благодаря чему пользователь не должен учиться новому инструменту), однако, как и любой вендор, должен быть «founder's edition» версия, чтобы можно было легко тестировать гипотезы и быть максимально гибким к применению тех или иных алгоритмов с возможностью быстро адаптировать готовый и оттестированный функционал коллегам с понятным запросом по ручкам и данным для легкого внедрения.

С новой версией можно будет познакомиться на Майнексе (у некоторых коллег она уже развернута для тестов ;), 7-го октября на сессии «Методики и технологии эффективного изучения недр», в промежуток между 10 и 11 буду одним из докладчиков, а после у нас на стенде можно будет попробовать самостоятельно (вход на выставку — бесплатный).

geologistprogrammer | VK | TG

Scispace\perplexity на коленке

С чего на самом деле начиналась история ИИ - ассистента?
На самом деле - первоначальная задумка - создать непосредственно помощника исследователя, аналогичного перечисленным в заголовке.

Как они работают?
Как правило - это некоторая большая языковая модель или ряд отдельных БЯМ вокруг которых есть разные инструменты - это всё объединяется в харнес-систему (harness - упряж), где множество агентов одновременно выполняют различные задачи.
Главная модель (как правило - самая большая) - является оркестратором, которая знает сильно больше других, и ряд маленьких - у них в контексте четкая задача и небольшой набор инструментов для них.
Например, вы отправляете запрос "Создай подборку статей про рудоносность золото‑сульфидных месторождений Восточной Сибири за последние 5 лет".
Оркестратор раскидывает задачу:
— один агент генерирует ряд запросов для поиска, вытаскивает DOI / аннотации, научные метаданные;
— второй шерстит открытые источники — eLibrary, КиберЛенинку, сайты институтов;
— третий собирает всё в единую таблицу: title, authors, year, url, relevance_score.
Дальше эта информация может разными способами векторизоваться\индексироваться и собираться в базу, с которой может работать другой агент.

Технический стек
Сама обвязка может состоять из разного, для конкретно нашей цели - нужен минимум RAG (Retrieval-Augmented Generation, генерация с поиском по базе) и, собственно, источники информации, которые должны базу заполнять, ну и технологический стек, основанный на российских технологиях, чтобы голова не болела.

С точки зрения индексации баз по науке существует несколько систем научного цитирования, colab.ws и РЦНИ. У того и у другого есть апи и вроде бы как оба доступны.
Ребятам из колаба можно написать в чат - быстро ответят и решат все вопросы, со вторыми сколько не пытался связаться, к сожалению, так и не получил ответа, при этом что отправлял несколько запросов с разных адресов.

Кроме научных баз - полезно собирать данные и статьи из интернета - для этого используется апи яндекса, оно доступное и достаточно бюджетное.
Ну и сама языковая модель - гигачат, на мой вкус - он отвечает лучше других с точки зрения русского языка и у них сразу есть модель для эмбедингов.

Результаты
В целом, система получилась более менее рабочей, но пока что сильно требовательно по ресурсам с точки зрения запросов - в тот же самый колаб может улетать до 100 запросов на поиск разной литературы. Также далеко не всегда можно скачать PDF, что усложняет создание базы для RAG и пока что требует частого вмешательства, ну и написание статей у меня пока не в приоритете, поэтому это больше остается экспериментом и интересным опытом.
Ну а что в приоритете - это вторая версия системы автоматического описания керна, про которую, наконец, скоро смогу рассказать много подробностей :)

geologistprogrammer | VK | TG

Сделал личного ИИ-ассистента

Есть много задач, которые требуют много времени но не особо мне интересны (заполнение документов, подача написанных статей в журналы и пр.), кроме того для обновления курса - надо проанализировать как предыдущие лекции, так и обновленные и составить конспекты\вопросы\тайм-коды.

Как это всё автоматизировать?

Думаю, многие слышали про автоконспектирование, но, как правило, всё запускается в облаке — ассистент может положить запись в открытую ссылку без пароля — далеко не всегда это может быть хорошей опцией.
Собственно, потому и пришла идея взять готовое и адаптировать под личные задачи.
Первоначально — делал MVP на ноутбуке — начал с whisper.cpp. Проблема с ней в том, что она генеративная, зацикливается (делает вид, что расшифровка идёт, но генерирует одну и ту же фразу) + требовательна к памяти. Тем не менее, подход оказался рабочим, расшифровка получалась, но что с ней делать? для последующей обработки — нужна локальная LLM. Та же история с зацикливанием, если модель небольшая.

После ряда экспериментов — MVP себя оправдало, но как вы сами догадались — вычислений много, да и ноутбук надолго не оставишь включенным. Некоторое время думал над вариантами и купил мини-сервер (помещается буквально на ладони) с 128 ГБ объединённой памяти и Ryzen AiMax. Расчёт был на то, что под примерно такие характеристики и оптимизируют открытые модели. На данный момент расчет уже оправдал себя, поскольку недавно вышедшая квантизированная Qwen 3.8 (125 млрд, инференс по 6млрд) там вполне может жить и генерировать ответы со скоростью до 30 токенов/с (может падать до 15, если контекста много). Этого вполне хватает, чтобы поставить задачу и уйти заниматься своими делами, в целом, модель подходит, в т.ч. для генерации кода.

В итоговом решении — LLM от 32B параметров, GigaAM (сберовская модель, которая не страдает от зацикливаний) + pyannotate только для своего голоса, чтобы разметить фрагменты речи, тишину, и другие моменты.

Аппетит приходит во время еды, да и зачем такому железу простаивать — поэтому повесил туда локального бота. Можно скинуть свое голосовое с описанием задач\результатов и на выходе получить задачи для отправки в трекер. Связка с Telegram / почтой / Яндекс.Трекером / YouGile / Max — может быть настроена, можно, например, запрашивать план задач на сегодня.

Как может работать в теории
Отправляешь запись → на выходе расшифровка, задачи для каждого и мемо. Всё локально.

Но начиналось, на самом деле, всё с немного другой идеи, которая требует ещё больших ресурсов — об этом завтра ;)

geologistprogrammer | VK | TG