New We are sorting MAX channels into categories and territories. Read the news
Public channel ID 72415592745498

Данные на стероидах

Команда Дата сервисов VK Tech о практиках и подходах для извлечения максимальной пользы из работы с данными. Если вам понадобится помощь с продуктами VK Tech, обратитесь к боту техподдержки в МАХ: @vktech_support_bot

Russia
Open in MAX

Posts for the period

By reactions

Search and the whole feed — after free registration. Custom dates — with a subscription; the channel owner sees them for free. Sorting by reactions — with a subscription. Sign up

Loading…

Представьте: менеджер магазина спрашивает ИИ-агента: «Что из молочных продуктов от “Беты“ у нас закончилось?»

Чтобы ответить, агенту нужно связать сведения о товарах, поставщиках и остатках.

В этом помогает онтология. В ней заранее описано, что:

🔹 йогурт и кефир относятся к молочным продуктам
🔹 поставщик и производитель — разные роли: первый поставляет товар, а второй производит
🔹 остаток показывает количество конкретного товара в конкретном магазине.

Из подключенных учетных систем, например 1С, агент получает данные о клубничном йогурте. Его производит «Сигма», поставляет «Бета», и в магазине он закончился — остаток равен нулю.

А может ли LLM справиться без онтологии?

Да — если получит необходимый контекст другим способом. Например, изучит схемы данных и документацию. Но если сведения разбросаны по источникам, агенту придется искать их и восстанавливать отношения. Это может привести к ошибкам.

С онтологией часть этой работы выполнена заранее: понятия и отношения явно описаны и связаны с данными. Это может сделать ответы точнее, быстрее и дешевле — за счет меньшего числа ошибочных трактовок, поисковых запросов и повторных попыток.
Views: 17
Go to post Open in MAX Report an inaccuracy
Нам важно говорить на одном языке со всеми, кто работает с данными. Поэтому мы решили регулярно разбирать термины, чтобы понимать друг друга еще лучше. Начнем с понятия «онтология» — на примере ИИ-агента.

Представьте: магазин запустил скидки, но выручка по акционным товарам упала. Менеджер спрашивает ИИ-агента: «Почему?»

Онтология помогает агенту связать данные об акциях, товарах, клиентах и покупках. Агент обращается к нужным системам и выясняет: скидками воспользовались в основном постоянные покупатели, объем продаж почти не изменился, а новых клиентов больше не стало.

Получается, магазин продал привычные товары привычным покупателям, только дешевле.

🔹 Онтология помогает ИИ не просто находить данные, а понимать связи между ними. Благодаря этому агенту проще выбрать нужную информацию, сократить лишние запросы и расход токенов.

Скоро расскажем, как это работает, на конкретных примерах.
Views: 22
Go to post Open in MAX Report an inaccuracy
Как дать команде доступ к нужным файлам, не открывая ей все… — video, channel “Данные на стероидах” ▶ video
👥 Как дать команде доступ к нужным файлам, не открывая ей все хранилище?

В VK Object Storage для этого есть Bucket Policy — инструмент управления доступом к данным. Он позволяет указать, кто может читать, загружать или удалять файлы, и оставить доступ лишь определенным IP-адресам.

Смотрите видео, в котором Елизавета Белоконова, менеджер продуктов VK Tech, рассказывает, как работает Bucket Policy и как он помогает разграничить доступ для нескольких команд.
Views: 34
Go to post Open in MAX Report an inaccuracy
⚙️ Вычислительное ядро CedrusData теперь учитывает весь план запроса

🔹 Что поменялось?

Раньше каждый рабочий узел планировал для Oxide только свой фрагмент запроса. Теперь планирование перенесли на координатор: он рассматривает финальный план целиком и определяет, какие части будут выполнены в нативном ядре. Рабочие узлы исполняют выделенные части.

🔹 Зачем это нужно?

Это подготовка к следующему этапу — Remote Exchanges. Благодаря этому узлы смогут обмениваться данными напрямую, без возврата через координатор. Такой обмен нужен для горизонтального масштабирования нативного исполнения: наращивать вычислительные мощности можно будет добавлением узлов. 

Параллельно за последние месяцы Oxide получил поддержку UNION, а также около 30 исправлений корректности работы с Iceberg, о которых мы расскажем в наших постах.
Views: 33
Go to post Open in MAX Report an inaccuracy
Чтобы готовить отчетность, нужны данные из разных систем: розничного… — video, channel “Данные на стероидах” ▶ video
Чтобы готовить отчетность, нужны данные из разных систем: розничного и корпоративного бизнеса, финансового блока, контакт-центра. Для банка «Кубань Кредит» это десятки терабайт в базах данных, файловых системах и объектном хранилище S3.

После четырех лет работы с этими данными на платформе Denodo банк перешел на CedrusData.

📁 Почему решили мигрировать

Главные причины — высокая стоимость лицензии и зависимость от зарубежного ПО.

После двухмесячного пилота выбрали CedrusData: платформа справлялась с нужными объемами данных, была совместима с существующими системами банка и позволяла сократить расходы.

🔃 Как проходил переход

Переход занял шесть месяцев, его разделили на этапы: извлечение данных, трансформация и построение витрин. Некоторые подходы, сложившиеся за годы работы с Denodo, пришлось переработать под новую архитектуру. Основная нагрузка легла на ночные загрузки через Apache NiFi, но срок готовности витрин соблюдали на протяжении проекта.

📈 Какой результат получил бизнес

Для пользователей сохранились привычные BI-системы и прикладные интерфейсы. За полгода банк завершил миграцию, сократил время выполнения ETL-процессов и расходы на лицензии.

➡️ Читайте подробности процесса миграции в кейсе
Views: 32
Go to post Open in MAX Report an inaccuracy
VKontakte Telegram Odnoklassniki
Favorites at datool.ru

Follow the channel in your account

Sign up at datool.ru to add the channel “Данные на стероидах” to favorites and track its metrics.

Sign up
For channel owners

Verify your channel

Sign in or sign up at datool.ru, then add our bot to the channel following the instructions in your account. Once ownership is verified, the lock disappears and channel management becomes available.

Sign in or sign up

Report an inaccuracy

Describe what needs fixing. If you have a source, add a link.

You are leaving datool.ru

The link leads to an external website. datool.ru is not responsible for its content — check the address before entering passwords or payment details.

Redirecting in 10 s

Go