Новое Распределяем каналы MAX по категориям и территориям. Читать новость
Аналитика MAXканалы, чаты и посты

Аналитика

MAX
Сборщики информацииbrain-pro.ru Маркировка иноагентовagent-mark.ru
Открытый канал ID 72415592745498

Данные на стероидах

Команда Дата сервисов VK Tech о практиках и подходах для извлечения максимальной пользы из работы с данными. Если вам понадобится помощь с продуктами VK Tech, обратитесь к боту техподдержки в МАХ: @vktech_support_bot

Открыть в MAX

Публикации за период

По реакциям

Поиск и вся лента — после бесплатной регистрации. Свои даты — по подписке; владелец канала видит их бесплатно. Сортировка по реакциям — по подписке. Зарегистрироваться

Загрузка…

Вычислительное ядро CedrusData теперь учитывает весь план запроса — фото, канал «Данные на стероидах»
⚙️ Вычислительное ядро CedrusData теперь учитывает весь план запроса

🔹 Что поменялось?

Раньше каждый рабочий узел планировал для Oxide только свой фрагмент запроса. Теперь планирование перенесли на координатор: он рассматривает финальный план целиком и определяет, какие части будут выполнены в нативном ядре. Рабочие узлы исполняют выделенные части.

🔹 Зачем это нужно?

Это подготовка к следующему этапу — Remote Exchanges. Благодаря этому узлы смогут обмениваться данными напрямую, без возврата через координатор. Такой обмен нужен для горизонтального масштабирования нативного исполнения: наращивать вычислительные мощности можно будет добавлением узлов. 

Параллельно за последние месяцы Oxide получил поддержку UNION, а также около 30 исправлений корректности работы с Iceberg, о которых мы расскажем в наших постах.
21
Перейти в пост Открыть в MAX Сообщить о неточности
Чтобы готовить отчетность, нужны данные из разных систем: розничного… — видео, канал «Данные на стероидах» ▶ видео
Чтобы готовить отчетность, нужны данные из разных систем: розничного и корпоративного бизнеса, финансового блока, контакт-центра. Для банка «Кубань Кредит» это десятки терабайт в базах данных, файловых системах и объектном хранилище S3.

После четырех лет работы с этими данными на платформе Denodo банк перешел на CedrusData.

📁 Почему решили мигрировать

Главные причины — высокая стоимость лицензии и зависимость от зарубежного ПО.

После двухмесячного пилота выбрали CedrusData: платформа справлялась с нужными объемами данных, была совместима с существующими системами банка и позволяла сократить расходы.

🔃 Как проходил переход

Переход занял шесть месяцев, его разделили на этапы: извлечение данных, трансформация и построение витрин. Некоторые подходы, сложившиеся за годы работы с Denodo, пришлось переработать под новую архитектуру. Основная нагрузка легла на ночные загрузки через Apache NiFi, но срок готовности витрин соблюдали на протяжении проекта.

📈 Какой результат получил бизнес

Для пользователей сохранились привычные BI-системы и прикладные интерфейсы. За полгода банк завершил миграцию, сократил время выполнения ETL-процессов и расходы на лицензии.

➡️ Читайте подробности процесса миграции в кейсе
25
Перейти в пост Открыть в MAX Сообщить о неточности
Правильный ответ — до 10 источников ✈️ 

И самое интересное: при подсчете одного и того же показателя эти источники могут давать разные результаты.

Именно поэтому компания S7 Airlines почти 15 лет назад начала создавать единое хранилище данных, чтобы все подразделения опирались на согласованные цифры.

Как устроена работа с данными в авиации и какие еще задачи решает команда Марии Ткачевой — рассказали в первом выпуске DATA SPACE.
37
Перейти в пост Открыть в MAX Сообщить о неточности

Опрос · анонимный

В крупной авиакомпании число перевезенных пассажиров можно рассчитать по нескольким источникам данных — и получить разные результаты. Как думаете, сколько таких источников может быть в авиакомпании?

  • до 3
  • до 5
  • до 10
  • более 20

Всего голосов: 6 · итоги по вариантам MAX показывает только проголосовавшим

36
Перейти в пост Открыть в MAX Сообщить о неточности
Правда ли авиабилеты дешевле ночью во вторник? — видео, канал «Данные на стероидах» ▶ видео
✈️ Правда ли авиабилеты дешевле ночью во вторник?

Разбираемся, как на самом деле формируются цены на билеты и какую роль данные играют в работе авиакомпаний, в первом выпуске нового проекта!

Запускаем DATA SPACE — проект VK Tech о том, как данные работают на бизнес. В первом выпуске говорим с Марией Ткачевой, CDO S7 Airlines.

Разобрали, как в S7 устроены хранилища данных, где применяют Lakehouse и CedrusData, что тормозит Data Mesh и почему real time в авиационной аналитике может измеряться часами.

А еще выяснили, зачем авторизовываться на сайте авиакомпании вместо охоты за билетами во вторник ночью — история перелетов, тарифы и посещения сайта влияют на персональное предложение.

➡️ Смотрите первый выпуск DATA SPACE в VK Видео
42
Перейти в пост Открыть в MAX Сообщить о неточности

Репост из «Tarantool»

Как выбрать СУБД под реальную задачу и не запутаться в технологиях? — фото, канал «Данные на стероидах»
Как выбрать СУБД под реальную задачу и не запутаться в технологиях?

Уже завтра в прямом эфире AM Live обсудят российский рынок СУБД: где достаточно одной базы данных, когда нужна специализированная или распределенная база и в каких случаях управляемый сервис в облаке выгоднее самостоятельной эксплуатации.

От VK Tech к дискуссии присоединится Руслан Галиев, руководитель команды коробочных продуктов Tarantool. В эфире также поговорят о миграции критичных баз, отказоустойчивости, стоимости эксплуатации и риске зависимости от одного вендора.

🗓 23 октября, 11:00
💻 Онлайн

Зарегистрироваться на AM Live →
30
Перейти в пост Открыть в MAX Сообщить о неточности
Продолжаем рассказывать про обновления CedrusData. В новой версии… — фото, канал «Данные на стероидах»
Продолжаем рассказывать про обновления CedrusData. В новой версии появилась сквозная OIDC/OAuth-аутентификация и расширился аудит ИБ в CedrusData Engine и CedrusData Catalog.

Что изменилось:

🔹 При входе в каталог пользователь авторизуется через внешнюю систему по OIDC. Если включен create-users, учетная запись создается автоматически после первого успешного входа.

🔹 При запросе из Trino каталог получает OAuth-токен пользователя с его группами и ролями. Эти сведения используются для проверки прав доступа. Вручную сопоставлять группы и роли между Trino и каталогом не нужно.

🔹 В журнале аудита Engine фиксируются изменения политик доступа, запуск и остановка сервера. Для событий доступа записывается результат Allow/Deny, поэтому специалисты ИБ могут быстро проверить, что именно произошло.

В итоге меньше ручной работы с учетками и правами, а у ИБ-команды есть единый журнал для проверки доступа и изменений политик.

👍 — если тоже хотите свести ручную работу на нет
39
Перейти в пост Открыть в MAX Сообщить о неточности
Уже через час соберем навык для ИИ-агента в прямом эфире! — фото, канал «Данные на стероидах»
⏰ Уже через час соберем навык для ИИ-агента в прямом эфире! 

Сегодня в 12:30 на вебинаре VK Tech Никита Финченко, старший менеджер продукта VK AI Space, расскажет, как создавать общие навыки для ИИ-агентов и с их помощью автоматизировать процессы сразу в нескольких подразделениях компании. 

➡️ Смотрите вебинар и задавайте вопросы экспертам — ответим в эфире
33
Перейти в пост Открыть в MAX Сообщить о неточности
1–2 рабочих дня вместо 6 месяцев — именно столько теперь занимают… — фото, канал «Данные на стероидах»
⏳ 1–2 рабочих дня вместо 6 месяцев — именно столько теперь занимают маркетинговые исследования «Холдинг Аква». С этим производителю «Ессентуков» и «Нарзана» помог VK AI Researcher.

Как это работает?

VK AI Researcher создан на платформе VK AI Space для разработки и запуска ИИ-агентов. Сервис анализирует обезличенные данные об интернет-аудитории и информацию из открытых источников, чтобы определить, кому может быть интересен продукт, что мотивирует к покупке, а что останавливает. 
 
В «Холдинг Аква» настроили многоступенчатый отбор аудитории по социально-демографическим и географическим признакам, интересам и 16 специальным фильтрам покупательского поведения.

В классическом формате на глубинные интервью для этих задач уходит 2–3 недели. У VK AI Researcher профилирование аудитории и поиск инсайтов занимают около 20 минут. Такой подход помогает компании быстрее оценивать спрос, сравнивать продуктовые концепции и выбирать наиболее перспективные еще до их запуска.

💬 «Кейс "Холдинга Аква" показывает, как генеративный ИИ и данные VK работают вместе на реальной бизнес-задаче — оценке продуктовых гипотез. Теперь команда может проверить гораздо больше идей, прежде чем вложиться в производство», — рассказал директор по ИИ-продуктам VK Tech Роман Стятюгин.
42
Перейти в пост Открыть в MAX Сообщить о неточности
Собираем навык для ИИ-агента в прямом эфире! — фото, канал «Данные на стероидах»
Собираем навык для ИИ-агента в прямом эфире!

21 октября в 12:30 пройдет бесплатный онлайн-вебинар VK Tech «Навыки: как автоматизировать компанию, а не отдельного сотрудника». Покажем, как описывать процессы в виде навыков, подключать их к разным агентам и использовать в нескольких подразделениях.

💬 На вебинаре Никита Финченко, старший менеджер продукта VK AI Space, разберет, как перенести правила, шаблоны, проверки и необходимые действия в общую библиотеку навыков. Готовые наработки можно адаптировать под задачи команд — без разработки каждого решения с нуля.

🔹 В финале создадим навык из описания процесса на естественном языке — прямо в эфире. А затем ответим на вопросы.

👥 Вебинар будет полезен ИТ-руководителям, архитекторам, специалистам по безопасности, владельцам бизнес-процессов, командам разработки, продукта и аналитики.

➡️ Посмотреть программу и зарегистрироваться
45
Перейти в пост Открыть в MAX Сообщить о неточности
Вся лента — после бесплатной регистрации
ВКонтакте Телеграм Одноклассники
Избранное в datool.ru

Следите за каналом в личном кабинете

Зарегистрируйтесь в datool.ru, чтобы добавить канал «Данные на стероидах» в избранное и отслеживать его показатели.

Зарегистрироваться Для владельцев каналов

Подтвердите свой канал

Войдите или зарегистрируйтесь в datool.ru, затем добавьте нашего бота в канал по инструкции в личном кабинете. После проверки владения замок исчезнет и вам станет доступно управление каналом.

Войти или зарегистрироваться

Сообщить о неточности

Опишите, что нужно исправить. Если есть источник, добавьте ссылку.

Вы покидаете datool.ru

Ссылка ведёт на внешний сайт. datool.ru не отвечает за его содержимое — проверьте адрес, прежде чем вводить пароли или платёжные данные.

Переход через 10 с

Перейти