New We are sorting MAX channels into categories and territories. Read the news
MAX analyticschannels, chats and posts

Analytics

MAX
Information collectorsbrain-pro.ru Foreign agent labelingagent-mark.ru
Public channel ID 71082621179271

SubQuery - ClickHouse, dbt, Iceberg

SubQuery — автоматизация данных для аналитиков и data-инженеров.

Пайплайны, описанные кодом, с визуализацией и тестами, готовый dbt-стек c IDE, планировщик запусков и безопасная совместная работа.

Сайт
https://subquery.ru

Russia
Open in MAX

Posts for the period

By reactions

Search and the whole feed — after free registration. Custom dates — with a subscription; the channel owner sees them for free. Sorting by reactions — with a subscription. Sign up

Loading…

Где деньги, Лебовски? — photo, channel “SubQuery - ClickHouse, dbt, Iceberg”
💸 Где деньги, Лебовски?

Вопрос, который стоит задать не только бухгалтерии, но и вашей дата-команде. Потому что деньги могут исчезать совершенно незаметно.

В новой статье переводим разговор о семантическом слое с технического на финансовый.

Разбираем, из чего складываются скрытые расходы, как оценить потенциальную экономию, рассчитать ROI внедрения и обосновать инвестиции в семантический слой на языке бизнеса.

Узнать цену отсутствия семантического слоя можно тут
👉️️️️️️ https://subquery.ru/blog/semantic-layer/semantic-layer-roi

В следующий раз, когда вас спросят «А зачем нам семантический слой?», просто покажите эту статью.
7
Go to post Open in MAX Report an inaccuracy
Встречайте ноутбуки SubQuery! — photo, channel “SubQuery - ClickHouse, dbt, Iceberg”
🚀 Встречайте ноутбуки SubQuery!

Объявляем сезон охоты на инсайты открытым! Вооружайтесь SQL и Python. Исследуйте данные, проверяйте гипотезы и ищите то, чего никто раньше не замечал.

Теперь вы можете проводить полноценные исследования данных прямо в браузере, без установки Jupyter и настройки окружения.

Что умеют ноутбуки?
• SQL, Python и DuckDB — работайте с данными, проверяйте гипотезы и выполняйте расчёты.
• CSV, Parquet и JSON — загружайте свои файлы и анализируйте их вместе с данными из подключённых БД.
• Графики и таблицы — визуализируйте результаты прямо в ноутбуке.
• Автосохранение — код и результаты выполнения сохраняются, чтобы к исследованию можно было вернуться позже.

У вас есть 5 минут? ⏱

1. Создайте ноутбук в SubQuery.
2. Загрузите любой CSV.
3. Исследуйте данные через DuckDB.
4. Постройте график в Python.

Не хочется начинать с нуля? Мы уже подготовили публичные ноутбуки с готовым кодом и результатами. Например, можно скопировать себе ноутбук с обучением ML-модели и поэкспериментировать с ним.

🆕 Попробовать ноутбуки в SubQuery

📖 Подробнее о новом модуле

Мы очень ждём ваших впечатлений! Пробуйте, экспериментируйте и делитесь идеями, чего ещё не хватает ноутбукам.
8
Go to post Open in MAX Report an inaccuracy
Зачем платить за две квартиры, если можно жить в одной? — photo, channel “SubQuery - ClickHouse, dbt, Iceberg”
🏠  Зачем платить за две квартиры, если можно жить в одной?

Представьте: в одной вы храните все вещи. В другой — работаете. А между ними каждый день перевозите коробки. Звучит абсурдно? 🤪

А теперь замените квартиры на Data Lake и DWH, а коробки — на данные. Узнаёте свою архитектуру? 

А что, если хранить данные и работать с ними можно в одном месте? Именно на этом строится идея лейкхауса.

Данные хранятся в S3, Apache Iceberg обеспечивает транзакции и управление таблицами, а Spark, Trino и DuckDB работают с ними без необходимости создавать отдельную копию под каждый движок.

Но есть нюанс.

Построить лейкхаус — полдела. Не дать ему превратиться в свалку — вот настоящее искусство.

Мелкие файлы, разросшиеся метаданные, старые снапшоты… Без обслуживания даже красивая архитектура начинает тормозить и дорожать.

В статье мы рассказали про путь от устройства архитектуры до её эксплуатации, оптимизации затрат и подключения ИИ-агентов. 

👉  https://subquery.ru/blog/data-lakehouse-iceberg

Меньше переездов, больше аналитики. И никаких коробок посреди комнаты.
13
Go to post Open in MAX Report an inaccuracy
У вас хранилище данных или свалка? — photo, channel “SubQuery - ClickHouse, dbt, Iceberg”
🗑 У вас хранилище данных или свалка?

Двести таблиц лежат рядом. Где сырые данные, где очищенные, а что уже можно спокойно брать в отчёт — никто точно не помнит. Пора раскладывать данные по слоям.

В новой статье разбираемся:

— зачем вообще делить DWH на слои;
— чем Staging → Core → Витрины отличается от Bronze → Silver → Gold;
— где должны жить сырые данные, бизнес-логика и готовые метрики;
— почему тесты нужны на каждом слое;
— и на какие архитектурные грабли наступают чаще всего.

Спойлер: семь слоёв там, где нужны три, — тоже не лучшая архитектура.

👉 Прочитать подробнее можно по ссылке: 
https://subquery.ru/blog/data-warehouse-layering

А сколько слоёв в вашем хранилище?
8
Go to post Open in MAX Report an inaccuracy
VKontakte Telegram Odnoklassniki
Favorites at datool.ru

Follow the channel in your account

Sign up at datool.ru to add the channel “SubQuery - ClickHouse, dbt, Iceberg” to favorites and track its metrics.

Sign up For channel owners

Verify your channel

Sign in or sign up at datool.ru, then add our bot to the channel following the instructions in your account. Once ownership is verified, the lock disappears and channel management becomes available.

Sign in or sign up

Report an inaccuracy

Describe what needs fixing. If you have a source, add a link.

You are leaving datool.ru

The link leads to an external website. datool.ru is not responsible for its content — check the address before entering passwords or payment details.

Redirecting in 10 s

Go