Очень хочется рассказать, над чем работаем уже продолжительное время, и я решил не сдерживаться.🤭
Основной модуль в нашем сервисе - 🟠dbt. Он позволяет целым командам на регулярной основе перерабатывать большие массивы данных, и сейчас под управлением SubQuery находится несколько сотен терабайт.
Но какое вам до этого дело, правильно?)🤷
Для работы с dbt нужны данные и субд, которая их хранит и обрабатывает. Мы прекрасно понимаем, что это значимое препятствие для работы с сервисом😥. И вот скриншот закрывает первый вопрос - регулярные поставки данных.
Долго думали, как это правильно организовать, чтобы и масштабировалось, и селф-сервис присутствовал с кастомизациями, и пропускная способность высокая для больших ребят, и закрывались как адхоки, так и крон-задачи.. придумали😉. Наверняка, позже будет статья на хабре об архитектуре решения, а пока гоняем внутри и готовим к публичному тестированию.
Чем отличается?
– мы в первую очередь ориентируемся на data специалистов, так что ожидайте упор на сырьё
– не просим креды от вашей СУБД, но и не лочим данные у себя, об этом позже
– предположу, что у нас самый большой в рунете опыт работы с маркетинговыми источниками - свыше сотни интеграций за плечами
– будут бесплатные квоты, не сомневайтесь. Коммьюнити 💚
Когда ждать?
Надеюсь успеть до релиза GTA 🤣
Основной модуль в нашем сервисе - 🟠dbt. Он позволяет целым командам на регулярной основе перерабатывать большие массивы данных, и сейчас под управлением SubQuery находится несколько сотен терабайт.
Но какое вам до этого дело, правильно?)🤷
Для работы с dbt нужны данные и субд, которая их хранит и обрабатывает. Мы прекрасно понимаем, что это значимое препятствие для работы с сервисом😥. И вот скриншот закрывает первый вопрос - регулярные поставки данных.
Долго думали, как это правильно организовать, чтобы и масштабировалось, и селф-сервис присутствовал с кастомизациями, и пропускная способность высокая для больших ребят, и закрывались как адхоки, так и крон-задачи.. придумали😉. Наверняка, позже будет статья на хабре об архитектуре решения, а пока гоняем внутри и готовим к публичному тестированию.
Чем отличается?
– мы в первую очередь ориентируемся на data специалистов, так что ожидайте упор на сырьё
– не просим креды от вашей СУБД, но и не лочим данные у себя, об этом позже
– предположу, что у нас самый большой в рунете опыт работы с маркетинговыми источниками - свыше сотни интеграций за плечами
– будут бесплатные квоты, не сомневайтесь. Коммьюнити 💚
Когда ждать?
Надеюсь успеть до релиза GTA 🤣