Новое Распределяем каналы MAX по категориям и территориям. Читать новость
Открытый канал ID 71127962345605

MLDSAI

Аналитик | Канал на тему Data Science

Россия
Открыть в MAX

Публикации за период

По реакциям

Поиск и вся лента — после бесплатной регистрации. Свои даты — по подписке; владелец канала видит их бесплатно. Сортировка по реакциям — по подписке. Зарегистрироваться

Загрузка…

Загружаем изображение…
Всем привет! 👋

Сегодня поделюсь старым но не менее интересным проектом со стажировки банка ANZ который может вам пополнить ваше портфолио. Для выполнения проекта использовался pandas, plotly и sklearn. Кому интересно переходите на kaggle 📗

#pandas #plotly #sklearn #machine_learning #project #data_analysis
Просмотры: 109
Перейти в пост Открыть в MAX Сообщить о неточности
Загружаем изображение…
Всем привет! 👋

Сегодня поделюсь проектом анализа бизнеса автопарка и разбор причин роста и предложение дальнейшего развития. Проект выполнялся с polars, а визуализация с помощью plotly. Кому интересно переходите по ссылке!

Переходите на GitHub 📗

#polars #plotly #project #data_analysis

Рекламный пост

Просмотры: 44
Перейти в пост Открыть в MAX Сообщить о неточности
Загружаем изображение…
Всем привет! 👋

Сегодня поделюсь еще одним проектом автоматизации ETL обработки данных с помощью airflow, но в рамках проектного модуля курса HARD-DE.

Цель проекта показать что ты умеешь настраивать ETL pipeline для обработки данны на примере Теста TPC-H данных.

Переходите на GitHub 📗

#airflow #karpov_courses #project #hardDE #pyspark #kubernetes
Просмотры: 41
Перейти в пост Открыть в MAX Сообщить о неточности
Загружаем изображение…
Всем привет! 👋

Недавно подвел итоги раздела автоматизации ETL с airflow курса HardDE, и решил создать пример где можно применить такую автоматизацию на практике. В этом примере мы так же используем кастомные операторы и PostgresHook. Сама логика тасков достаточно прямолинейная, но главное дает возможность проводить дальнейший анализ данных и визуализации в BI имея актуальные данные.

Переходите на GitHub 📗

#airflow #karpov_courses #project #hardDE
Просмотры: 31
Перейти в пост Открыть в MAX Сообщить о неточности
Загружаем изображение…
Загружаем изображение…
📙Таск Группы

❯ Удобный способ группировать таски в одну группу, в данном примере создаем пайплаин таксов с двумя подгруппами
❯ Первый вариант через контекстный менеджер
❯ Второй вариант где мы явно указываем аргументы dag и task_group

#airflow #таск_группы #karpov_courses #summary #hardDE
Просмотры: 46
Перейти в пост Открыть в MAX Сообщить о неточности
Загружаем изображение…
Загружаем изображение…
Загружаем изображение…
Загружаем изображение…
📕Передача данных между тасками задание (2/2)

Пройдемся по решению:

1) Пополняем родительский класс двумя дополнительными методами для REST запроса, хук вызывается в нашем операторе operProcess

2) Кастомный оператор, добавив его в папку модуль, для упрощения читаемости в самом DAG. В операторе мы получаем количество страниц и итерируем по всем страницам выгружая result в JSON (метод в хуке). По всем местам по всем страницах делается подсчет резидентов (residents_cnt) и по этому ключу делается сортировка списка и фильтруется до топ 3 располодении. Из этого списка формируется INSERT который передается implicit способом xcom.

3) Оператор operStore подключается к БД через PostgresХук и записывает данные

4) Сам DAG фаил. В данном примере передача данных делается явным подходом чтобы не писать xcom.push. В логике DAG используется pythonBranch оператор для выборка подхода при наличии или отсутсвии существующий таблицы в БД.

GitHub ссылка

#airflow #переда_данных #karpov_courses #hardDE
Просмотры: 41
Перейти в пост Открыть в MAX Сообщить о неточности
Загружаем изображение…
📕Передача данных между тасками задание (1/2)

❯ В этой задаче нам нужно сделать несколько вещей.

- Создать REST запрос и собрать данные который предоставляет данный API (тут будет JSON)
- Нужно создать запрос в БД через airflow создав новую таблицу куда будем записывать обработанные данные при условии что таблицы нет в БД
- Обработать запрос и выполнить аналитическое требование задания
- Данные загрузить в таблицу которую ранее создали

#airflow #переда_данных #karpov_courses #question #hardDE
Просмотры: 34
Перейти в пост Открыть в MAX Сообщить о неточности
Загружаем изображение…
Загружаем изображение…
Загружаем изображение…
📙Передача данных между тасками

❯ Один способ передачи данных между тасками для DAG, по умолчанию использует xcom либо явным образом (explicit) или неявным (implicit)

xcom_push – передаёт параметры, которые хотим получить в другом таске
xcom_pull – забирает эти параметры

Применение в тестовом задании

#airflow #переда_данных #karpov_courses #summary #hardDE
Просмотры: 32
Перейти в пост Открыть в MAX Сообщить о неточности
Загружаем изображение…
Всем привет!

Решил завести канал на тему дейта сайенс и все что рядом по тематике.

Про меня: На данный момент работаю с большими данными в сбере. В прошлом работал над проектами инженерного направления.

Если интересно мой кагл | гитхаб и моя страница | старые посты на телеграмме

#introduction
Просмотры: 39
Перейти в пост Открыть в MAX Сообщить о неточности
ВКонтакте Телеграм Одноклассники
Избранное в datool.ru

Следите за каналом в личном кабинете

Зарегистрируйтесь в datool.ru, чтобы добавить канал «MLDSAI» в избранное и отслеживать его показатели.

Зарегистрироваться
Для владельцев каналов

Подтвердите свой канал

Войдите или зарегистрируйтесь в datool.ru, затем добавьте нашего бота в канал по инструкции в личном кабинете. После проверки владения замок исчезнет и вам станет доступно управление каналом.

Войти или зарегистрироваться

Сообщить о неточности

Опишите, что нужно исправить. Если есть источник, добавьте ссылку.

Вы покидаете datool.ru

Ссылка ведёт на внешний сайт. datool.ru не отвечает за его содержимое — проверьте адрес, прежде чем вводить пароли или платёжные данные.

Переход через 10 с

Перейти