Новости по тегу "airflow"
Подборка публикаций, содержащих тег "airflow". Актуальные темы и важные события.
Single Sign‑On для MLflow, Jupyterhub и Airflow: OIDC без костылей
Современные платформы для машинного обучения (ML) — это комплексные системы. В их состав входит множество разнообразных инструментов — от средств...
Балансируя на грани: как внедрить Differential Privacy в аналитические пайплайны на Python
В этой статье я расскажу, как добавить механизмы Differential Privacy (DP) в ваши ETL‑ и аналитические пайплайны на Python, чтобы защитить...
Основы ETL на примере работы с Superset, Airflow и ClickHouse
В этой статье я расскажу, как можно запустить простой ETL-процесс на виртуальном сервере, используя связку Superset, Airflow и ClickHouse. В...
Как мы построили сервис KPI для сотрудников
Привет! Меня зовут Арсен, я разработчик в DDPlanet и сегодня хочу поделиться нашим опытом разработки системы KPI для оценки производительности...
Apache Airflow на практике: погружение в инструмент для оркестрации ETL-процессов
Apache Airflow давно стал стандартом в мире Data Engineering благодаря своей гибкости, масштабируемости и богатой экосистеме. В этой статье мы...
Интеграция с ClickHouse: NiFi vs Airflow
На связи Никита Скирдин, программист 1С компании «Белый код». В прошлой статье мы уже говорили о загрузке данных для системы BI-аналитики. В этой...
Spark on Kubernetes: наш путь к автоматизации через кастомный оператор Airflow
Всем привет! Меня зовут Дмитрий Третьяков, я ML Engineer в компании «Лента». Мы регулярно запускаем PySpark-приложения в Kubernetes-кластере,...
От точечных решений к экосистеме: как «Национальная Лотерея» улучшает качество данных
Привет, Хабр! Сегодня мы расскажем, как «Национальная Лотерея» — компания, обрабатывающая сотни миллионов транзакций ежегодно, полностью...
Долгожданный релиз Airflow 3.0.0
Привет, Хабр! Я Георгий Новожилов, инженер данных в «ДАР» (ГК «КОРУС Консалтинг»).В моём стеке и стеке моих коллег Airflow, можно сказать,...
От таблицы в Excel до собственного инструмента: как мы строили в VK Cloud решение для работы с внешними партнерами
Обмен данными между компаниями-партнерами при реализации совместных проектов — стандартная практика. Но часто есть сценарии, которые требуют...
Планировщики процессов — другие open source решения
Такие workflow-оркестраторы, как Metaflow или Apache Airflow, на слуху. Однако в их тени существуют не менее интересные решения — например,...
Методы расширения атрибутивного состава таблиц БД
Представим себе картину из идеального мира данных, в котором всё стабильно, изменений нет и на горизонте не предвидятся. Аналитик полностью...