Новости по тегу "airflow"
Подборка публикаций, содержащих тег "airflow". Актуальные темы и важные события.
Интеграция с ClickHouse: NiFi vs Airflow
На связи Никита Скирдин, программист 1С компании «Белый код». В прошлой статье мы уже говорили о загрузке данных для системы BI-аналитики. В этой...
Spark on Kubernetes: наш путь к автоматизации через кастомный оператор Airflow
Всем привет! Меня зовут Дмитрий Третьяков, я ML Engineer в компании «Лента». Мы регулярно запускаем PySpark-приложения в Kubernetes-кластере,...
От точечных решений к экосистеме: как «Национальная Лотерея» улучшает качество данных
Привет, Хабр! Сегодня мы расскажем, как «Национальная Лотерея» — компания, обрабатывающая сотни миллионов транзакций ежегодно, полностью...
Долгожданный релиз Airflow 3.0.0
Привет, Хабр! Я Георгий Новожилов, инженер данных в «ДАР» (ГК «КОРУС Консалтинг»).В моём стеке и стеке моих коллег Airflow, можно сказать,...
От таблицы в Excel до собственного инструмента: как мы строили в VK Cloud решение для работы с внешними партнерами
Обмен данными между компаниями-партнерами при реализации совместных проектов — стандартная практика. Но часто есть сценарии, которые требуют...
Планировщики процессов — другие open source решения
Такие workflow-оркестраторы, как Metaflow или Apache Airflow, на слуху. Однако в их тени существуют не менее интересные решения — например,...
Методы расширения атрибутивного состава таблиц БД
Представим себе картину из идеального мира данных, в котором всё стабильно, изменений нет и на горизонте не предвидятся. Аналитик полностью...
Как мы сделали одну большую песочницу для всех аналитиков
В мире данных и аналитики, где каждый день генерируются огромные объемы информации, создание единой платформы для работы с данными становится...