Новости по тегу "data engineering"
Подборка публикаций, содержащих тег "data engineering". Актуальные темы и важные события.
Зачем банку ещё одна ALM-система
Хабр, привет! В этой статье расскажем, как команда банка ВТБ построила...
Apache Airflow на практике: погружение в инструмент для оркестрации ETL-процессов
Apache Airflow давно стал стандартом в мире Data Engineering благодаря своей...
Как мы решили проблему батчевых загрузок в реляционные СУБД, или Немного хорошего о «худших практиках» в Spark
Всем привет! Меня зовут Алексей Николаев, я работаю дата-инженером в команде...
Проблемы БД или почему большой продакшн спасут только массовые расстрелы запросов
За счёт правильных, даже необязательно новых, а просто верно выбранных...
Как мы храним 20000+ метрик и миллиарды комбинаций разрезов в одной таблице
Привет! Меня зовут Влад Божьев, я старший разработчик юнита АБ-тестирования...
ClickHouse как DWH: Производительность без боли и ловушки merge-таблиц
Недавно перед нашей командой встала непростая задача: объем данных для...
[Перевод] Какую архитектуру данных мне выбрать? — Подход Data-инженера. Часть 1
Выбор архитектуры данных — это не просто техническое решение, а стратегический...
Топ-статей Saint HighLoad++ 2025
В этом году Saint HighLoad++ снова собирает экспертов индустрии на берегу Невы....
Apache Kafka на слое Stage аналитической платформы: зачем, как и грабли на пути
Всем привет! В этой статье поделюсь нашим опытом использования Apache Kafka на...
Приходят как-то аналитики на офисную кухню, а там дата-инженеры в нарды играют…
Один из игроков — я, Кирилл Красновид, тимлид BI-команды в Профи.ру. Наша...
Оптимизация Spark-приложений: шаг за шагом от базовых техник до продвинутых приёмов
В этой статье мы делимся опытом оптимизации Spark-кода на реальных задачах:...
Концепция построения централизованной аналитики
Централизованная аналитика — это фундамент эффективного принятия решений в...