Новости по тегу "Data Engineering"
Подборка публикаций, содержащих тег "Data Engineering". Актуальные темы и важные события.
Apache Kafka на слое Stage аналитической платформы: зачем, как и грабли на пути
Всем привет! В этой статье поделюсь нашим опытом использования Apache Kafka на слое Stage в аналитической архитектуре. Мы поговорим о том, что...
Приходят как-то аналитики на офисную кухню, а там дата-инженеры в нарды играют…
Один из игроков — я, Кирилл Красновид, тимлид BI-команды в Профи.ру. Наша задача — делать так, чтобы каждый быстро и удобно получал нужную...
Оптимизация Spark-приложений: шаг за шагом от базовых техник до продвинутых приёмов
В этой статье мы делимся опытом оптимизации Spark-кода на реальных задачах: рассказываем, как с помощью ручного и автоматического репартицирования...
Концепция построения централизованной аналитики
Централизованная аналитика — это фундамент эффективного принятия решений в компании. Чтобы данные действительно работали на бизнес, они должны...
Ну ты это, заходи если чё: как сделать единую систему авторизации в корпоративных ботах
Привет, Хабр! На связи команда данных «МосТрансПроекта». Недавно мы рассказывали про бот «Информатум», в котором хранятся служебные презентации....
Ну ты это, заходи если чё: как сделать единую систему авторизации в корпоративных ботах
Привет, Хабр! На связи команда данных «МосТрансПроекта». Недавно мы рассказывали про бот «Информатум», в котором хранятся служебные презентации....
Join таблиц в реальном времени на Apache Flink
Статья посвящена реализации join-операций в системах потоковой обработки данных на базе Apache Flink. Рассматриваются основные подходы к...
Эра Big Data: новые возможности в принятии решений
Big Data - это огромные объёмы данных, которые невозможно обработать с помощью традиционных методов.Они могут быть структурированными (например,...
Со скоростью кометы: ускоряем Spark без переписывания кода
Привет, Хабр! Меня зовут Лев Маковеев. Я младший инженер по обработке данных в компании «Криптонит». В этой статье хочу поделиться с вами...
Стриминг Apache Flink из MongoDB в PostgreSQL на Python
Привет, Хабр! Меня зовут Александр Цай, я ведущий аналитик в МТС Web Services, но на деле занимаюсь всеми вопросами, касающимися DA/DE/BI:...