Новости по тегу "etl"
Подборка публикаций, содержащих тег "etl". Актуальные темы и важные события.
SSIS в Visual Studio: как мы перешли от хаоса к стабильному ETL-процессу
Можно ли хранить данные, строить по ним отчетность, при этом обходясь без ETL процессов? Технически — да. Практически — только до первого...
Оптимизация инсертов в ClickHouse через Kafka Sink-коннекторы
Меня зовут Артем Москальков, я — ведущий инженер данных в Магнит OMNI. В статье я расскажу о том, как мы оптимизировали производительность...
Как мы решили проблему батчевых загрузок в реляционные СУБД, или Немного хорошего о «худших практиках» в Spark
Всем привет! Меня зовут Алексей Николаев, я работаю дата-инженером в команде ETL-платформы MWS Data (ex DataOps). Часто сталкиваюсь с тем, что в...
Проблемы данных ритейла и их решение через BI-систему
Представьте ситуацию: у вас есть доступ ко всем данным компании – о каждом клиенте, каждой транзакции, каждом движении товара. Но когда нужно...
Containerlab, как альтернатива Cisco Packet Tracer / PNETLab
Всем привет!В этой статье, я вам расскажу про свой личный опыт работы с виртуальными сетевыми лабораториями. Хочу начать своё повествование с...
RecSys + DSSM + FPSLoss is all you need
Упрощать и искать похожие детали, очень полезный навык! Предлагаю быстро пробежаться и попробовать найти ту самую серебряную пулю в RecSys ! Читать далее
Плоские контейнеры в C++23
Новый стандарт C++, C++23, впервые с C++11 расширил всем привычную линейку контейнеров: помимо знакомых array, vector, (unordered_)set,...
RAG: Дообучение модели эмбеддингов для повышения точности поиска
Привет, Хабр! Меня зовут Саприн Семён. Я занимаюсь анализом данных и машинным обучением в компании ПГК Диджитал. Сегодня мы продолжаем серию...
Пишем движок SQL на Spark. Часть 8: CREATE FUNCTION
В предыдущих сериях ( 1 • 2 • 3 • 4 • 5 • 6 • 7 • Ы ) рассмотрели, как написать на Java собственный интерпретатор объектно-ориентированного...
Иногда приходится¹ копаться² в кишках³ Apache Spark
¹ …просто потому, что другого варианта добиться необходимого результата тупо не существует. ² и да, довольно-таки глубоко. ³ нет, серьёзно!...
Пакетная репликация данных в аналитическом ландшафте ХД
Наполнение данными хранилища или озера, как правило, является первым большим шагом к доступности аналитической среды для основного функционала и...
Как мы сделали одну большую песочницу для всех аналитиков
В мире данных и аналитики, где каждый день генерируются огромные объемы информации, создание единой платформы для работы с данными становится...