Новости по тегу "ETL"
Подборка публикаций, содержащих тег "ETL". Актуальные темы и важные события.
Построение потока данных в облаке с использованием serverless сервисов
Привет!У бизнеса на практике часто встречается задача построить полноценную аналитику, используя данных из excel, csv файлов. Разнообразие...
WAP паттерн в data-engineering
Несмотря на бурное развитие дата инжиниринга, WAP паттерн долгое время незаслуженно обходят стороной. Кто-то слышал о нем, но не применяет. Кто-то...
Как правильно тащить данные в хранилище и не чувствовать боль
Так обычно начинается повесть о созданном в рекордные сроки дашборде. А потом боль и унижение, и никто не хочет брать на себя ответственность,...
Балансируя на грани: как внедрить Differential Privacy в аналитические пайплайны на Python
В этой статье я расскажу, как добавить механизмы Differential Privacy (DP) в ваши ETL‑ и аналитические пайплайны на Python, чтобы защитить...
ELT процесс в архитектуре Data lakehouse на базе open-source (kafka, dagster, s3+iceberg, trino, clickhouse и DBT)
К нам обратился один из крупнейших строительных холдингов России (ГК компаний из 10+ юридических лиц) с потребностью в сборе всех данных с...
Больше, чем BI: как Страховой Дом ВСК строит эко-систему процессной аналитики в ИТ
Привет, Хабр! Я, Мадаров Артур, руководитель дирекции процессов эксплуатации и ИТ-услуг Страхового Дома ВСК. В своей прошлой статье, «Реинжиниринг...
Сравнительный обзор: Shodan, ZoomEye, Netlas, Censys, FOFA и Criminal IP. Часть 3
В третьей части сравнительного обзора рассматриваются два относительно новых, но уже заслуживших внимание инструмента — Netlas и Criminal IP. Эти...
Подготовка к миграции информационных систем и сервисов
Привет, Хабр! Я, Солнцев Евгений, руководитель управления эксплуатации прикладных систем Страхового Дома ВСК. У нас периодически возникает...
[Перевод] 15 лучших библиотек для визуализации данных, о которых должен знать каждый разработчик
Визуализация данных — это не просто способ представить информацию, а настоящий инструмент для открытия новых инсайтов и улучшения принятия...
Как я разработал скрипт для загрузки данных и разгрузил ИТ-отдел
Привет, Хабр! Кто бы мог подумать, что рутинная просьба «помоги с Excel» запустит цепочку событий, которая изменит подход к работе всего отдела и...
Основы ETL на примере работы с Superset, Airflow и ClickHouse
В этой статье я расскажу, как можно запустить простой ETL-процесс на виртуальном сервере, используя связку Superset, Airflow и ClickHouse. В...
Как превратить данные в деньги? Роль Modus ETL в сборе и подготовке данных
ETL (извлечение, преобразование, загрузка) — процесс сбора данных из разрозненных источников, их подготовки и загрузки в единое хранилище для...