Новости по тегу "ETL"
Подборка публикаций, содержащих тег "ETL". Актуальные темы и важные события.
ELT процесс в архитектуре Data lakehouse на базе open-source (kafka, dagster, s3+iceberg, trino, clickhouse и DBT)
К нам обратился один из крупнейших строительных холдингов России (ГК компаний из 10+ юридических лиц) с потребностью в сборе всех данных с...
Больше, чем BI: как Страховой Дом ВСК строит эко-систему процессной аналитики в ИТ
Привет, Хабр! Я, Мадаров Артур, руководитель дирекции процессов эксплуатации и ИТ-услуг Страхового Дома ВСК. В своей прошлой статье, «Реинжиниринг...
Сравнительный обзор: Shodan, ZoomEye, Netlas, Censys, FOFA и Criminal IP. Часть 3
В третьей части сравнительного обзора рассматриваются два относительно новых, но уже заслуживших внимание инструмента — Netlas и Criminal IP. Эти...
Подготовка к миграции информационных систем и сервисов
Привет, Хабр! Я, Солнцев Евгений, руководитель управления эксплуатации прикладных систем Страхового Дома ВСК. У нас периодически возникает...
[Перевод] 15 лучших библиотек для визуализации данных, о которых должен знать каждый разработчик
Визуализация данных — это не просто способ представить информацию, а настоящий инструмент для открытия новых инсайтов и улучшения принятия...
Как я разработал скрипт для загрузки данных и разгрузил ИТ-отдел
Привет, Хабр! Кто бы мог подумать, что рутинная просьба «помоги с Excel» запустит цепочку событий, которая изменит подход к работе всего отдела и...
Основы ETL на примере работы с Superset, Airflow и ClickHouse
В этой статье я расскажу, как можно запустить простой ETL-процесс на виртуальном сервере, используя связку Superset, Airflow и ClickHouse. В...
Как превратить данные в деньги? Роль Modus ETL в сборе и подготовке данных
ETL (извлечение, преобразование, загрузка) — процесс сбора данных из разрозненных источников, их подготовки и загрузки в единое хранилище для...
Автоматизация для всех: как n8n революционизирует рабочие процессы в бизнесе
До 2022 года я думал, что автоматизация — это удел только крупных компаний. Но в 2022 году я открыл для себя n8n, и всё изменилось. Теперь я...
SSIS в Visual Studio: как мы перешли от хаоса к стабильному ETL-процессу
Можно ли хранить данные, строить по ним отчетность, при этом обходясь без ETL процессов? Технически — да. Практически — только до первого...
Оптимизация инсертов в ClickHouse через Kafka Sink-коннекторы
Меня зовут Артем Москальков, я — ведущий инженер данных в Магнит OMNI. В статье я расскажу о том, как мы оптимизировали производительность...
Как мы решили проблему батчевых загрузок в реляционные СУБД, или Немного хорошего о «худших практиках» в Spark
Всем привет! Меня зовут Алексей Николаев, я работаю дата-инженером в команде ETL-платформы MWS Data (ex DataOps). Часто сталкиваюсь с тем, что в...