Новости по тегу "обработка данных"
Подборка публикаций, содержащих тег "обработка данных". Актуальные темы и важные события.
«Эра Flink 2.0»: что реально меняется в архитектуре real‑time вычислений
Apache Flink 2.0 — первый мажорный релиз после 1.0 (2016), закрывающий многолетний цикл эволюции архитектуры и устраняющий накопленные болевые...
Основы ETL на примере работы с Superset, Airflow и ClickHouse
В этой статье я расскажу, как можно запустить простой ETL-процесс на виртуальном сервере, используя связку Superset, Airflow и ClickHouse. В...
Сквозь тернии к апдейту: история о том, как мы обновляли стриминг ОК
Стриминговые данные — важная часть многих современных ИТ-платформ. Они активно используются в разных разделах социальной сети Одноклассники уже...
Как мы построили свой инструмент для работы с LLM
Привет, Habr! Меня зовут Алексей Рудак, и я основатель компании Lingvanex — компании, которая уже 7 лет делает решения для машинного перевода и...
Машинное обучение в решении задач медицинской метагеномики
Машинное обучение проникает во все большее число научных и прикладных областей — от финансов до биомедицины. Даже такая сложная и специфичная...
Как мы заменили сотни Join’ов на один РТ-процессинг с 1kk RPS
Как связаны скидки, пользовательские пути и огромные массивы данных в Яндекс Рекламе? Привет, Хабр! Меня зовут Максим Стаценко, я работаю с базами...
Apache Flink для начинающих: архитектура, библиотеки и применение
Apache Flink — это фреймворк и распределенный движок обработки данных, поддерживающий какпакетную (ограниченную), так и потоковую...
Повышаем эффективность хранения данных до 300 раз с помощью таблиц SCD-2
Всем привет, меня зовут Василий. С 2021 года работаю в роли инженера данных в Х5 Tech, успел за это время познакомиться с несколькими интересными...
[Перевод] Поднимайте If вверх, опускайте For вниз
Эта статья — краткая заметка о двух связанных друг с другом эмпирических правилах.Поднимайте If вверхЕсли внутри функции есть условие if, то...
Переходим от legacy к построению Feature Store
Невероятная история о том, как внедрить систему Feature Store в проект с огромным legacy и получить профит.Привет, Хабр! Меня зовут Евгений...
Концепция построения централизованной аналитики
Централизованная аналитика — это фундамент эффективного принятия решений в компании. Чтобы данные действительно работали на бизнес, они должны...
[Перевод] Как писать запросы для табличных моделей с помощью DAX
В этой статье мы погрузимся в мир запросов DAX для табличных моделей данных. ДAX (Data Analysis Expressions) — это мощный язык запросов, который...