Природа
Adaptive Query Execution в Spark 3: как умная оптимизация покончила с ручными танцами с бубном
Представим ситуацию: мы спланировали маршрут до точки назначения, предположили,...
Новости по тегу "spark"
Подборка публикаций, содержащих тег "spark". Актуальные темы и важные события.
Технологии
Data Quality в масштабе Big Data: как мы построили систему контроля качества данных в Hadoop
Качество данных — это не просто вопрос наличия значений в столбцах таблиц. Это...
История
Настольный дата-центр: как NVIDIA упаковала целый ИИ-кластер в корпус 15×15 см
Совсем недавно NVIDIA представила DGX Spark — компактный AI-компьютер формата...
Природа
От реляционных СУБД к экосистеме Hadoop
Привет, Хабр! Недавно я понял, что не знаю, что такое Hadoop. (На этом моменте...
История
От сырого кликстрима к чистым датасетам: как мы в Lamoda Tech варим данные
Привет, Хабр! Это тимлид DS группы ранжирования и поиска Дана Злочевская и...
Природа
Как мы решили проблему батчевых загрузок в реляционные СУБД, или Немного хорошего о «худших практиках» в Spark
Всем привет! Меня зовут Алексей Николаев, я работаю дата-инженером в команде...
Природа
Влияние маленьких файлов на Big Data: HDFS vs S3
Привет, Хабр! Я Станислав Габдулгазиев, архитектор департамента поддержки...
Технологии
Что происходит с вашим JavaScript-кодом внутри V8. Часть 1
В этой серии статей мы пройдемся по каждому этапу работы V8: лексическому и...
Технологии
Пишем движок SQL на Spark. Часть 8: CREATE FUNCTION
В предыдущих сериях ( 1 • 2 • 3 • 4 • 5 • 6 • 7 • Ы ) рассмотрели, как написать...
Красота
Соединение SortMergeJoin в Apache Spark
Рассмотрим, как реализован SortMergeJoin в Apache Spark, и заодно заглянем в...
ИИ
Spark on Kubernetes: наш путь к автоматизации через кастомный оператор Airflow
Всем привет! Меня зовут Дмитрий Третьяков, я ML Engineer в компании «Лента». Мы...
Технологии
Иногда приходится¹ копаться² в кишках³ Apache Spark
¹ …просто потому, что другого варианта добиться необходимого результата тупо не...
1
2