Data Analysis / Big Data
The best posts on data analysis and working with Big Data in Russian and English Place an advertisement: @tproger_sales_bot Rules of communication: https://tprg.ru/rules Other channels: @tproger_channels
This channel is part of the following ad network. Channels in a network list the same advertising contact: usually one owner or one ad seller.
This channel is part of the discussion
Data Analysis / Big Data appears in 24 event pages on TGScopeКак Kubeflow SDK переносит обучение модели с ноутбука в Kubernetes Функцию обучения на Python можно запускать локально, в контейнере или в Kubernetes без переписывания кода: достаточно сменить настройку среды. SDK сериализует функцию и зависимости, создаёт ресурс TrainJob и…
Полезная ML-модель может затеряться в соседнем домене Эмбеддинги Netflix, созданные для студийных процессов, находят границы сцен, визуальные переходы и структуру видео. Эти числовые представления контента потенциально пригодились бы рекламе для подбора объявления под контекст,…
Как DuckDB ускоряет чтение Parquet из S3 В тесте TPC-H Q6 запрос к Parquet-файлу размером около 22 ГБ выполнился за 2,844 секунды на DuckDB v2.0.0-dev вместо 8,230 секунды на стабильной v1.5.5. Данные читались напрямую из S3 без файлового кеша. Ускорение даёт отдельный пул…
Как Kubeflow SDK переносит обучение модели с ноутбука в Kubernetes Функцию обучения на Python можно запускать локально, в контейнере или в Kubernetes без переписывания кода: достаточно сменить настройку среды. SDK сериализует функцию и зависимости, создаёт ресурс TrainJob и…
Как ORAG ведёт документ от загрузки до гибридного поиска ORAG принимает текст через /documents:import и файлы через /documents, а статус загрузки доступен по /ingestion-jobs/{id}. Поиск объединяет векторные кандидаты из Qdrant и совпадения по словам из PostgreSQL, затем…
Как Netflix дробит широкие партиции Cassandra для временных рядов В системе Netflix обычное чтение занимает единицы миллисекунд, но широкие партиции растягивают его до секунд. События одного временного ряда копятся, вызывая тайм-ауты, загрузку процессора и очереди потоков.…