Библиотека дата-сайентиста | Data Science, Machine learning, анализ данных, машинное обучение

🧠 MIT: чем больше датасет, тем сложнее понять, что именно повлияло на ответ модели Свежая работа MIT по machine unlearning обнаружила интересный эффект: с ростом обучающего датасета связь между отдельными примерами и поведением модели становится менее очевидной. На практике…

🚀 Почему AI перестал полагаться только на Vector Search Ещё недавно почти все RAG-системы строились одинаково: документы разбивали на чанки, создавали эмбеддинги, сохраняли их в Vector Database и по ним искали контекст для LLM. 🔴 Это был большой шаг вперёд по сравнению с…

🔥 Команда дня: einsum или как реализовать multi-head self-attention без единого цикла Если вы работаете с нейросетями, особенно с трансформерами, то, скорее всего, сталкивались с реализациями self-attention, переполненными циклами. Однако благодаря np.einsum можно выразить всю…

📄 Docling — мощный инструмент для разбора документов под задачи Data Science Если вы работаете с RAG, LLM, извлечением данных или документными пайплайнами, Docling — это как «универсальный загрузчик» для неструктурированных данных. Он не просто конвертирует файлы — он понимает…

Percentify: 80% проверок датасета в 20% кода Каждый раз при старте нового проекта повторяем одно и то же: смотрим пропуски, считаем перекос классов, проверяем мультиколлинеарность, строим корреляции. Percentify упаковывает это в одну строку. Работает с pandas и Polars —…

⏳ Главная ошибка при валидации временных рядов Обычный KFold на временных данных легко даёт утечку из будущего: модель обучается на данных, которые хронологически находятся после validation. Метрики красивые, прод — уже нет. 🤩 Для временных рядов используйте разбиение по…