Удаляем дубликаты и похожие изображения в датасете с помощью библиотеки ImageHash
Дублирующиеся картинки в обучающей выборке перегружают память и приводят к переобучению моделей Computer Vision. Обычные криптографические хеши не работают, так как изменение одного пикселя полностью меняет итоговую строку. Мы используем перцептивное хеширование (pHash), которое сравнивает визуальную структуру изображений независимо от разрешения и сжатия.
Для вычисления перцептивных хешей и сравнения картинок установим специализированную библиотеку ImageHash и Pillow.
pip install imagehash pillow
Пакеты для работы с визуальным хешированием и обработкой изображений успешно установлены.
Напишем Python-скрипт, генерирующий перцептивный хеш и вычисляющий расстояние Хэмминга между визуально схожими кадрами.
from PIL import Image, ImageDraw import imagehash
img1 = Image.new('RGB', (100, 100), color='white') img2 = img1.resize((50, 50))
hash1 = imagehash.phash(img1) hash2 = imagehash.phash(img2) print("Difference:", hash1 - hash2)
Скрипт показал нулевую разницу хешей, подтвердив полное визуальное соответствие изображений разного размера.
# проверка (контрольный запуск проверки доступности модуля imagehash) python3 -c "import imagehash; print('ImageHash Status:', hasattr(imagehash, 'phash'))"
Ожидаемый вывод: ImageHash Status: True
# cleanup (деинсталляция пакетов графической обработки) pip uninstall imagehash pillow -y
Перцептивное хеширование выявляет похожие кадры, измененные сжатием, обрезкой или сменой разрешения. Настраивайте порог расстояния Хэмминга в зависимости от того, насколько строго нужно отсеивать модифицированные копии.
👉 AI Ready | #практика