Дополнительная информация:

Программа создана с упором на скорость работы и удобство. Встроенные механизмы индексации сохраняют результаты расчетов, позволяя многократно ускорить повторные проверки одних и тех же директорий. Интерфейс адаптирован для комфортной работы с большими массивами данных: он поддерживает темную и светлую темы, динамическую фильтрацию форматов, функцию Drag&Drop и имеет встроенные средства предпросмотра медиафайлов. Вы можете использовать списки исключений для системных файлов и гибко управлять результатами с помощью продуманного контекстного меню.

Особенности программы:

• Многообразие алгоритмов: Поиск точных копий, схожих названий, визуально похожих изображений (с использованием перцептивных хешей) и аудио/видео файлов с одинаковым звучанием.
  • Метод - Быстрое сканирование. Это самый производительный алгоритм. Сначала программа группирует файлы по размеру (так как разные по весу файлы не могут быть идентичны), затем для файлов с одинаковым размером мы читаем только первые 64 КБ и сравниваем их.Это происходит очень быстро даже для тысяч файлов. Только если совпали и размер, и первые 64 КБ, программа читает хеш файла целиком. Это отсеет 99% ложных совпадений без необходимости читать гигабайты хеш данных.
    
  • Метод - Полное сканирование. Это комбинированный метод который включает в себя возможности других методов, а именно "Быстрое сканирование", "Похожие изображения", "Похожие аудиофайлы", "Похожие видеофайлы". Метод сначала делает сканирование методом "Быстрое сканирование" и паралельно прогоняет файлы остальными методами. Приоритет отдается методу "Быстрое сканирование" так как он самый точный, ибо сканирует и сравнивает файлы по хеш. В метод "Полное сканирование" также включены опции из остальных групп включая поиск дубликатов папок, поиск пустых папок и т.д.
    
  • Метод - Сканирование по схожести. Анализирует имена файлов и частичное совпадение содержимого (размер и байтовая структура). Поиск документов с похожими названиями, дубликатов с небольшими изменениями.
    
  • Метод - Поиск по начальным символам. Сравнивает имена файлов по первым N символам (от 3 до 30). Поиск версий файлов (например, Doc_v1, Doc_v2) или файлов с похожей структурой именования. Этот метод позволяет найти файлы, имеющие общий «корень» в названии. Это полезно, когда файлы копировались с добавлением суффиксов (например, ИмяФайла (1), ИмяФайла (2)). Вы можете задать порог длины, чтобы исключить слишком короткие совпадения. Поддерживает двуязычные поиск названий (например, GdePosylka и ГдеПосылка) будут считаться одинаковыми.
    
  • Метод - Похожие изображения. В отличие от обычного хеширования, перцептивное хеширование «видит» изображение. Использует перцептивное хеширование (dHash, pHash, wHash) для анализа визуального контента. dHash (Difference Hash): Анализирует градиент яркости между соседними пикселями. pHash (Perceptual Hash): Рекомендуемый метод. Использует дискретное косинусное преобразование для поиска общих визуальных черт. wHash (Wavelet Hash): По логике наиболее точный метод, использующий вейвлет-преобразование для анализа деталей на разных частотах. Порой может вызывать ложные срабатывания. Поиск дубликатов фото, которые были сжаты, перевернуты, обрезаны или немного отредактированы. Рекомендуемый уровень схожести для поиска не ниже 90% для предотвращения ложных срабатываний.
    В методе похожие изображения, после сканирования, в каждой группе по-умолчанию выбирается изображение "эталон". Алгоритм выбирает его сам как изображение с лучшим качеством. Эталон всегда находится в левом блоке предросмотра, а в правом показывается изображение на который вы кликаете мышкой. Чтобы самому задать эталон, поставьте галочку напротив нужной картинки.
    
  • Метод - Похожие аудиофайлы (Акустический анализ). Используется утилита fpcalc (библиотека AcoustID). Программа извлекает звуковую «подпись» (аудио-фингерпринт) из файла. Этот отпечаток уникален для конкретной мелодии. Даже если файл перекодирован из WAV в MP3 или изменен битрейт, «отпечаток» останется идентичным, что позволяет программе найти дубликат там, где обычный поиск по хешу файла бессилен. Тест показал отличный результаты определив схожесть ~85% даже между треками на разных языках: t.A.T.u. - Я сошла с ума.mp3 и треком t.A.T.u. - All The Things She Said.mp3
    Это одна и та же песня на русском и на английском, но мотив музыки один. Отличается лишь язык на котором поет исполнитель (русский и английский). Акустический анализ определил схожесть как раз по мотиву песни.
    
  • Метод - Похожие видео (только с аудио). Анализирует только аудиодорожку видеофайла на предмет совпадения звукового ряда. По сути тот же метод что и "Похожие аудиофайлы" только адаптированный под видеофайлы. В отличии от нейросетей, которые требуют очень много ресурсов и времени, данный метод значительно эффективен. Единственный недостаток - не найдет дубликаты видео в которых нет звука.

• Продвинутый предпросмотр: Воспроизводите найденную музыку прямо из списка результатов, открывайте видео в системном плеере и сравнивайте похожие фотографии в специальном блоке с подсвечиванием лучшего разрешения и размера.
  
• Индексация результатов: Ускорение повторных поисков за счет сохранения хешей и данных сканирования на диске.
  
• Гибкие фильтры: Поддержка Live-фильтрации расширений и категорий в реальном времени, а также продвинутые фильтры по размеру файлов.
  
• Безопасность: Ведение подробного лог-файла удаленных элементов и возможность восстановления удаленных файлов прямо из программы.
  
• Поддержка темной темы
  
• Поддержка Drag & Drop
  
• Глубина сканирования. Можно задать глубину сканирования до 99 папок. 0 папок означает сканирование только выбранной папки без учета подпапок
  
• Опция "Только файлы второй папки, совпадающие с первой": Эта опция - инструмент для умного сравнения и очистки. Представьте, что у вас есть «Эталонная папка» (первая) и «Рабочая папка» (вторая). Опция «Только файлы второй папки, совпадающие с первой» помогает вам найти и выделить в «Рабочей папке» именно те файлы, которые уже есть в «Эталонной». Это нужно если вы занимаетесь коллекционированием и обновлением файлов внутри эталонной папки. Это как если бы вы скачивали обновления и новые версии программ, но у вас уже есть старая версия скачанной программы. Чтобы не сканировать весь каталог где у вас старая версия на наличие дубликатов, можно сканировать только каталог с новой программой на наличие дубликатов с каталогом старой версии программы. Простыми словами: «Покажи мне из второй папки всё то, что является дубликатом содержимого первой папки».
  Как это работает (на примере):
  Представьте, что у вас есть две папки:
  Папка №1 (Программы): Содержит куча программ по типу Adobe Photoshop 2025, 7-zip 18.0, PotPlayer 250112 и сотни других
  Папка №2 (Загрузки): Содержит скачанные файлы из интернета среди которых Adobe Photoshop 2026, DaVinci Resolve 21, Google Chrome и другие
  Если вы выберете эту опцию:
  Программа проигнорирует DaVinci Resolve 21, Google Chrome (так как его нет в первой папке) и покажет схожесть только между Adobe Photoshop 2026 и Adobe Photoshop 2025.
  Эту опцию отчасти можно считать функцией сравнения двух папок между собой.

Что нового в версии 2.2?

-Добавлено:

• Добавлен новый метод "Полное сканирование". Это комбинированный метод который включает в себя возможности других методов, а именно "Быстрое сканирование", "Похожие изображения", "Похожие аудиофайлы", "Похожие видеофайлы". Метод сначала делает сканирование методом "Быстрое сканирование" и паралельно прогоняет файлы остальными методами. Приоритет отдается методу "Быстрое сканирование" так как он самый точный, ибо сканирует и сравнивает файлы по хеш. В метод "Полное сканирование" также включены опции из остальных групп включая поиск дубликатов папок, поиск пустых папок и т.д.
  
• Сделана единая индексация и кэширование с базой данных (SQLite) которая хранит для каждого файла: путь, размер, mtime, хеш (MD5 для точных дубликатов), perceptual-хеши (для изображений), отпечатки аудио/видео (как BLOB), а также метаданные (длительность, разрешение и т.д.). При сканировании проверяется, изменился ли файл (по mtime и размеру), если нет – берутся данные из базы данных (SQLite), если да - идет пересчитывание. Это дало огромный выигрыш при повторных сканах одной и той же папки и позволили обновлять индексы инкрементально.
  
• В логирование добавлена возможность восстановить удаленный файлы из корзины. Перед каждым файлом перед названием имеется кнопка восстановить. Также в логирование добавлены опции показать "Только папки" или "Только файлы"
  
• Выполнено ускорение обхода файловой системы. os.walk заменен на os.scandir в комбинации с рекурсивным обходом возвращает объекты DirEntry, что ускорило сканирование для всех методов, так как избегает лишних системных вызовов.
  
• Добавлена поддержка взаимосвязи между файлами/папками в группах. Если один и тот же файл или папка будет указан в качестве дубликата в нескольких группах, то удаление этого файла в одной группе, удалит его во всех остальных группах тоже. Также добавлен мутьтивыбор. Выделение файла из одной группы, выделит его и в других группах если он там есть.
  
• Добавлена опция показать сетку для списка результатов. Теперь столбцы и группы лучше разграничиваются и визулально более понятно где/что.
  
• Для разных типов(расширений) файлов в результатах теперь используются разные иконки для лучшего визуального восприятия. Иконки добавлены для видеофайлов, музыки, картинок, документов, файлов программирования, системных файлов Windows и других. В будушем будут дополняться.
  
• Нажатие кнопки delete удаляет добавленную папку. Также можно перемещать папки мышкой и менять их местами в блоке добавленные папки.
  
• В метод "Быстрое сканирование" добавлены опции "Искать дубликаты только папок" и "Искать пустые папки"
  
• Добавлена возможность менять масштаб интерфейса (80% 90% 100% 110% 115% 125%) в настройках, а также зажатием клавиши CTRL+Прокрутка колеса мышки в окне результатов.
  
• В настройки добавлена опция "Сохранять настройки". Для каждого метода сохраняются последние использованные настройки, масштаб интерфейса, а также расположение столбцов и их ширину, чтобы при перезапуске были применены последние использованные настройки в программе.
  
• В главное окно программы добавлена рамка "Добавьте или перетащите файлы" при нажатии на которую открывается диалоговое окно добавления папок. Также добавлена такая же рамка если поиск не дал результатов, рамка покажет "Ничего не найдено".
  
• В контексное меню добавлена опция "Свойства" которая открывает системное свойство файла.

-Изменено:

• Обновлен метод "Быстрое сканирование". Он стал еще быстрее. Применено двухэтапное хеширование (Partial Hashing). Сначала файлы группируются по размеру, затем для файлов с одинаковым размером мы читаем только первые 64 КБ и сравниваем их. Это происходит очень быстро даже для тысяч файлов. Только если совпали и размер, и первые 64 КБ, программа читает хеш файла целиком. Это отсеет 99% ложных совпадений без необходимости читать гигабайты хеш данных.
  
• Обновлены методы "Похожие изображения", "Похожие аудиофайлы", "Похожие видео". Для изображений применен метод хеширования Locality Sensitive Hashing (LSH) и организован поиск по битовому расстоянию Хэмминга через multi-index hashing. Для аудиофайлов/видеофайлов также применен Locality Sensitive Hashing (LSH) для векторов отпечатков. И другие изменения. В целом, скорость работы методов сканирования улучшилось в пределах ~15-20%
  
• Опция "Сохранить результаты" заменена на "Импорт сессии" и "Экспорт сессии". При экспорте сессии сохраняется состояние сканирования вместе со списком файлов, метод сканирования который использовался для поиска файлов, отмеченные файлы, фильтры из "Исключения" и "Фильтр расширений". Данная возможность позволит отложить на потом удаления файлов, а затем вернуться к задаче в подходяшее врмя.
  
• Убрано автоматическое выставление чекбока для всех папок при добавлении новой папки в программу. Раньше, при добавлении папки в программу, чекбокс выставлялся не только для него, но и также для всех остальных добавленных папок для которых пользователь снял чекбокс.
  
• В главном окне программы изменен параметр "Всего файлов:" который показывал количество найденных дубликатов на "Всего просканировано/найдено:" который показывает сколько файлов просканировано и сколько найдено дубликатов.
  
• Шкала прогресса стала немного "живой", чтобы пользователь не подумал, что программа зависла в процессе сканирования.
  
• Обновлен визуальный вид контекстное меню.
  
• Окно предпросмотра изображения теперь автоматически скрывается при клике в любом свободном месте программы.
  
• (Экспериментально) Изменен метод прогрузки результатов в списке результатов при большом количестве дубликатов. Раньше, если программа находила большое количество дубликатов(несколько тысяч), она могла зависнуть пытаясь все это отобразить в списке результатов. Новый метод при тестах показал устойчивость к отображению ~10000 дубликатов.
  
• (Экспериментально) Переработан механизм задействования GPU для ускорения сканирования
  
• Некоторые визуальные и косметические изменения в интерфейсе

-Исправлено:

• Программа не могла удалить воспроизводимый аудиофайл пока не будет переключено воспроизведение на другой файл. Теперь это исправлено и файл можно удалить даже прямо во время воспроизведения.
  
• Исправлено отображение размера файлов которые весят меньше 1кб. Теперь размер файла в байтах отображается правильно.
  
• Исправлена ошибка неправльного отображения размера удаленной папки в сплывающем окне, а также в логе программы. Для удаленных папок везде отображался размер 4кб, вместо реального размера.
  
• Если после удаления нескольких файлов из группы дубликатов, в группе остается один дубликат файла или одна папка, то такая группа будет убрана полностью. В версии 2.1 могли оставаться группы дубликатов с одним файлом после удаления из группы файлов дубликатов. В группе дубликатов с одним файлов нет никакого смысла.
  
• Текст "Группа дубликатов" не переводился на английский язык при смене языка. Исправлено.
  
• В окне предпросмотра фото, если найдены дубликаты иконок (файлы .ico) то в окне предпросмотра отображался минимальный размер иконок 16x16. Все было размыто и растянуто, хотя в самой иконке есть размеры выше, к примеру 128x128. Теперь для иконок отображается максимально доступный размер.
  
• В темной теме, шкала вертикальной и горизонтальной прокрутки (Scrollbar) выходил за границу стрелки (кнопки) прокрутки, а точнее накладывается на него, хотя должен отстанавливаться когда доходит до стрелки а не пересекать его. Исправлено.
  
• Опять/Снова заработало сортировка столбцов.