Лучшие программы для проверки суммы md5 и хеширования файлов

История и криптоанализ

MD5 — один из серии алгоритмов дайджеста сообщений , разработанных профессором Рональдом Ривестом из Массачусетского технологического института (Rivest, 1992). Когда аналитическая работа показала, что предшественник MD5, MD4, вероятно, был небезопасен, Ривест разработал MD5 в 1991 году как безопасную замену. ( Ганс Доббертин действительно позже обнаружил слабые места в MD4.)

В 1993 году Ден Бур и Босселэрс дали ранний, хотя и ограниченный, результат обнаружения « псевдоколлизии » функции сжатия MD5 ; то есть два разных вектора инициализации, которые производят идентичный дайджест.

В 1996 г. Доббертин объявил о коллизии функции сжатия MD5 (Доббертин, 1996). Хотя это не была атака на полную хеш-функцию MD5, криптографы достаточно близко рекомендовали перейти на замену, такую ​​как SHA-1 или RIPEMD-160 .

Размер хеш-значения (128 бит) достаточно мал, чтобы представить себе атаку по случаю дня рождения . MD5CRK был распределенным проектом, начатым в марте 2004 года, чтобы продемонстрировать, что MD5 практически небезопасен, обнаружив коллизию с помощью атаки дня рождения.

MD5CRK закончился вскоре после 17 августа 2004 года, когда о конфликтах для полного MD5 объявили Сяоюнь Ван , Дэнго Фэн, Сюэцзя Лай и Хунбо Ю. Сообщалось, что их аналитическая атака на кластер IBM p690 заняла всего один час .

1 марта 2005 года Арьен Ленстра , Сяоюнь Ван и Бенн де Вегер продемонстрировали создание двух сертификатов X.509 с разными открытыми ключами и одним и тем же значением хеш-функции MD5, что явилось очевидным практическим конфликтом. В конструкцию включены закрытые ключи для обоих открытых ключей. Несколькими днями позже Властимил Клима описал улучшенный алгоритм, способный создавать коллизии MD5 за несколько часов на одном ноутбуке. 18 марта 2006 года Клима опубликовал алгоритм, который может обнаруживать столкновение в течение одной минуты на одном ноутбуке, используя метод, который он называет туннелированием.

Были опубликованы различные связанные с MD5 . В 2009 году киберкомандование США использовало хеш-значение MD5 в заявлении о миссии как часть своей официальной эмблемы.

24 декабря 2010 года Тао Се и Дэнго Фэн объявили о первом опубликованном конфликте MD5 одиночных блоков (512 бит). (Предыдущие обнаружения столкновений основывались на многоблочных атаках.) По «соображениям безопасности» Се и Фэн не раскрыли новый метод атаки. Они бросили вызов криптографическому сообществу, предложив вознаграждение в размере 10 000 долларов США первому обнаружившему другую 64-байтовую коллизию до 1 января 2013 года. Марк Стивенс ответил на этот вызов и опубликовал конфликтующие одноблочные сообщения, а также алгоритм построения и источники.

В 2011 году был утвержден информационный RFC 6151 для обновления соображений безопасности в MD5 и HMAC-MD5.

Как проверить контрольную сумму файлов MD5 с помощью Certutil

Вы только что скачали большой файл? Или у вас есть файл, на который у вас есть подозрения? Лучший способ убедиться, что файл получен из проверенного источника, это измерить его контрольную сумму . Контрольная сумма почти как отпечаток пальца файла, который нельзя изменить или удалить. Если контрольная сумма двух файлов одинакова, мы можем с уверенностью сказать, что оба файла одинаковы. Существует много алгоритмов для вычисления контрольной суммы, и мы говорим о MD5 . В этом посте мы рассмотрели метод проверки целостности файлов путем вычисления их контрольной суммы с помощью встроенного инструмента командной строки Certutil .

В этом посте показано, как рассчитать, проверить, проверить и проверить контрольную сумму файла с помощью встроенной в Windows утилиты Certutil.exe. Контрольные суммы MD5 полезны для проверки целостности файла и для определения того, совпадает ли ваш файл с исходным и не подделан ли он.

Что такое контрольная сумма MD5

Вы, наверное, часто сталкивались с этим термином при загрузке больших файлов из Интернета. MD5 – один из самых распространенных алгоритмов, используемых для измерения контрольной суммы файлов. Он часто помогает в обнаружении файлов, которые были злонамеренно изменены или искажены во время передачи/загрузки.

Как рассчитать контрольную сумму MD5 файла

Ну, есть много способов сделать это. Одним из них является помощь сторонних инструментов проверки целостности файлов. Есть много инструментов, которые могут помочь вам вычислить контрольную сумму файла, используя алгоритмы MD5. Мы уже рассмотрели несколько инструментов, которые вы можете проверить здесь.

Если вы ищете альтернативу, не требующую загрузки какого-либо другого дополнительного инструмента, Windows Certutil может вам помочь. Certutil – это инструмент командной строки, встроенный в Windows.

Согласно Microsoft, вы можете использовать certutil.exe для получения и отображения информации о конфигурации центра сертификации (CA), настройки служб сертификации, резервного копирования и восстановления компонентов CA, а также проверки сертификатов, пар ключей и цепочек сертификатов.

В этом разделе мы рассмотрели пошаговое руководство по использованию Certutil для вычисления контрольной суммы любого файла.

Шаг 1. Откройте новое окно CMD в меню Пуск.

Шаг 2: Перейдите в каталог, где находится ваш файл.

Шаг 3: Запустите следующую команду:

certutil -hashfile путь к вашему файлу MD5

Это напечатает контрольную сумму файла в окне консоли. Вы можете использовать эту контрольную сумму для проверки целостности этого файла.

Работаете с другими алгоритмами?

Если вы хотите проверить контрольную сумму по другому алгоритму, такому как SHA512 или SHA256, все, что вам нужно сделать, это заменить MD5 в вашей команде желаемым алгоритмом.

Проверка контрольной суммы

Как только вы получили значение контрольной суммы, пришло время проверить это. Если вы получили этот файл от друга или по электронной почте, вы можете запросить у отправителя значение контрольной суммы. Если оба значения совпадают, ваш файл не был подделан или искажен во время передачи. Если вы загрузили этот файл с веб-сайта, вы можете посмотреть на странице загрузки контрольные суммы, упомянутые разработчиком.

На скриншоте ниже вы можете увидеть контрольную сумму, упомянутую на странице загрузки FileZilla. Это та же контрольная сумма, которая была рассчитана Certutil на предыдущем шаге.

Так вот как вы можете рассчитать и проверить контрольные суммы MD5 ваших файлов. Эти контрольные суммы могут легко идентифицировать искажения файла и подделанные файлы. Хотя существует множество бесплатных онлайн и офлайновых инструментов, которые позволяют вам это делать, но знание этого трюка с Windows всегда полезно.

Вы можете практически рассчитать и проверить контрольные суммы на любом компьютере Windows, используя certutil.exe .

Name-That-Hash

С января 2021 года, почти через два года после того, как началась работа над HAITI, появился проект под названием Name-That-Hash, потому что автору требовалась библиотека Python для Ciphey. Теперь есть два актуальных варианта для идентификации хеша.

Name That Hash определяет тип хеша. Программа поддерживает MD5, SHA256 и более 300 других хешей.

Особенности Name That Hash:

• Рейтинги популярности — Сначала вы увидите самые популярные хеши.
• Сводки хешей — Name-that-hash выведет краткую информацию об основах использования каждого хеша, позволяя вам сделать осознанный выбор.
• Цветной вывод — контрастный и наглядный.
• Вывод в JSON и в API — вы можете использовать Name-That-Hash в своём проекте, поскольку программа имеет API и интерфейс командной строки. Используйте вывод JSON или импортируйте программу как модуль Python!
• Актуальна — Name-That-Hash — это проект 2021 года.
• Продуманность — авторы продумали функции, интерфейс и опции с мыслью об удобстве использования.
• Расширяемость — добавляйте новые хеши так быстро, как только сможете редактировать текстовый файл.
• Работа с файлами — программа считывает построчно файл и проверяет тип каждого хеша.
• Поиск хешей — экстремальный режим, который пытается выделить хеш даже если строка содержит мусор.

Инструкцию по установке и полный список опций вы найдёте на странице https://kali.tools/?p=6626.

Для определения типа хеша укажите его с опцией -t (—text):

nth -t 'ХЕШ'

Например:

nth -t '7c2dc1d743735d4e069f3bda85b1b7e9172033dfdd8cd599ca094ef8570f3930c3f2c0b7afc8d6152ce4eaad6057a2ff22e71934b3a3dd0fb55a7fc84a53144e'

Пример вывода:

Хеши разбиты на две группы:

• Most Likely — более вероятные варианты
• Least Likely — менее вероятные варианты

Причём в этих группах они также отсортированы по частоте использования.

В выводе вы можете увидеть уже знакомые строки HC и JtR с номерами и названиями алгоритмов хеширования в Hashcat и John.

Кроме этого, имеется краткое описание применения, например:

• Summary: Used in Bitcoin Blockchain and Shadow Files.
• Summary: Used in Wireguard, Zcash, IPFS and more.
• Summary: Not considered a hash function

Причём обратите внимание, некоторые записи являются гиперсылками (они подчёркнуты точками) и для получения дополнительной информации можно пройти на веб-страницу. Всё это делается для того, чтобы вы могли сориентироваться в предлагаемых типах хешей и выбрать наиболее подходящий.. Для проверки множества хешей используйте опцию -f (—file):

Для проверки множества хешей используйте опцию -f (—file):

nth -f 'ФАЙЛ'

Формат файла — один хеш на строку.

Одна из этих опций (-t или -f) являются обязательной.

Если ваши хеши кодированы в Base64, то используйте опцию -b64 (—base64). Она говорит программе перед идентификацией декодировать хеши из Base64. Для файлов со смешанными строками Base64 и в обычном тексте программа пытается вначале декодировать base64 и если это не получается, то трактует хеш как обычную строку без кодировки.

Пример:

nth -t 'ZjFlZmY1YzAzNjhkMTAzMTFkY2ZjNDE5Cg==' -b64

Обратите внимание, что в качестве хеша (после шапки) показана уже декодированная строка.

Опция -e (—extreme) включает поиск хешей в строке. Этот режим получит 5d41402abc4b2a76b9719d911017c592 из ####5d41402abc4b2a76b9719d911017c592###.

По идее, следующие две команды должны дать одинаковый результат:

nth -t '####5d41402abc4b2a76b9719d911017c592###' -e
nth -t '5d41402abc4b2a76b9719d911017c592'

Но у меня они получились разные. Поэтому используйте этот режим скорее как экспериментальный.

Проблемы надежности MD5

Такая технология, являясь весьма надежной, не идеальна на 100 %. Она не является совсем неуязвимой и не гарантирует абсолютную неприкосновенность данных. Ученые на настоящий момент выявили ряд недостатков такого алгоритма. В основном, он становится уязвимым по причине легкого обнаружения коллизии в процессе шифрования.

Коллизия – это возможность достичь одинакового итогового значения хеша при вводе абсолютно разных данных на входе. Таким образом, чем выше будет возможность совпадения, тем менее защищенным является алгоритм. Криптоанализ, проведенный учеными, показал, что в настоящее время существуют разнообразные возможности взлом хеша MD5. Это такие способы, как:

• подбор подходящих вариантов с известным хешем;
• словарный поиск;
• метод поиска коллизий;
• «силовой удар»;
• RainbowCrack.

Атака «Полного перебора» является универсальным типом взлома, однако она является очень долгой. Для того чтобы избежать подобного взлома, необходимо увеличить объем ключей. Текущий метод используется как показатель устойчивости и надежности шифрования данных. RainbowCrack является специальной программой, создающей базу хеш, на основе которой практически мгновенно происходит взлом любого пароля, состоящего из букв и цифр.

Способ подбора при помощи словаря используются готовые программы и словарные базы. Атака при помощи коллизий предполагает использование аналогичного значения функции для абсолютно различных сообщений, но начинающихся одинаково. Этот метод стал известен в конце прошлого века.

Здесь, формула получения идентичного хеш-кода следующая: MD5(4L1) = MD5(4L2). Затем в 2004 году китайские исследователи рассказали о том, что нашли в системе уязвимое место, которое позволяет за небольшой промежуток времени обнаружить коллизию. И наконец в 2006 году создан способ находить вредные файлы на обычном пользовательском компьютере при помощи своеобразных «туннелей».

Простые примеры

Ниже рассмотрим пример использования hashcat на хэше MD5.

1 – Список слов
В этом примере произведем перебор по произольному списку слов в качестве паролей из файла

-a 0 — атака по словарю
-m 0 — тип алгоритма MD5
-w 4 — профиль производительности
-o cracked.txt — это файл, в который будут записаны найденные пароли
hash.txt — файл в хэшами (каждый с новой строки)
custom_list.txt — словарь, по которому будет сделан перебор (каждое слово с новой строки)

После нахождения нужного хэша hashcat напишет нам Cracked и в файле cracked.txt мы увидим запись «хэш:пароль».

2 – Список слов + правила

3 – Словарь/список слов

4 – Словарь/список слов + правила

5 – Произвольный список слов + правила
Добавьте все вновь обнаруженные пароли в свой пользовательский список слов и снова запустите атаку с перестановкой правила, учитывая любые другие вариации, просто используя echo или awk, чтобы добавить новое правило, а затем используйте вышеприведенную команду.

6 – По маске
Так мы можем начать перебор по маске, котрая описана в файле rockyou-1-60.hcmask, учитывая длину и паттерны.

7 – Гибридный словарь + маска
Используя словарь, делайте гибридные атаки, ища больше вариаций общих слов или известных паролей, добавляя/удаляя маски к этим кандидатам.

или

8 – Пользовательский список слов + правила
Добавьте все обнаруженные пароли обратно в свой пользовательский список слов и снова запустите атаку с правилами перестановки, предлагающими любые другие вариации.

9 – Комбо
Используя собственный словарь, выполните комбинированную атаку, индивидуально сопоставляя кандидатов и словарь вместе, чтобы сформировать новых кандидатов.

10 – Произвольная гибридная атака
Добавьте все обнаруженные пароли обратно в свой пользовательский список слов и выполните гибридную атаку.

11 – Атака по произвольной маске
Простые и слабые пароли хорошо поддаются взлому, но не все. Создайте пользовательскую маску на основе Ваших текущих взломанных паролей.

12 – Брутфорс (BRUTE-FORCE)
Когда Вы уже препробывали все, что описано выше, остается «грубая сила» Обычно, при брутфорсе подбирать пароль больше 8 символов бессысмленно из-за аппаратных возможностей.

Используйте следующие наборы символов, чтобы взломать свой хэш:

?l = abcdefghijklmnopqrstuvwxyz (строчные)
?u = ABCDEFGHIJKLMNOPQRSTUVWXYZ(заглавные)
?d = 0123456789(цифры)
?h = 0123456789abcdef(цифры + строчные)
?H = 0123456789ABCDEF(цифры + заглавные)
?s = «space»!»#$%&'()*+,-./:;<=>?@^_`{|}~ (спец символы)
?a = ?l?u?d?s (строчные + заглавные + цифры + спец символы)

Например, 8-символьный пароль, который включает все строчные, заглавные буквы, цифры и спец символы:

или так гибче можно потом менять набор:

А вот если нужно только цифрами:

Можно указать свои символы (abc123ASDF):

А вот если надо использовать болееодного набора, если мы знаем что первые два символа — цифры, остальные 6 — буквы:

Вот так то. Hashcat много всего уммет, можно написать целую книгу, но я остановлюсь…

А здесь Вы можете найти хороший сборник паролей:

И помните! Не нарушайте закон. Все тайное становится явным Материал предоставлен исключительно в образовательных целях.

WinMD5Free

WinMD5Free is a tiny and fast utility to compute MD5 hash value for files. It works with Microsoft Windows 98, 2000, XP, Vista, and Windows 7/8/10/11.

As an Internet standard (RFC 1321), MD5 has been used in a wide variety of security applications, and is also commonly used to check the integrity of file, and verify download. WinMD5 is a small and easy tool to calculate md5 hash or checksum for different files (including files larger than 4 GB).

Features:

• Supports almost all Windows platforms including Microsoft Windows XP, Vista, Windows 7, 8, 10, and Windows 11.
• Fast and multi-threaded. It can compute a 2 GB file less than 1 minute.
• Supports big files larger than 4 GB.
• Low resource usage. It uses less than 5 MB RAM.
• Don’t require .NET runtime installed. It is a standalone EXE file and the startup is speedy. There are MD5 tools for Windows on the market, but most of them requires .NET runtime and they may take a few seconds to start. This is also the reason I wrote the program.
• Supports “Drag & Drop”. You may either select a file, or drag and drop a file to the program window to get the MD5 hash value.
• Supports verification of original MD5 value and current MD5 value.
• Most important, it is FREE. No spyware or adware bundle.
• Small size, an effective and tiny tool for data security.

Download WinMD5 (only 249KB):

WinMD5Free.zip MD5: 73f48840b60ab6da68b03acd322445ee

WinMD5Free.exe MD5: 944a1e869969dd8a4b64ca5e6ebc209a

You may simply download it, then unzip and put the exe to any folder on your hard drive, and start to use. No installation is required. The download does not contain any virus, spyware, adware or malware.

License Agreement:

You are granted unlimited rights to distribute WinMD5Free, but not limited to, the following terms: WinMD5Free may not be sold or resold, distributed as a part of any commercial package, used in a commercial environment, used or distributed in support of a commercial service, or used or distributed to support any kind of profit-generating activity, even if it is being distributed freely. All files must remain intact and unmodified from the original as distributed by the author.

Disclaimer of Warranty:

THIS SOFTWARE AND THE ACCOMPANYING FILES ARE PROVIDED “AS IS” AND WITHOUT WARRANTIES AS TO PERFORMANCE OR MERCHANTABILITY OR ANY OTHER WARRANTIES WHETHER EXPRESSED OR IMPLIED. Because of the various hardware and software environments into which WinMD5Free may be put, NO WARRANTY OF FITNESS FOR A PARTICULAR PURPOSE IS OFFERED.

MD5 Algorithm|MD5 Software for other platforms|PDF Deskew

(C)Copyright WinMD5.com 1999-2021. All rights reserved.

Объект MD5CryptoServiceProvider

В Windows 7 и последующих версиях Windows хеширование осуществляется при помощи платформы .NET, следовательно для следующего метода необходима эта платформа. Кроме самой платформы, потребуется функция преобразующая десятичные значения в шестнадцатеричные, например такая:

&НаКлиенте
Функция DecToHex(Знач Число)
тЧисло = Число;
тБаза = 16;

Пока тЧисло <> 0 Цикл
тПоз =тЧисло % тБаза;
Результат = Сред(«0123456789abcdef», тПоз + 1, 1) + Результат;
тЧисло = Цел(тЧисло / тБаза);
КонецЦикла;

Если Число < тБаза Тогда
Результат = «0» + Результат;
КонецЕсли;

Возврат Результат;
КонецФункции

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17

&НаКлиенте Функция DecToHex(Знач Число) тЧисло = Число; тБаза = 16; Пока тЧисло 0 Цикл тПоз =тЧисло % тБаза; Результат = Сред(«0123456789abcdef», тПоз + 1, 1) + Результат; тЧисло = Цел(тЧисло / тБаза); КонецЦикла; Если Число Результат = «0» + Результат; КонецЕсли; Возврат Результат; КонецФункции

Код для получения хеша строки выглядит так:

&НаКлиенте
Функция MD5Строка(тСтрока)
Crypt = Новый COMОбъект(«System.Security.Cryptography.MD5CryptoServiceProvider»);
Text = Новый COMОбъект(«System.Text.UTF8Encoding»);

HashArray = Crypt.ComputeHash_2(Text.GetBytes_4(тСтрока)).Выгрузить();

Hash = «»;
Для Каждого Число Из HashArray Цикл
Hash = Hash + DecToHex(Число);
КонецЦикла;

Возврат Hash;
КонецФункции

1 2 3 4 5 6 7 8 9 10 11 12 13 14

&НаКлиенте Функция MD5Строка(тСтрока) Crypt = Новый COMОбъект(«System.Security.Cryptography.MD5CryptoServiceProvider»); Text = Новый COMОбъект(«System.Text.UTF8Encoding»); HashArray = Crypt.ComputeHash_2(Text.GetBytes_4(тСтрока)).Выгрузить(); Hash = «»; Для Каждого Число Из HashArray Цикл Hash = Hash + DecToHex(Число); КонецЦикла; Возврат Hash; КонецФункции

Для получения хеша файла — так:

&НаКлиенте
Функция MD5Файл(тИмяФайла)
Crypt = Новый COMОбъект(«System.Security.Cryptography.SHA1Managed»);

Stream = Новый COMОбъект(«ADODB.Stream»);
Stream.Open();
Stream.Type = 1;
Stream.LoadFromFile(тИмяФайла);

HashArray = Crypt.ComputeHash_2(Stream.Read());

Hash = «»;
Для Каждого Число Из HashArray Цикл
Hash = Hash + DecToHex(Число);
КонецЦикла;

Возврат Hash;
КонецФункции

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18

&НаКлиенте Функция MD5Файл(тИмяФайла) Crypt = Новый COMОбъект(«System.Security.Cryptography.SHA1Managed»); Stream = Новый COMОбъект(«ADODB.Stream»); Stream.Open(); Stream.Type = 1; Stream.LoadFromFile(тИмяФайла); HashArray = Crypt.ComputeHash_2(Stream.Read()); Hash = «»; Для Каждого Число Из HashArray Цикл Hash = Hash + DecToHex(Число); КонецЦикла; Возврат Hash; КонецФункции

В обоих примерах MD5CryptoServiceProvider можно заменить на SHA1Managed, SHA256Managed, SHA384Managed или SHA512Managed изменив тем самым метод хеширования.

Безопасное использование MD5

Этот способ шифрования – является самым распространенным способом защитить информацию в сфере прикладных исследований, а также в области разработки веб-приложений. Хеш необходимо обезопасить от всевозможных хакерских атак. Одним из действенных способов защиты является «соль». Необходимо прибавить к паролю лишние случайные символы.

Специализированные разделы и функции существуют во многих программных и серверных языках. Создание хеша на языке PHP происходит следующим образом: один из параметров MD5 хеш становится аналогичен значению «соли», а функция Crypt автоматически генерирует это значение. Способ защиты Unix предполагает кодирование подряд почти тысячу раз. Способ «HMAC» предполагает применение специальных ключей.

Примеры использования

Ранее считалось, что MD5 позволяет получать относительно надёжный идентификатор для блока данных. Такое свойство алгоритма широко применялось в разных областях. Оно позволяет искать дублирующиеся файлы на компьютере, сравнивая MD5 файлов, а не их содержимое. Как пример, dupliFinder — графическая программа под Windows и Linux.

С помощью MD5 проверяли целостность скачанных файлов — так, некоторые программы идут вместе со значением хеша. Например, диски для инсталляции.

MD5 использовался для хеширования паролей. В системе UNIX каждый пользователь имеет свой пароль и его знает только пользователь. Для защиты паролей используется хеширование. Предполагалось, что получить настоящий пароль можно только полным перебором. При появлении UNIX единственным способом хеширования был DES (Data Encryption Standard), но им могли пользоваться только жители США, потому что исходные коды DES нельзя было вывозить из страны. Во FreeBSD решили эту проблему. Пользователи США могли использовать библиотеку DES, а остальные пользователи имеют метод, разрешённый для экспорта. Поэтому в FreeBSD стали использовать MD5 по умолчанию.<ref>Template:Cite web</ref>. Некоторые Linux-системы также используют MD5 для хранения паролей.

Многие системы используют базу данных для хранения паролей и существует несколько способов для хранения паролей.

1. Пароли хранятся как есть. При взломе такой базы все пароли станут известны.
2. Хранятся только хеши паролей (с помощью MD5, SHA). Найти пароли можно только полным перебором. Но при условии использования несложного, популярного или просто несчастливого пароля (который встречался ранее и занесён в таблицу) такая задача решается за доли секунды. Пароль из таблицы был найден всего за 0,036059 сек.<ref>Template:Cite web</ref>
3. Хранятся хеши паролей и несколько случайных символов. К каждому паролю добавляется несколько случайных символов (их ещё называют «salt» или «соль») и результат ещё раз хешируется. Например, md5(md5(pass)+word). Найти пароль с помощью таблиц таким методом не получится.

Пример базы данных

способ	id	login	password
1	5	anton	mydata
2	5	anton	md5(mydata)
3	5	anton	md5(md5(mydata)+word) и word

Существует несколько надстроек над MD5.

• MD5 (HMAC) — HMAC — Keyed-Hashing for Message Authentication (хеширование с ключом для аутентификации сообщения) — алгоритм позволяет хешировать входное сообщение L с некоторым ключом K, такое хеширование позволяет аутентифицировать подпись.
• MD5 (Base64) — здесь полученный MD5-хеш кодируется алгоритмом Base64.
• MD5 (Unix) — алгоритм вызывает тысячу раз стандартный MD5.

Зачем нужны новые инструменты идентификации типа хеша?

hashID не поддерживается с марта 2015 года, hash-identifier не поддерживается с 2011 года, Dagon с июня 2018 года и findmyhash с 2011 года. Все они не имеют вовсе, или имеют неправильную, ошибочную поддержку современных хешей, таких как Keccak/SHA3/Blake2 и т. д. Также такой инструмент, как hash-identifier, который является полностью интерактивным, не имеет параметров и не удобен для использования в скриптах. findmyhash имеет очень ограниченный набор обнаруживаемых хешей. Самый интересный инструмент — hashID (для идентификации хеша), но, поскольку он не поддерживается более 5 лет, проблемы и открытые PR (Pull Request — запросы на внесение изменения в исходный код) накапливаются, ошибки не исправляются, а некоторые функции отсутствуют.

Это всё могло побудить авторов создать новые инструменты с возможностями отсутствующими в предшественниках.

Посмотрим на сравнительную таблицу инструментов по определению типа хеша:

Инструмент	Поддерживается	Цветной вывод	Ref.	Библиотека	Язык
haiti	(2019-настоящее время)						382
hashID	(2013-2015)					️	275
hash-identifier	(2011-2011)						~126
Dagon	(2017-2018)	️				️	~48
findmyhash	(2011-2011)						~17
Name-That-Hash	(2021-настоящее время)						365
HashTag	(2013-2013)						~137

Условные обозначения:

• Ref.: показ рядом с типом хеша соответствующее название режима hashcat и john the ripper
• : функция поддерживается
• : функция не поддерживается
• ️: функция частично поддерживается
• : язык программирования Ruby
• : язык программирования Python
• : корректная поддержка современных хешей
• : количество поддерживаемых хешей

Методы

	Освобождает все ресурсы, используемые классом HashAlgorithm.Releases all resources used by the HashAlgorithm class. (Унаследовано от HashAlgorithm)
	Вычисляет хэш-значение для заданного массива байтов.Computes the hash value for the specified byte array. (Унаследовано от HashAlgorithm)
	Вычисляет хэш-значение для заданной области заданного массива байтов.Computes the hash value for the specified region of the specified byte array. (Унаследовано от HashAlgorithm)
	Вычисляет хэш-значение для заданного объекта Stream.Computes the hash value for the specified Stream object. (Унаследовано от HashAlgorithm)
	Асинхронно вычисляет хэш-значение для заданного объекта Stream.Asynchronously computes the hash value for the specified Stream object. (Унаследовано от HashAlgorithm)
	Освобождает все ресурсы, используемые текущим экземпляром класса HashAlgorithm.Releases all resources used by the current instance of the HashAlgorithm class. (Унаследовано от HashAlgorithm)
	Освобождает неуправляемые ресурсы, используемые объектом HMACMD5, а при необходимости освобождает также управляемые ресурсы.Releases the unmanaged resources used by the HMACMD5 and optionally releases the managed resources.
	Освобождает неуправляемые ресурсы, используемые объектом HMAC, и, если допускается изменение ключа, опционально освобождает управляемые ресурсы.Releases the unmanaged resources used by the HMAC class when a key change is legitimate and optionally releases the managed resources. (Унаследовано от HMAC)
	Определяет, равен ли указанный объект текущему объекту.Determines whether the specified object is equal to the current object. (Унаследовано от Object)
	Служит хэш-функцией по умолчанию.Serves as the default hash function. (Унаследовано от Object)
	Возвращает объект Type для текущего экземпляра.Gets the Type of the current instance. (Унаследовано от Object)
	Передает данные из объекта в HMAC-алгоритм для вычисления HMAC.Routes data written to the object into the HMAC algorithm for computing the HMAC.
	Если переопределено в производном классе, передает данные, записанные в объект, в HMAC-алгоритм для вычисления значения HMAC.When overridden in a derived class, routes data written to the object into the HMAC algorithm for computing the HMAC value. (Унаследовано от HMAC)
	Передает данные из объекта в HMAC-алгоритм для вычисления HMAC.Routes data written to the object into the HMAC algorithm for computing the HMAC.
	Передает данные из объекта в HMAC-алгоритм для вычисления HMAC.Routes data written to the object into the HMAC algorithm for computing the HMAC. (Унаследовано от HMAC)
	Завершает вычисление HMAC после обработки последних данных алгоритмом.Finalizes the HMAC computation after the last data is processed by the algorithm.
	Если переопределено в производном классе, завершает вычисление HMAC после обработки последних данных алгоритмом.When overridden in a derived class, finalizes the HMAC computation after the last data is processed by the algorithm. (Унаследовано от HMAC)
	Сбрасывает хэш-алгоритм в исходное состояние.Resets the hash algorithm to its initial state.
	Инициализирует новый экземпляр реализации по умолчанию класса HMAC.Initializes an instance of the default implementation of HMAC. (Унаследовано от HMAC)
	Создает неполную копию текущего объекта Object.Creates a shallow copy of the current Object. (Унаследовано от Object)
	Возвращает строку, представляющую текущий объект.Returns a string that represents the current object. (Унаследовано от Object)
	Вычисляет хэш-значение для заданной области входного массива байтов и копирует указанную область входного массива байтов в заданную область выходного массива байтов.Computes the hash value for the specified region of the input byte array and copies the specified region of the input byte array to the specified region of the output byte array. (Унаследовано от HashAlgorithm)
	Вычисляет хэш-значение для заданной области заданного массива байтов.Computes the hash value for the specified region of the specified byte array. (Унаследовано от HashAlgorithm)
	Пытается вычислить хэш-значение для заданного массива байтов.Attempts to compute the hash value for the specified byte array. (Унаследовано от HashAlgorithm)
	Пытается завершить вычисление HMAC после обработки последних данных алгоритмом HMAC.Attempts to finalize the HMAC computation after the last data is processed by the HMAC algorithm.
	Пытается завершить вычисление HMAC после обработки последних данных алгоритмом HMAC.Attempts to finalize the HMAC computation after the last data is processed by the HMAC algorithm. (Унаследовано от HMAC)

Криптоанализ[править | править код]

На данный момент существуют несколько видов «взлома» хешей MD5 — подбора сообщения с заданным хешем:

• Перебор по словарю
• RainbowCrack

RainbowCrack — новый вариант взлома хеша. Он основан на генерировании большого количества хешей из набора символов, и потом по этой базе можно вести поиск заданного хеша. Хотя генерация хешей занимает недели, зато последующий взлом производится за считанные минуты. Rainbow-таблицы можно найти, а можно сгенерировать самому.

Коллизия хеш-функции — это получение одинакового значения функции для разных сообщений и идентичного начального буфера. Природа таких коллизий кроется в размере хеша. При своей длине в 128 бит, он имеет различных дайджестов и для сообщений большей длины чем 128, коллизии просто неизбежны. Существуют еще так называемые псевдоколлизии, когда для разного значения начального буфера получаются одинаковые значения хеша, при этом сообщения могут совпадать или отличаться. Вскоре после создания алгоритма такие коллизии были обнаружены.

A = 0x12AC2375
В = 0x3B341042
C = 0x5F62B97C
D = 0x4BA763ED

и задать входное сообщение

AA1DDABE	D97ABFF5	BBF0E1C1	32774244
1006363E	7218209D	E01C136D	9DA64D0E
98A1FB19	1FAE44B0	236BB992	6B7A779B
1326ED65	D93E0972	D458C868	6B72746A

то, добавляя число к определенному 32-разрядному слову в блочном буфере, можно получить второе сообщение с таким же хешем. Ханс Доббертин представил такую формулу:

Тогда MD5(IV, L1) = MD5(IV, L2) = BF90E670752AF92B9CE4E3E1B12CF8DE.

d131dd02c5e6eec4693d9a0698aff95c	2fcab58712467eab4004583eb8fb7f89
55ad340609f4b30283e488832571415a	085125e8f7cdc99fd91dbdf280373c5b
d8823e3156348f5bae6dacd436c919c6	dd53e2b487da03fd02396306d248cda0
e99f33420f577ee8ce54b67080a80d1e	c69821bcb6a8839396f9652b6ff72a70

и

d131dd02c5e6eec4693d9a0698aff95c	2fcab50712467eab4004583eb8fb7f89
55ad340609f4b30283e4888325f1415a	085125e8f7cdc99fd91dbd7280373c5b
d8823e3156348f5bae6dacd436c919c6	dd53e23487da03fd02396306d248cda0
e99f33420f577ee8ce54b67080280d1e	c69821bcb6a8839396f965ab6ff72a70

Каждый их этих блоков дает MD5 хеш равный 79054025255fb1a26e4bc422aef54eb4.

Метод Сяоюнь Вана и Хунбо Юправить | править код

позволяет для заданного инициализирующего вектора найти две пары и , такие что

Важно отметить, что этот метод работает для любого инициализирующего вектора, а не только для вектора используемого по стандарту.. Применение этой атаки к MD4 позволяет найти коллизию меньше чем за секунду. Она также применима к другим хеш-функциям, таким как RIPEMD и HAVAL

Она также применима к другим хеш-функциям, таким как RIPEMD и HAVAL.

Применение этой атаки к MD4 позволяет найти коллизию меньше чем за секунду. Она также применима к другим хеш-функциям, таким как RIPEMD и HAVAL.