Замер скорости проверяет себя контрольной суммой — иначе «стало быстро, но неверно»

Приём, который стоит переносить на любой замер производительности.

Все восемь сборок обязаны дать одинаковую контрольную сумму на каждой задаче, и стенд это сверяет. Сумма чувствительна к порядку, то есть ловит не только неверное значение, но и переставленный вывод.

Зачем. Оптимизация, которая ускорила программу, сломав её, выглядит в замере как успех. Числа станут лучше, и никто ничего не заметит — ровно тот класс, что описан в checks-that-stopped-comparing, только применённый к скорости.

Это тот же приём, что byte-for-byte-comparison, перенесённый в другую область: у двух реализаций одного вычисления обязан совпадать не только смысл, но и представимый одним числом результат. Разница только в том, что там сравниваются две реализации, а здесь восемь сборок одной.

Как этим пользоваться. Любой замер, где что-то ускоряют, обязан нести такую сумму. Замер без неё измеряет скорость чего-то, но не обязательно вашей программы.

Связано: byte-for-byte-comparison, checks-that-stopped-comparing, slower-than-python-by-1-4, a-removal-must-turn-a-test-red