Бенчмарк как оружие массового заблуждения

E2E-бенчмарк, красивые графики, внушительный RPS и первое место в таблице легко создают ощущение, что технология объективно быстрее конкурентов. Но что именно показывает E2E-бенчмарк: реальную производительность стека, качество выбранного сценария или умение правильно подготовить тест?

Поговорим о том, чем полезны такие измерения, где они начинают вводить в заблуждение и почему буквальное чтение результатов часто приводит к неправильным выводам. Обсудим, как тестовые сценарии отличаются от реальной эксплуатации, какие оптимизации используются ради красивых цифр и как отличать честное измерение от красивой легенды.

Доклад будет полезен тем, кто выбирает технологии по цифрам, публикует собственные измерения или хочет лучше понимать, что на самом деле скрывается за очередным графиком производительности.