Сутки профилирования на одной странице

С недавних пор в «Одноклассниках» начали профилировать Java-сервисы в облаке в режиме 24/7. Это означает порядка 40 000 одновременно профилируемых приложений. Для задачи такого масштаба требуется комплекс решений: написать свой профилировщик, известный как async-profiler, обернуть его eBPF-программой для повышения производительности в рамках собственного облака, постоянно сохранять результаты в собственную имплементацию S3-совместимого хранилища. 

Обо всём этом уже неоднократно было рассказано, но в этом докладе спикер подробно остановится на своем маленьком кирпичике — проблеме обработки и отображения этих данных. Как именно с алгоритмической точки зрения сжать гигабайты профиля в одну HTML-страницу без потери значимых данных, а также, как с инженерной точки зрения вывернуть JS наизнанку, чтобы браузер мог приемлемо справляться с такими объёмами.