Надежно отправляем события в Apache Kafka. От CDC до паттерна Transactional Outbox

В современном мире, где микросервисы и распределенные системы — стандарт, надежная и эффективная отправка событий имеет ключевое значение для успеха любого автоматизированного процесса. Для обеспечения надежной доставки событий в очереди существует множество технологий и решений. Однако иногда требуется разработать собственное решение.

Рассмотрю ключевые сложности и особенности надежной отправки событий в Apache Kafka, используя разные решения и подходы, и поделюсь опытом выбора оптимальных решений для различных ситуаций.

Доклад будет полезен инженерам, использующим Apache Kafka для надежной отправки событий после сохранения данных в реляционных базах, с акцентом на гарантии доставки и предотвращение потерь.