Если сначала сохранить заказ в PostgreSQL, а потом отправить событие в Kafka, между этими действиями остаётся разрыв: у базы и брокера нет общей транзакции, и сбой внутри этого разрыва оставляет данные в рассогласованном состоянии, которое само не исправится.
При отправке внутри транзакции событие уходит раньше, чем заказ становится виден в базе: если коммит упадёт на ограничении целостности или дедлоке, склад и биллинг получат событие о несуществующем заказе. Если перенести отправку после коммита, процесс может умереть между коммитом и отправкой — тогда заказ сохранён, а события нет, и повторить отправку некому.
Ещё два случая тише: результат асинхронного send в Spring Kafka часто не проверяют, и ошибка брокера остаётся в логе, а при таймауте отправки брокер может записать сообщение и не ответить, из-за чего продюсер повторит отправку и событий станет два. На реальном объёме, например 50 000 заказов в день и пара деплоев в неделю, потерянные события набегают десятками в месяц.
Outbox закрывает разрыв: событие пишется в ту же базу и ту же транзакцию, что и заказ, а отдельный процесс relay читает неотправленные строки и публикует их. Если коммит упал, нет ни заказа, ни события; если процесс умер после коммита, событие лежит в таблице и будет отправлено после рестарта. Плата — задержка до следующего прохода relay, при частом опросе это доли секунды.
Relay нельзя строить на курсоре по id: строки становятся видимыми в момент коммита, и транзакция с меньшим id может закоммититься позже, после чего relay её уже не увидит. Надёжнее выбирать строки по признаку sent_at is null и проставлять время после отправки. Если запустить два relay, второй может обогнать первый и отправить оплату заказа раньше его создания, поэтому событие берут только при отсутствии более раннего неотправленного у того же агрегата либо шардируют relay по aggregate_id.
Outbox гарантирует доставку хотя бы один раз, но не однократную: relay может отправить сообщение и упасть до записи sent_at, после чего отправит его снова. Поэтому потребитель должен запоминать обработанные id событий в той же транзакции, в которой меняет свои данные.
Вместо опроса outbox можно читать через логическую репликацию, например Debezium, но слот репликации при остановленном коннекторе удерживает WAL и может заполнить диск. Ограничить это помогают параметры max_slot_wal_keep_size по размеру и idle_replication_slot_timeout по времени простоя.