Перейти к содержанию

Сложная

Очередь сообщений

Условие

Гигабайт в секунду пишется на обычные диски легко — если писать последовательно в конец файла. Всё устройство подчинено этому: журнал вместо очереди, позиция вместо статуса, порядок только внутри раздела.

Спроектируйте распределённую очередь сообщений.

Приложения публикуют сообщения в тему. Другие приложения читают их группами потребителей: каждое сообщение достаётся одному из потребителей группы, а разные группы читают одно и то же независимо. Сообщения хранятся ограниченное время и могут быть перечитаны.

Считайте, что:

  • потребители перезапускаются, падают и добавляются в группу на ходу;
  • обработка сообщения меняет состояние во внешней системе (например, пишет в чужую базу), и очередь этой системой не управляет;
  • производителю важен порядок сообщений об одной сущности, но не порядок между разными сущностями;
  • сеть теряет подтверждения: производитель не отличает «не записалось» от «записалось, а ответ пропал»;
  • брокеры выходят из строя, а тема должна оставаться доступной.

Вне границ: транзакции между темами, потоковая обработка, схемы сообщений и их эволюция, зеркалирование между кластерами.

Требования

Функциональные 6

  • Публикация сообщения в тему с ключом сущности
  • Каждое сообщение достаётся одному потребителю группы; сбой потребителя посреди обработки не приводит к потере сообщения для группы
  • Порядок сообщений с одним ключом сохраняется
  • Независимое чтение одной темы несколькими группами
  • Перечитывание с произвольной позиции в пределах срока хранения
  • Потребитель добавляется в группу и выбывает из неё без ручной переконфигурации; его работа переходит к остальным

Нефункциональные 6

  • Сохранность: сообщение, подтверждённое производителю, не теряется при отказе одного брокера
  • Доступность: отказ одного брокера останавливает публикацию и чтение темы не дольше чем на 30 с
  • Пропускная способность: 1 ГБ/с записи (1M сообщений по 1 КБ) и 3 ГБ/с суммарного чтения тремя группами
  • Задержка: p99 публикации до подтверждения сохранности < 50 мс
  • Плановая смена состава группы (запуск, остановка потребителя) возобновляет чтение группы не позднее чем через 10 с
  • Хранение: семь суток, около 605 ТБ полезных данных

Задачи того же уровня

Решите задачу у доски

Интервьюер задаст вопросы по вашей схеме, проверка разберёт её по семи осям