
Условие
Гигабайт в секунду пишется на обычные диски легко — если писать последовательно в конец файла. Всё устройство подчинено этому: журнал вместо очереди, позиция вместо статуса, порядок только внутри раздела.
Спроектируйте распределённую очередь сообщений.
Приложения публикуют сообщения в тему. Другие приложения читают их группами потребителей: каждое сообщение достаётся одному из потребителей группы, а разные группы читают одно и то же независимо. Сообщения хранятся ограниченное время и могут быть перечитаны.
Считайте, что:
- потребители перезапускаются, падают и добавляются в группу на ходу;
- обработка сообщения меняет состояние во внешней системе (например, пишет в чужую базу), и очередь этой системой не управляет;
- производителю важен порядок сообщений об одной сущности, но не порядок между разными сущностями;
- сеть теряет подтверждения: производитель не отличает «не записалось» от «записалось, а ответ пропал»;
- брокеры выходят из строя, а тема должна оставаться доступной.
Вне границ: транзакции между темами, потоковая обработка, схемы сообщений и их эволюция, зеркалирование между кластерами.
Требования
Функциональные 6
- Публикация сообщения в тему с ключом сущности
- Каждое сообщение достаётся одному потребителю группы; сбой потребителя посреди обработки не приводит к потере сообщения для группы
- Порядок сообщений с одним ключом сохраняется
- Независимое чтение одной темы несколькими группами
- Перечитывание с произвольной позиции в пределах срока хранения
- Потребитель добавляется в группу и выбывает из неё без ручной переконфигурации; его работа переходит к остальным
Нефункциональные 6
- Сохранность: сообщение, подтверждённое производителю, не теряется при отказе одного брокера
- Доступность: отказ одного брокера останавливает публикацию и чтение темы не дольше чем на 30 с
- Пропускная способность: 1 ГБ/с записи (1M сообщений по 1 КБ) и 3 ГБ/с суммарного чтения тремя группами
- Задержка: p99 публикации до подтверждения сохранности < 50 мс
- Плановая смена состава группы (запуск, остановка потребителя) возобновляет чтение группы не позднее чем через 10 с
- Хранение: семь суток, около 605 ТБ полезных данных
Задачи того же уровня
СложнаяПлатёжный шлюз и кошелёкТысяча операций в секунду — нагрузки здесь нет. Задача про то, как из повторов сложить списание ровно один раз, когда внешний эквайрер отвечает когда хочет, а баланс должен быть проверяем.
СложнаяПочтовый сервисПоловина этой системы вам не принадлежит. Чужой сервер отвечает когда захочет, может принять письмо и положить в спам, а может отказать без объяснения.
СложнаяРаспределённое KV-хранилищеСогласованность выбирается в каждом запросе, а реплики обязаны сойтись к одному содержимому, пока часть кластера всегда недоступна.
Решите задачу у доски
Интервьюер задаст вопросы по вашей схеме, проверка разберёт её по семи осям




