Сложная
Агрегация рекламных событий
предварительно сейчас, точно к утру

Условие
Минута отчёта должна появиться через секунды, а итог дня, по которому выставят счёт, — совпасть с сырыми событиями до штуки. Между этими цифрами телефоны, досылающие события через часы, повторы, упавшие узлы и ошибки в коде. Задача — один код, который даёт обе цифры и умеет пересчитать прошлое.
Спроектируйте конвейер, который считает показы и клики рекламных объявлений для отчётов рекламодателям и для выставления счетов.
Рекламодатель открывает отчёт и видит показы и клики своих объявлений по минутам, часам и дням, с разбивкой по стране и устройству. Текущий день обновляется почти в реальном времени. По итогам дня каждой кампании выставляется счёт. В кампании несколько объявлений, объявление принадлежит одной кампании.
Считайте, что:
- события приходят уже проверенными: подпись и токен проверены при сборе;
- событие несёт уникальный идентификатор (повторная отправка несёт тот же) и время, когда его зафиксировал сервер показа или устройство;
- 99% событий доходят за 10 секунд, 99,99% — за час, остальные (телефоны без связи) — за сутки;
- сбор повторяет отправку, поэтому событие может прийти дважды; повторов не больше 0,1% событий;
- ошибка в счёте в любую сторону — это деньги и претензии рекламодателя.
Сбор и проверка событий, аукцион и бюджеты, топ объявлений, уникальные пользователи и атрибуция конверсий в задачу не входят.
Требования
Функциональные 6
- Показы и клики объявления по минутам, часам и дням
- Разбивка по стране и устройству
- Текущий день в отчёте обновляется почти в реальном времени
- Цифры дня помечены как предварительные, пока день не закрыт
- Итог закрытого дня по кампании для выставления счёта
- Пересчёт прошлых дней после исправления ошибки в агрегации без остановки отчётов
Нефункциональные 7
- Итог закрытого дня по кампании равен числу уникальных событий дня, пришедших до 06:00 следующих суток: расхождение 0 (допущение: приём дня закрывается в 06:00)
- Итог дня готов к 08:00 следующих суток (допущение: счета формируются утром)
- Отказ узла агрегации не меняет итог дня; предварительные цифры возвращаются к значениям без сбоя за 2 минуты (допущение: перезапуск с контрольной точки и догон)
- Предварительная цифра за минуту — в отчёте не позже чем через 20 с после конца минуты (допущение: рекламодателю нужны секунды)
- Событие, пришедшее с опозданием до часа, попадает в цифру своей минуты (по условию это 99,99% событий)
- Пересчёт суток после исправления ошибки — не дольше 2 часов (допущение: тот же бюджет, что у закрытия дня)
- Отчёт за сутки по минутам: p99 < 1 с (допущение: ответ — 1 440 строк)
Задачи того же уровня
СложнаяБиржа: книга заявок и раздача котировокОднопоточное исполнение здесь — решение, а не ограничение: оно даёт детерминизм. А произведение изменений на подписчиков не помещается ни в какую сеть, и выбрасывать изменения нельзя: доставляется не каждое изменение, а верное текущее состояние.
СложнаяДрузья рядомпоток координат по графу дружбыДрузья в радиусе 5 км вживую: 333 тысячи координат в секунду, у каждой свой круг получателей, и этот круг постоянно меняется. Нерв задачи в адресной рассылке и в отзыве доступа, который должен обогнать следующую координату.
СложнаяИнференс языковой моделиДвенадцать запросов в секунду, а ограничен дорогой ускоритель: его память и время. Нерв задачи в том, чтобы карта не простаивала и не переполнялась.
Решите задачу у доски
Интервьюер задаст вопросы по вашей схеме, проверка разберёт её по семи осям




