Перейти к содержанию

Сложная

Агрегация рекламных событий

предварительно сейчас, точно к утру

Условие

Минута отчёта должна появиться через секунды, а итог дня, по которому выставят счёт, — совпасть с сырыми событиями до штуки. Между этими цифрами телефоны, досылающие события через часы, повторы, упавшие узлы и ошибки в коде. Задача — один код, который даёт обе цифры и умеет пересчитать прошлое.

Спроектируйте конвейер, который считает показы и клики рекламных объявлений для отчётов рекламодателям и для выставления счетов.

Рекламодатель открывает отчёт и видит показы и клики своих объявлений по минутам, часам и дням, с разбивкой по стране и устройству. Текущий день обновляется почти в реальном времени. По итогам дня каждой кампании выставляется счёт. В кампании несколько объявлений, объявление принадлежит одной кампании.

Считайте, что:

  • события приходят уже проверенными: подпись и токен проверены при сборе;
  • событие несёт уникальный идентификатор (повторная отправка несёт тот же) и время, когда его зафиксировал сервер показа или устройство;
  • 99% событий доходят за 10 секунд, 99,99% — за час, остальные (телефоны без связи) — за сутки;
  • сбор повторяет отправку, поэтому событие может прийти дважды; повторов не больше 0,1% событий;
  • ошибка в счёте в любую сторону — это деньги и претензии рекламодателя.

Сбор и проверка событий, аукцион и бюджеты, топ объявлений, уникальные пользователи и атрибуция конверсий в задачу не входят.

Требования

Функциональные 6

  • Показы и клики объявления по минутам, часам и дням
  • Разбивка по стране и устройству
  • Текущий день в отчёте обновляется почти в реальном времени
  • Цифры дня помечены как предварительные, пока день не закрыт
  • Итог закрытого дня по кампании для выставления счёта
  • Пересчёт прошлых дней после исправления ошибки в агрегации без остановки отчётов

Нефункциональные 7

  • Итог закрытого дня по кампании равен числу уникальных событий дня, пришедших до 06:00 следующих суток: расхождение 0 (допущение: приём дня закрывается в 06:00)
  • Итог дня готов к 08:00 следующих суток (допущение: счета формируются утром)
  • Отказ узла агрегации не меняет итог дня; предварительные цифры возвращаются к значениям без сбоя за 2 минуты (допущение: перезапуск с контрольной точки и догон)
  • Предварительная цифра за минуту — в отчёте не позже чем через 20 с после конца минуты (допущение: рекламодателю нужны секунды)
  • Событие, пришедшее с опозданием до часа, попадает в цифру своей минуты (по условию это 99,99% событий)
  • Пересчёт суток после исправления ошибки — не дольше 2 часов (допущение: тот же бюджет, что у закрытия дня)
  • Отчёт за сутки по минутам: p99 < 1 с (допущение: ответ — 1 440 строк)

Задачи того же уровня

Решите задачу у доски

Интервьюер задаст вопросы по вашей схеме, проверка разберёт её по семи осям