Перейти к содержанию

Сложная

Сбор метрик с миллиона серверов

Условие

Десять миллионов точек в секунду — решаемая задача. Систему убивает число уникальных рядов: метка с идентификатором запроса порождает новые ряды быстрее, чем хранилище успевает их принимать.

Спроектируйте систему сбора метрик.

С миллиона серверов приходят числовые показатели: загрузка процессора, память, время ответа, число ошибок. Инженер открывает дашборд и смотрит график за час, за сутки или за месяц. По правилам на тех же данных срабатывают оповещения.

Считайте, что:

  • метрика — это имя, набор меток и число; текст и события сюда не входят;
  • потеря отдельных точек допустима, пропажа целого принятого ряда — нет;
  • данные за последние сутки читают часто, за прошлый год — редко;
  • серверы расположены в нескольких сетях, часть из них живёт считанные минуты, единого реестра адресов нет;
  • приёмник данных бывает недоступен, а серверы при этом продолжают работать;
  • разработчики добавляют метки сами и ошибаются в том, какие метки уместны, а система должна пережить такую ошибку.

Трассировки и логи, визуализация как продукт, доставка оповещений и автоматическое реагирование в задачу не входят.

Требования

Функциональные 7

  • Приём метрик от серверов, в том числе накопленных за время недоступности приёма
  • Запрос по диапазону времени с фильтром по меткам
  • Агрегация при чтении: сумма, среднее, перцентиль по группе серверов
  • Правила оповещений, вычисляемые на тех же данных
  • История за два года доступна для запросов
  • Ряд, переставший поступать, отличим от ряда со значением ноль
  • Автору ошибочной метки сообщается, какая метрика и какая метка её породили

Нефункциональные 8

  • Приём: 10M точек/с при интервале 10 с
  • Ошибочная метка с неограниченным числом значений (до 100M новых рядов в секунду) не снижает приём ниже 10M точек/с и не выводит p99 запросов по другим метрикам за пределы строк ниже
  • Запрос за сутки по одному ряду: p99 < 1 с
  • Запрос за сутки по одной метрике со всех серверов: p99 < 5 с
  • Свежесть: принятая точка видна запросам и правилам оповещений не позже чем через 30 с
  • Недоступность приёма до 15 минут не оставляет дыр в данных, в том числе для точек, пришедших позже до 30 минут
  • Отказ одного узла: принятые точки не теряются, чтение и запись продолжаются, p99 запросов остаётся в пределах строк выше
  • Хранение: 2 года истории в пределах 900 ТБ дисков, включая копии

Задачи того же уровня

Решите задачу у доски

Интервьюер задаст вопросы по вашей схеме, проверка разберёт её по семи осям