
Условие
Десять миллионов точек в секунду — решаемая задача. Систему убивает число уникальных рядов: метка с идентификатором запроса порождает новые ряды быстрее, чем хранилище успевает их принимать.
Спроектируйте систему сбора метрик.
С миллиона серверов приходят числовые показатели: загрузка процессора, память, время ответа, число ошибок. Инженер открывает дашборд и смотрит график за час, за сутки или за месяц. По правилам на тех же данных срабатывают оповещения.
Считайте, что:
- метрика — это имя, набор меток и число; текст и события сюда не входят;
- потеря отдельных точек допустима, пропажа целого принятого ряда — нет;
- данные за последние сутки читают часто, за прошлый год — редко;
- серверы расположены в нескольких сетях, часть из них живёт считанные минуты, единого реестра адресов нет;
- приёмник данных бывает недоступен, а серверы при этом продолжают работать;
- разработчики добавляют метки сами и ошибаются в том, какие метки уместны, а система должна пережить такую ошибку.
Трассировки и логи, визуализация как продукт, доставка оповещений и автоматическое реагирование в задачу не входят.
Требования
Функциональные 7
- Приём метрик от серверов, в том числе накопленных за время недоступности приёма
- Запрос по диапазону времени с фильтром по меткам
- Агрегация при чтении: сумма, среднее, перцентиль по группе серверов
- Правила оповещений, вычисляемые на тех же данных
- История за два года доступна для запросов
- Ряд, переставший поступать, отличим от ряда со значением ноль
- Автору ошибочной метки сообщается, какая метрика и какая метка её породили
Нефункциональные 8
- Приём: 10M точек/с при интервале 10 с
- Ошибочная метка с неограниченным числом значений (до 100M новых рядов в секунду) не снижает приём ниже 10M точек/с и не выводит p99 запросов по другим метрикам за пределы строк ниже
- Запрос за сутки по одному ряду: p99 < 1 с
- Запрос за сутки по одной метрике со всех серверов: p99 < 5 с
- Свежесть: принятая точка видна запросам и правилам оповещений не позже чем через 30 с
- Недоступность приёма до 15 минут не оставляет дыр в данных, в том числе для точек, пришедших позже до 30 минут
- Отказ одного узла: принятые точки не теряются, чтение и запись продолжаются, p99 запросов остаётся в пределах строк выше
- Хранение: 2 года истории в пределах 900 ТБ дисков, включая копии
Задачи того же уровня
СложнаяСинхронизация файлов между устройствамиФайл правится на трёх устройствах, часть из них была офлайн, и все обязаны прийти к одному состоянию, не потеряв ничью правку молча. Нерв задачи: найти изменения среди десятков тысяч файлов и не гонять по сети мегабайты ради небольшой правки.
СложнаяСовместное редактирование документаДвести тысяч операций в секунду здесь не проблема, и рассылка правок почти не множит трафик. Вся задача в том, что две правки одного диапазона текста — это не гонка, а обычный режим работы, и его надо спроектировать, а не предотвратить.
СложнаяТоп-K по потоку событийЕсли каждый узел считает свой топ-100 и результаты складываются, ответ может оказаться неверным при безупречных логах. Задача про условия, при которых частичные результаты складываются.
Решите задачу у доски
Интервьюер задаст вопросы по вашей схеме, проверка разберёт её по семи осям




