
Условие
Сто петабайт хранит любой набор дисков. Трудность в другом: знать, где лежат сто миллиардов объектов, и отвечать на это за миллисекунды. Задача про каталог, а не про байты.
Спроектируйте объектное хранилище.
Клиент кладёт объект по ключу, скачивает его целиком или диапазоном байтов, удаляет и перечисляет объекты по префиксу ключа. Большие объекты грузятся частями. Данные не должны теряться при отказе диска, узла или целой стойки.
Считайте, что:
- диски выходят из строя постоянно: в парке такого размера это рутина, а не авария;
- диск может отдать испорченные данные, не сообщив об ошибке;
- объект пишется целиком и заменяется целиком; частичной перезаписи нет;
- клиенты создают ключи с общими префиксами и ожидают, что перечисление по префиксу работает.
Вне границ: версионирование, политики жизненного цикла, права доступа как система, репликация между регионами и совместимость с чужим API до последнего заголовка.
Требования
Функциональные 7
- Загрузка объекта по ключу и его скачивание целиком
- Скачивание диапазона байтов объекта
- Удаление объекта
- Перечисление объектов по префиксу ключа, постранично
- Многочастная загрузка объектов больше сотен мегабайт
- После успешной записи или удаления следующее чтение и перечисление видят результат
- Целостность: испорченные данные обнаруживаются до отдачи клиенту
Нефункциональные 6
- Сохранность: 11 девяток в год на объект (около одной потерянной записи в год на 100 млрд объектов)
- Доступность чтения 99,99% при отказе любого одного узла или стойки
- Чтение объекта 1 МБ: p99 < 100 мс
- Нагрузка: 100 ПБ, ~100 млрд объектов, 50k операций/с (~45k чтений и ~5k записей)
- Перечисление: страница до 1000 ключей, p99 < 300 мс
- Бюджет дисков: не более 1,5 байта сырой ёмкости на байт данных
Задачи того же уровня
СложнаяОчередь сообщенийГигабайт в секунду пишется на обычные диски легко — если писать последовательно в конец файла. Всё устройство подчинено этому: журнал вместо очереди, позиция вместо статуса, порядок только внутри раздела.
СложнаяПлатёжный шлюз и кошелёкТысяча операций в секунду — нагрузки здесь нет. Задача про то, как из повторов сложить списание ровно один раз, когда внешний эквайрер отвечает когда хочет, а баланс должен быть проверяем.
СложнаяПочтовый сервисПоловина этой системы вам не принадлежит. Чужой сервер отвечает когда захочет, может принять письмо и положить в спам, а может отказать без объяснения.
Решите задачу у доски
Интервьюер задаст вопросы по вашей схеме, проверка разберёт её по семи осям




