Перейти к содержанию

Сложная

Объектное хранилище

Условие

Сто петабайт хранит любой набор дисков. Трудность в другом: знать, где лежат сто миллиардов объектов, и отвечать на это за миллисекунды. Задача про каталог, а не про байты.

Спроектируйте объектное хранилище.

Клиент кладёт объект по ключу, скачивает его целиком или диапазоном байтов, удаляет и перечисляет объекты по префиксу ключа. Большие объекты грузятся частями. Данные не должны теряться при отказе диска, узла или целой стойки.

Считайте, что:

  • диски выходят из строя постоянно: в парке такого размера это рутина, а не авария;
  • диск может отдать испорченные данные, не сообщив об ошибке;
  • объект пишется целиком и заменяется целиком; частичной перезаписи нет;
  • клиенты создают ключи с общими префиксами и ожидают, что перечисление по префиксу работает.

Вне границ: версионирование, политики жизненного цикла, права доступа как система, репликация между регионами и совместимость с чужим API до последнего заголовка.

Требования

Функциональные 7

  • Загрузка объекта по ключу и его скачивание целиком
  • Скачивание диапазона байтов объекта
  • Удаление объекта
  • Перечисление объектов по префиксу ключа, постранично
  • Многочастная загрузка объектов больше сотен мегабайт
  • После успешной записи или удаления следующее чтение и перечисление видят результат
  • Целостность: испорченные данные обнаруживаются до отдачи клиенту

Нефункциональные 6

  • Сохранность: 11 девяток в год на объект (около одной потерянной записи в год на 100 млрд объектов)
  • Доступность чтения 99,99% при отказе любого одного узла или стойки
  • Чтение объекта 1 МБ: p99 < 100 мс
  • Нагрузка: 100 ПБ, ~100 млрд объектов, 50k операций/с (~45k чтений и ~5k записей)
  • Перечисление: страница до 1000 ключей, p99 < 300 мс
  • Бюджет дисков: не более 1,5 байта сырой ёмкости на байт данных

Задачи того же уровня

Решите задачу у доски

Интервьюер задаст вопросы по вашей схеме, проверка разберёт её по семи осям