
Условие
Двенадцать запросов в секунду, а ограничен дорогой ускоритель: его память и время. Нерв задачи в том, чтобы карта не простаивала и не переполнялась.
Спроектируйте сервис генерации текста языковой моделью.
Пользователь отправляет запрос с историей диалога и получает ответ, который печатается на экране постепенно. Диалог продолжается: следующий запрос несёт всю предыдущую переписку.
Считайте, что:
- генерация занимает секунды, и ответ отдаётся по мере готовности;
- длина ответа заранее неизвестна: один запрос заканчивается за две секунды, другой генерирует минуту;
- память ускорителя ограничена, и промежуточное состояние генерации занимает её пропорционально длине контекста;
- ускорители — дорогое и дефицитное оборудование: добавить карту за минуты нельзя;
- кроме интерактивных запросов есть фоновая пакетная обработка, которая может подождать.
Обучение и дообучение моделей, поиск по документам как система, мультимодальность и оценка качества ответов в задачу не входят.
Требования
Функциональные 6
- Приём запроса с историей диалога
- Генерация ответа с потоковой выдачей токенов
- Продолжение диалога: следующий запрос несёт предыдущий контекст
- Лимит потребления на пользователя, который не превышается и при параллельных запросах
- Отмена генерации пользователем до её завершения
- Фоновая пакетная обработка, не мешающая интерактивным запросам
Нефункциональные 5
- Первый токен ответа: p99 (99-й процентиль) < 2 с при нагрузке в пределах ёмкости парка
- Скорость выдачи: не ниже 20 токенов/с на запрос при нагрузке в пределах ёмкости парка
- При нагрузке выше ёмкости парка не менее 99% интерактивных запросов получают ответ, а не ошибку
- Средняя за сутки утилизация ускорителей выше 70%
- Явная отмена или закрытие соединения клиентом освобождает ускоритель в пределах 1 с
Задачи того же уровня
СложнаяКорзина и оформление заказаЧетыреста попыток в секунду зарезервировать один и тот же остаток и три владельца данных, которых нельзя закрыть одной транзакцией. Нерв задачи: деньги и остаток, объём здесь невелик.
СложнаяМультирегионклассы данных, репликация и отказ регионаСкорость света не оптимизируется, и все решения здесь про то, как не ждать сто пятьдесят миллисекунд там, где ждать нельзя, и что делать с данными, которые ждать обязаны. Отказ региона и требования к размещению данных добавляют ещё два ограничения.
СложнаяОбъектное хранилищеСто петабайт хранит любой набор дисков. Трудность в другом: знать, где лежат сто миллиардов объектов, и отвечать на это за миллисекунды. Задача про каталог, а не про байты.
Решите задачу у доски
Интервьюер задаст вопросы по вашей схеме, проверка разберёт её по семи осям




