Перейти к содержанию

Сложная

Инференс языковой модели

Условие

Двенадцать запросов в секунду, а ограничен дорогой ускоритель: его память и время. Нерв задачи в том, чтобы карта не простаивала и не переполнялась.

Спроектируйте сервис генерации текста языковой моделью.

Пользователь отправляет запрос с историей диалога и получает ответ, который печатается на экране постепенно. Диалог продолжается: следующий запрос несёт всю предыдущую переписку.

Считайте, что:

  • генерация занимает секунды, и ответ отдаётся по мере готовности;
  • длина ответа заранее неизвестна: один запрос заканчивается за две секунды, другой генерирует минуту;
  • память ускорителя ограничена, и промежуточное состояние генерации занимает её пропорционально длине контекста;
  • ускорители — дорогое и дефицитное оборудование: добавить карту за минуты нельзя;
  • кроме интерактивных запросов есть фоновая пакетная обработка, которая может подождать.

Обучение и дообучение моделей, поиск по документам как система, мультимодальность и оценка качества ответов в задачу не входят.

Требования

Функциональные 6

  • Приём запроса с историей диалога
  • Генерация ответа с потоковой выдачей токенов
  • Продолжение диалога: следующий запрос несёт предыдущий контекст
  • Лимит потребления на пользователя, который не превышается и при параллельных запросах
  • Отмена генерации пользователем до её завершения
  • Фоновая пакетная обработка, не мешающая интерактивным запросам

Нефункциональные 5

  • Первый токен ответа: p99 (99-й процентиль) < 2 с при нагрузке в пределах ёмкости парка
  • Скорость выдачи: не ниже 20 токенов/с на запрос при нагрузке в пределах ёмкости парка
  • При нагрузке выше ёмкости парка не менее 99% интерактивных запросов получают ответ, а не ошибку
  • Средняя за сутки утилизация ускорителей выше 70%
  • Явная отмена или закрытие соединения клиентом освобождает ускоритель в пределах 1 с

Задачи того же уровня

Решите задачу у доски

Интервьюер задаст вопросы по вашей схеме, проверка разберёт её по семи осям