Перейти к содержанию

Сложная

RAG

ответы по корпусу документов

Условие

Ответы по закрытому корпусу, где у каждого документа свои права. Нерв задачи: нужный фрагмент должен попасть в контекст покупной модели, а попал ли он, надо уметь измерить.

Спроектируйте систему ответов на вопросы по корпусу документов организации (RAG, retrieval-augmented generation: языковая модель отвечает по найденным фрагментам).

Сотрудник задаёт вопрос обычными словами и получает ответ со ссылками на документы, из которых он собран. Документы добавляют, редактируют и удаляют каждый день. У каждого документа свои права доступа.

Считайте, что:

  • языковая модель покупная: вы её не обучаете и не разворачиваете, у неё ограниченное окно контекста и она стоит денег за токен;
  • ответ начинает печататься не позже чем через 2 секунды;
  • отредактированный или удалённый документ должен учитываться в ответах в течение часа;
  • права доступа отзывают, и отзыв должен действовать в течение минуты;
  • у ответа нет однозначно правильного варианта: есть лучше и хуже.

Обучение модели, агенты и вызов инструментов, мультимодальность, диалоговая память и обслуживание самой модели в задачу не входят.

Требования

Функциональные 5

  • Ответ на вопрос обычными словами по корпусу документов
  • Учёт прав доступа: в ответ не попадает то, что человеку нельзя
  • Ссылки на фрагменты источников, из которых собран ответ
  • Явный отказ, когда в корпусе нет основания для ответа
  • Индексация новых, изменённых и удалённых документов

Нефункциональные 5

  • Первый токен ответа: p99 (99-й процентиль) < 2 с
  • Отозванный доступ действует в пределах 1 минуты
  • Изменённый или удалённый документ учитывается в ответах не позже чем через 1 час
  • Нужная фраза-основание попадает в контекст ответа не менее чем в 90% вопросов, на которые в корпусе есть ответ (допущение)
  • При остановке индексации ответы по уже проиндексированному корпусу продолжаются с p99 < 2 с

Задачи того же уровня

Решите задачу у доски

Интервьюер задаст вопросы по вашей схеме, проверка разберёт её по семи осям