
Условие
Ответы по закрытому корпусу, где у каждого документа свои права. Нерв задачи: нужный фрагмент должен попасть в контекст покупной модели, а попал ли он, надо уметь измерить.
Спроектируйте систему ответов на вопросы по корпусу документов организации (RAG, retrieval-augmented generation: языковая модель отвечает по найденным фрагментам).
Сотрудник задаёт вопрос обычными словами и получает ответ со ссылками на документы, из которых он собран. Документы добавляют, редактируют и удаляют каждый день. У каждого документа свои права доступа.
Считайте, что:
- языковая модель покупная: вы её не обучаете и не разворачиваете, у неё ограниченное окно контекста и она стоит денег за токен;
- ответ начинает печататься не позже чем через 2 секунды;
- отредактированный или удалённый документ должен учитываться в ответах в течение часа;
- права доступа отзывают, и отзыв должен действовать в течение минуты;
- у ответа нет однозначно правильного варианта: есть лучше и хуже.
Обучение модели, агенты и вызов инструментов, мультимодальность, диалоговая память и обслуживание самой модели в задачу не входят.
Требования
Функциональные 5
- Ответ на вопрос обычными словами по корпусу документов
- Учёт прав доступа: в ответ не попадает то, что человеку нельзя
- Ссылки на фрагменты источников, из которых собран ответ
- Явный отказ, когда в корпусе нет основания для ответа
- Индексация новых, изменённых и удалённых документов
Нефункциональные 5
- Первый токен ответа: p99 (99-й процентиль) < 2 с
- Отозванный доступ действует в пределах 1 минуты
- Изменённый или удалённый документ учитывается в ответах не позже чем через 1 час
- Нужная фраза-основание попадает в контекст ответа не менее чем в 90% вопросов, на которые в корпусе есть ответ (допущение)
- При остановке индексации ответы по уже проиндексированному корпусу продолжаются с p99 < 2 с
Задачи того же уровня
СложнаяUberподбор водителя и поток координатШестьсот тысяч обновлений координат в секунду против двухсот тридцати заказов: основную нагрузку создаёт телеметрия. Плюс подбор, где одна заявка и один водитель должны совпасть ровно один раз.
СложнаяWhatsAppдоставка сообщений и офлайнБольше миллиона сообщений в секунду, несколько устройств у каждого получателя и требование не хранить сообщение дольше, чем нужно для доставки. Нерв задачи в том, что считать доставленным и когда сообщение можно удалить.
СложнаяX (Twitter)лента, репосты, счётчики и поискТвит весит полкилобайта, но публикация автора с десятками миллионов подписчиков — это миллионы вставок в чужие ленты. Нерв задачи: разлёт в ленты, счётчики на вирусном твите и поиск, который находит твит через секунды.
Решите задачу у доски
Интервьюер задаст вопросы по вашей схеме, проверка разберёт её по семи осям




