Вопросы на собеседовании по Kafka
23 вопроса с реальных собеседований в 5 подтемах. У первых вопросов каждой подтемы — короткий ответ и источник.
Архитектура и Базовые понятия
7 вопросовЧто такое Apache Kafka и для чего её используют?
Короткий ответ
Apache Kafka — распределённая платформа потоковой передачи событий: она принимает события от источников, хранит их столько, сколько задано, и отдаёт на чтение и обработку в реальном времени или позже.
Источник: kafka.apache.org
Чем Kafka отличается от классических брокеров сообщений (например, RabbitMQ)?
Короткий ответ
Главное отличие в том, что Kafka хранит события в журнале и не удаляет их после прочтения, а классический брокер вроде RabbitMQ убирает сообщение из очереди после подтверждения.
Источник: kafka.apache.org
Какова роль топиков?
Короткий ответ
Топик — именованный журнал событий, в который продюсеры пишут, а консьюмеры читают. Документация сравнивает его с папкой в файловой системе, а события с файлами в ней.
Источник: kafka.apache.org
Продюсеры
3 вопросаЧто делает продюсер?
Короткий ответ
Продюсер — клиентское приложение, которое публикует записи в топики Kafka. Перед отправкой он сериализует запись, выбирает партицию и собирает записи в пакеты.
Источник: kafka.apache.org
Как продюсер выбирает партицию?
Короткий ответ
Партицию выбирает партиционер продюсера по трём правилам: явно указанная партиция, затем хеш ключа, затем sticky-партиция для записей без ключа.
Источник: kafka.apache.org
Зачем нужна идемпотентность продюсера?
Короткий ответ
Идемпотентный продюсер нужен, чтобы повторная отправка после потерянного подтверждения не создавала дубль записи в партиции.
Источник: kafka.apache.org
Консюмеры и Группы
8 вопросовЧто такое консьюмер?
Короткий ответ
Консьюмер — клиентское приложение, которое подписывается на топики и читает записи; позицию чтения в каждой партиции он ведёт сам.
Источник: kafka.apache.org
Что делает консьюмер и как он читает данные?
Короткий ответ
Консьюмер читает по модели pull: в цикле вызывает
poll(), получает пакет записей из назначенных партиций, обрабатывает их и фиксирует offset.Источник: kafka.apache.org
Что такое смещение (offset) и как консюмеры его используют?
Короткий ответ
Offset — порядковый номер записи внутри партиции; он же определяет позицию консьюмера в этой партиции.
Источник: kafka.apache.org
Отказоустойчивость и Репликация
3 вопросаЧто такое Replication Factor и зачем он нужен?
Короткий ответ
Replication factor — общее число реплик партиции, включая лидера. Он задаётся для топика и определяет, сколько копий данных хранят разные брокеры.
Источник: kafka.apache.org
Как определяется лидер партиции и кто может стать фолловером?
Короткий ответ
Лидер партиции — одна из реплик ISR, нового лидера выбирает контроллер кластера. Фолловером может быть любая реплика партиции, а новым лидером становится только синхронная.
Источник: kafka.apache.org
Что происходит при падении лидера партиции?
Короткий ответ
Контроллер замечает, что брокер отключён, выбирает нового лидера из оставшихся синхронных реплик (ISR), а клиенты обновляют метаданные и переходят к новому лидеру.
Источник: kafka.apache.org
Обработка ошибок и паттерны
2 вопросаЧто такое Dead Letter Queue (DLQ) и как её реализовать в Kafka?
Короткий ответ
Dead Letter Queue — отдельный топик, куда откладывают записи, которые не удалось обработать, чтобы одна «ядовитая» запись не останавливала поток. В Kafka для обычного consumer API готового DLQ нет, его реализует код приложения.
Источник: kafka.apache.org
Что такое Consumer Lag и как этот показатель помогает мониторить здоровье системы?
Короткий ответ
Consumer lag — число записей, на которое консьюмер отстал от конца партиции: разница между log end offset (offset следующей записи, которую напишут в партицию) и текущей позицией группы. Считается по каждой партиции отдельно.
Источник: kafka.apache.org
