Перейти к содержанию

Вопросы на собеседовании по Kafka

23 вопроса с реальных собеседований в 5 подтемах. У первых вопросов каждой подтемы — короткий ответ и источник.

Архитектура и Базовые понятия

7 вопросов
  1. Что такое Apache Kafka и для чего её используют?

    Короткий ответ

    Apache Kafka — распределённая платформа потоковой передачи событий: она принимает события от источников, хранит их столько, сколько задано, и отдаёт на чтение и обработку в реальном времени или позже.

    Источник: kafka.apache.org

  2. Чем Kafka отличается от классических брокеров сообщений (например, RabbitMQ)?

    Короткий ответ

    Главное отличие в том, что Kafka хранит события в журнале и не удаляет их после прочтения, а классический брокер вроде RabbitMQ убирает сообщение из очереди после подтверждения.

    Источник: kafka.apache.org

  3. Какова роль топиков?

    Короткий ответ

    Топик — именованный журнал событий, в который продюсеры пишут, а консьюмеры читают. Документация сравнивает его с папкой в файловой системе, а события с файлами в ней.

    Источник: kafka.apache.org

Ещё 4 вопроса с ответамина Basic, 290 ₽ в месяц

Открыть все вопросыОткрыть все вопросы

Продюсеры

3 вопроса
  1. Что делает продюсер?

    Короткий ответ

    Продюсер — клиентское приложение, которое публикует записи в топики Kafka. Перед отправкой он сериализует запись, выбирает партицию и собирает записи в пакеты.

    Источник: kafka.apache.org

  2. Как продюсер выбирает партицию?

    Короткий ответ

    Партицию выбирает партиционер продюсера по трём правилам: явно указанная партиция, затем хеш ключа, затем sticky-партиция для записей без ключа.

    Источник: kafka.apache.org

  3. Зачем нужна идемпотентность продюсера?

    Короткий ответ

    Идемпотентный продюсер нужен, чтобы повторная отправка после потерянного подтверждения не создавала дубль записи в партиции.

    Источник: kafka.apache.org

Консюмеры и Группы

8 вопросов
  1. Что такое консьюмер?

    Короткий ответ

    Консьюмер — клиентское приложение, которое подписывается на топики и читает записи; позицию чтения в каждой партиции он ведёт сам.

    Источник: kafka.apache.org

  2. Что делает консьюмер и как он читает данные?

    Короткий ответ

    Консьюмер читает по модели pull: в цикле вызывает poll(), получает пакет записей из назначенных партиций, обрабатывает их и фиксирует offset.

    Источник: kafka.apache.org

  3. Что такое смещение (offset) и как консюмеры его используют?

    Короткий ответ

    Offset — порядковый номер записи внутри партиции; он же определяет позицию консьюмера в этой партиции.

    Источник: kafka.apache.org

Ещё 5 вопросов с ответамина Basic, 290 ₽ в месяц

Открыть все вопросыОткрыть все вопросы

Ответьте на эти вопросы голосом и получите разбор

Открыть приложениеНачать бесплатно

Отказоустойчивость и Репликация

3 вопроса
  1. Что такое Replication Factor и зачем он нужен?

    Короткий ответ

    Replication factor — общее число реплик партиции, включая лидера. Он задаётся для топика и определяет, сколько копий данных хранят разные брокеры.

    Источник: kafka.apache.org

  2. Как определяется лидер партиции и кто может стать фолловером?

    Короткий ответ

    Лидер партиции — одна из реплик ISR, нового лидера выбирает контроллер кластера. Фолловером может быть любая реплика партиции, а новым лидером становится только синхронная.

    Источник: kafka.apache.org

  3. Что происходит при падении лидера партиции?

    Короткий ответ

    Контроллер замечает, что брокер отключён, выбирает нового лидера из оставшихся синхронных реплик (ISR), а клиенты обновляют метаданные и переходят к новому лидеру.

    Источник: kafka.apache.org

Ответьте на эти вопросы голосом и получите разбор

Открыть приложениеНачать бесплатно

Обработка ошибок и паттерны

2 вопроса
  1. Что такое Dead Letter Queue (DLQ) и как её реализовать в Kafka?

    Короткий ответ

    Dead Letter Queue — отдельный топик, куда откладывают записи, которые не удалось обработать, чтобы одна «ядовитая» запись не останавливала поток. В Kafka для обычного consumer API готового DLQ нет, его реализует код приложения.

    Источник: kafka.apache.org

  2. Что такое Consumer Lag и как этот показатель помогает мониторить здоровье системы?

    Короткий ответ

    Consumer lag — число записей, на которое консьюмер отстал от конца партиции: разница между log end offset (offset следующей записи, которую напишут в партицию) и текущей позицией группы. Считается по каждой партиции отдельно.

    Источник: kafka.apache.org

Дальше по теме

Другие темы

Все темы

Ответьте на вопросы по Kafka голосом

Free без срока и без карты