# Вопросы на собеседовании по Kafka

23 вопроса с реальных собеседований. Здесь открытые: первые вопросы каждой подтемы с коротким ответом (первый абзац эталона) и источником. Все вопросы с ответами и AI-разбором — в тренажёре JobJump.

Страница: https://jobjump.app/questions/kafka

## Архитектура и Базовые понятия

### Что такое Apache Kafka и для чего её используют?

Apache Kafka — распределённая платформа потоковой передачи событий: она принимает события от источников, хранит их столько, сколько задано, и отдаёт на чтение и обработку в реальном времени или позже.

Источник: https://kafka.apache.org/43/getting-started/introduction/

### Чем Kafka отличается от классических брокеров сообщений (например, RabbitMQ)?

Главное отличие в том, что Kafka хранит события в журнале и не удаляет их после прочтения, а классический брокер вроде RabbitMQ убирает сообщение из очереди после подтверждения.

Источник: https://kafka.apache.org/43/getting-started/uses/

### Какова роль топиков?

Топик — именованный журнал событий, в который продюсеры пишут, а консьюмеры читают. Документация сравнивает его с папкой в файловой системе, а события с файлами в ней.

Источник: https://kafka.apache.org/43/getting-started/introduction/

## Продюсеры

### Что делает продюсер?

Продюсер — клиентское приложение, которое публикует записи в топики Kafka. Перед отправкой он сериализует запись, выбирает партицию и собирает записи в пакеты.

Источник: https://kafka.apache.org/43/javadoc/org/apache/kafka/clients/producer/KafkaProducer.html

### Как продюсер выбирает партицию?

Партицию выбирает партиционер продюсера по трём правилам: явно указанная партиция, затем хеш ключа, затем sticky-партиция для записей без ключа.

Источник: https://kafka.apache.org/43/configuration/producer-configs/

### Зачем нужна идемпотентность продюсера?

Идемпотентный продюсер нужен, чтобы повторная отправка после потерянного подтверждения не создавала дубль записи в партиции.

Источник: https://kafka.apache.org/43/javadoc/org/apache/kafka/clients/producer/KafkaProducer.html

## Консюмеры и Группы

### Что такое консьюмер?

Консьюмер — клиентское приложение, которое подписывается на топики и читает записи; позицию чтения в каждой партиции он ведёт сам.

Источник: https://kafka.apache.org/43/javadoc/org/apache/kafka/clients/consumer/KafkaConsumer.html

### Что делает консьюмер и как он читает данные?

Консьюмер читает по модели pull: в цикле вызывает `poll()`, получает пакет записей из назначенных партиций, обрабатывает их и фиксирует offset.

Источник: https://kafka.apache.org/43/design/design/

### Что такое смещение (offset) и как консюмеры его используют?

Offset — порядковый номер записи внутри партиции; он же определяет позицию консьюмера в этой партиции.

Источник: https://kafka.apache.org/43/javadoc/org/apache/kafka/clients/consumer/KafkaConsumer.html

## Отказоустойчивость и Репликация

### Что такое Replication Factor и зачем он нужен?

Replication factor — общее число реплик партиции, включая лидера. Он задаётся для топика и определяет, сколько копий данных хранят разные брокеры.

Источник: https://kafka.apache.org/43/design/design/

### Как определяется лидер партиции и кто может стать фолловером?

Лидер партиции — одна из реплик ISR, нового лидера выбирает контроллер кластера. Фолловером может быть любая реплика партиции, а новым лидером становится только синхронная.

Источник: https://kafka.apache.org/43/design/design/

### Что происходит при падении лидера партиции?

Контроллер замечает, что брокер отключён, выбирает нового лидера из оставшихся синхронных реплик (ISR), а клиенты обновляют метаданные и переходят к новому лидеру.

Источник: https://kafka.apache.org/43/design/design/

## Обработка ошибок и паттерны

### Что такое Dead Letter Queue (DLQ) и как её реализовать в Kafka?

Dead Letter Queue — отдельный топик, куда откладывают записи, которые не удалось обработать, чтобы одна «ядовитая» запись не останавливала поток. В Kafka для обычного consumer API готового DLQ нет, его реализует код приложения.

Источник: https://kafka.apache.org/43/kafka-connect/user-guide/

### Что такое Consumer Lag и как этот показатель помогает мониторить здоровье системы?

Consumer lag — число записей, на которое консьюмер отстал от конца партиции: разница между log end offset (offset следующей записи, которую напишут в партицию) и текущей позицией группы. Считается по каждой партиции отдельно.

Источник: https://kafka.apache.org/43/operations/basic-kafka-operations/
