Введение в Kafka Tools
Kafka Tools - это набор различных инструментов, с помощью которых мы можем управлять нашим Kafka Cluster. Инструменты в основном основаны на командной строке, но также доступны инструменты на основе пользовательского интерфейса, которые можно загрузить и установить.
Мы можем использовать инструменты Kafka для выполнения различных операций, таких как:
- Перечислите доступные кластеры Kafka и их брокеров, темы и потребителей.
- Можно печатать сообщения из разных тем в стандартном выводе. Инструменты на основе пользовательского интерфейса, безусловно, могут обеспечить лучшую читаемость.
- Добавляйте и отбрасывайте темы от брокеров.
- Добавляйте новые сообщения в разделы.
- Посмотреть все смещения наших потребителей.
- Создайте разделы наших тем.
- Список всех групп потребителей, описание групп потребителей, удаление информации о группах потребителей и сброс смещений групп потребителей.
Если мы хотим использовать инструмент на основе пользовательского интерфейса, мы можем использовать Kafka Tool, который можно загрузить со следующей веб-страницы:
http://www.kafkatool.com/download.html
Это приложение доступно бесплатно для личного пользования, но нам нужно приобрести лицензию для коммерческого использования. Хорошая вещь об этом - его доступность для Mac, Windows и Linux.
Лучшие 3 Типа Инструментов Кафки
Инструменты Kafka подразделяются на Системные инструменты и Инструменты приложений.
1. Системные инструменты
Системные инструменты могут быть запущены с использованием следующего синтаксиса.
Синтаксис:
bin/kafka-run-class.sh package.class - - options
Вот некоторые из системных инструментов:
- Инструмент миграции Kafka: Этот инструмент используется для миграции Kafka Broker из одной версии в другую.
- Consumer Offset Checker: Этот инструмент может отображать Consumer Group, Topic, Partition, Off-set, logSize, Owner для указанного набора тем и Consumer Group.
- Mirror Maker: этот инструмент используется для зеркалирования одного кластера Kafka на другой.
2. Инструменты репликации
Это в основном высокоуровневые средства проектирования, обеспечивающие долговечность и доступность.
Некоторые из инструментов репликации:
- Инструмент создания тем. Этот инструмент используется для создания тем с количеством разделов по умолчанию и коэффициентом репликации.
- Инструмент для создания списка тем : используется для вывода информации по заданному списку тем. Самое замечательное в этом инструменте то, что если в командной строке еще нет тем, он запросит у Zookeeper сначала список тем, а затем напечатает информацию о них. В нем перечислены различные поля, такие как Название темы, Разделы, Лидер, Реплики и т. Д.
- Инструмент добавления разделов: этот инструмент используется для добавления разделов в раздел, который необходим для обработки увеличения объема данных в разделе. Но обратите внимание, что мы должны указать разделы при создании темы. Этот инструмент позволяет нам добавлять ручные реплики для добавленных разделов.
3. Разные инструменты
Теперь давайте обсудим несколько разных инструментов:
а. Kafka-Topics Tool
Этот инструмент используется для создания, перечисления, изменения и описания тем.
Пример: создание темы: bin/kafka-topics.sh --zookeeper zk_host:port/chroot --create --topic topic_name --partitions 30 --replication-factor 3 --config x=y
б. Kafka-Console-Consumer Tool
Этот инструмент можно использовать для чтения данных из тем Кафки и записи их в стандартный вывод
Пример: bin/kafka-console-consumer --zookeeper zk01.example.com:8080 --topic topic_name>/code>
с. Кафка-консоль-производитель Tool
Этот инструмент можно использовать для записи данных в тему Кафки из стандартного вывода.
Пример: bin/kafka-console-producer --broker-list kafka03.example.com:9091 --topic topic_name
д. Инструмент Кафка-Потребительских Групп
Этот инструмент можно использовать для составления списка всех групп потребителей, описания группы потребителей, удаления информации о группе потребителей или сброса смещений групп потребителей. Этот инструмент в основном используется для описания групп потребителей и устранения проблем со смещением потребителей.
Пример: просмотр смещений в незащищенном кластере: bin/kafka-consumer-groups --new-consumer --bootstrap-server broker01.example.com:9092 --describe --group group_name
Кафка Архитектура
Различные компоненты Kafka Tools
Основными компонентами Кафки являются следующие:
1. Брокер
Каждый узел в кластере Kafka является брокером, который хранит данные. Как правило, есть несколько брокеров, чтобы правильно сбалансировать нагрузку. Брокер хранит сообщения в виде тем, к которым могут обращаться производители (для записи) и потребители (для чтения). Темы создаются для отделения данных одного приложения от данных другого. Поскольку брокеры не имеют состояния, им нужна помощь Zookeeper для поддержания их состояния кластера. Один брокер может обрабатывать ТБ сообщений без какого-либо влияния на производительность. Выбор лидера брокера Kafka осуществляется Zookeeper.
2. Производитель
Это устройство, которое отправляет сообщения в брокеры. Может быть несколько производителей, генерирующих данные с очень высокой скоростью и независимо друг от друга. Производители не получают подтверждение от брокеров и отправляют данные со скоростью, которая может быть обработана брокерами. Они могут искать брокеров и отправлять сообщения, как только брокеры начинают. Производитель отвечает за выбор того, какое сообщение назначить тому или иному разделу в теме. Это может быть сделано в циклическом режиме, просто чтобы сбалансировать нагрузку, или это может быть сделано в соответствии с некоторой семантической функцией разделения (скажем, на основе некоторого ключа в сообщении).
3. Зоопарк
Это подразделение, которое управляет и координирует брокеров. Zookeeper уведомляет производителя или потребителя в случае добавления или сбоя брокера. Каждый брокер регулярно отправляет запросы сердцебиения зоопарку, пока он жив. Зоопарк также хранит информацию о темах и потребителях.
4. Потребитель
Это блок, который читает сообщения из тем. Потребитель может подписаться и читать из более чем одной темы. Потребитель может работать параллельно с другими потребителями (в этом случае каждый раздел будет читаться только одним потребителем), образуя группу потребителей. Это не работает в синхронизации с производителями. Потребитель должен следить за тем, сколько сообщений он прочитал, используя смещение раздела. Если потребитель принимает определенное смещение раздела, это означает, что он уже использовал предыдущие сообщения в разделе.
Вывод
В этой статье мы узнали, как мы можем использовать различные инструменты Kafka для эффективного управления нашим кластером Kafka. Мы также узнали о различных компонентах экосистемы Кафки и о том, как они взаимодействуют друг с другом.
Рекомендуемые статьи
Это руководство по инструментам Кафки. Здесь мы обсуждаем типы инструментов Kafka, различные компоненты Kafka вместе с архитектурой Kafka. Вы также можете посмотреть следующую статью, чтобы узнать больше -
- Лучшие приложения Kafka
- Объяснение архитектуры больших данных
- Top Data Science Tools
- Различия между Кафкой и Искрой