Как установить Кафку?

Kafka - это распределенная потоковая платформа. Это помогает в публикации и подписке потоков записей. Kafka обычно используется для построения потоковых конвейеров данных в реальном времени, которые надежно получают данные между различными системами и приложениями. Он также может помочь в создании потоковых приложений в реальном времени, которые помогают преобразовывать или вносить изменения в потоки данных. Kafka позволяет хранить потоки записей в разных категориях, называемых темами. Каждая запись состоит из ключа, значения и отметки времени. Он имеет четыре основных компонента, таких как API производителя, API потребителя, API потока и API коннектора. Он использует протокол TCP, который является хорошей связью между клиентами и серверами с высокой производительностью. Для установки Kafka необходимо выполнить следующие шаги.

Установите Кафку на ОС Windows

Для установки Kafka в Windows выполните следующие действия:

Шаг 1. Загрузите Zookeeper по следующей ссылке: HTTP: //zookeeper.apache.org/releases.html

После этого скачайте Кафку по ссылке: http://kafka.apache.org/downloads.html

Также загрузите JRE в соответствии с вашей операционной системой и архитектурой процессора по ссылке ниже: http://www.oracle.com/technetwork/java/javase/downloads/jre8-downloads-2133155.html

Шаг 2. Настройка JDK

Запустите установку JRE, а затем установите флажок «Изменить папку назначения». Теперь нажмите «Установить».

После этого измените каталог на любой путь без пробелов в имени папки.

Шаг 3. После этого откройте переменные среды в Панели управления -> Система -> Расширенные настройки системы -> Переменные среды.

Шаг 4. Нажмите New User Variable на вкладке User Variable, а затем введите JAVA_HOME в имя переменной. Введите свой путь JRE в разделе значения переменной. Это должно быть, как показано ниже:

Шаг 5. Теперь нажмите ОК.

Шаг 6. Найдите переменную пути в разделе «Системная переменная» в открывшемся диалоговом окне «Переменная среды».

Шаг 7. Отредактируйте путь и введите «;% JAVA_HOME% \ bin» в конце уже написанного текста, как показано на рисунке ниже:

Шаг 8. Чтобы проверить, правильно ли установлена Java, перейдите в командную строку и введите «java - версия». Версия установленной Java будет отображаться на экране.

Если вы видите вышеупомянутые подробности в командной строке, то вы хорошо со стороны Java.

После установки Java вы можете перейти к настройке Zookeeper.

Выполните следующие шаги, чтобы установить Zookeeper в вашей системе:

Откройте каталог, в котором находится каталог конфигурации Zookeeper. Это может быть C: \ zookeeper-3.4.7 \ conf.
Теперь переименуйте файл «zoo_sample.cfg» в «cfg»
Откройте этот переименованный файл в Блокноте.
Найдите и отредактируйте следующее: dataDir = / tmp / zookeeper в \ zookeeper-3.4.7 \ data
Так же, как мы добавили переменную окружения для Java, добавим переменную окружения для Zookeeper.
Задайте путь к системной переменной: dataDir = / tmp / zookeeper: \ zookeeper-3.4.7 \ data
Отредактируйте системную переменную с именем «Path» и добавьте; % ZOOKEEPER_HOME% \ Bin;
Порт по умолчанию для Zookeeper - 2181, который можно изменить на любой другой порт, перейдя в файл zoo.cfg.
Запустите Zookeeper, открыв новый cmd и набрав 'zkserver'. Вы увидите ниже детали.

Когда вы увидите этот экран, вы должны быть уверены, что Zookeeper был успешно установлен.

Настройка Кафки

После того, как вы установили Java и Zookeeper в своей системе, вы можете приступить к настройке Kafka.

Перейдите в каталог конфигурации Kafka.
Отредактируйте файл «server.properties».
Как только это будет сделано, вы можете найти и отредактировать строку, в которой вы видите: dirs = / tmp / kafka-logs, в «log.dir = C: \ kafka_2.11-0.9.0.0 \ kafka-logs»
Если у вас Zookeeper работает на другом компьютере, вы можете изменить этот путь на «zookeeper.connect: 2181», настроив IP-адрес и идентификатор порта.
Порт по умолчанию для Kafka - это порт 9092, а для подключения к Zookeeper - 2181.

Запуск сервера Kafka

После начальной настройки вы можете легко запустить сервер Kafka.

Перед запуском сервера Kafka необходимо убедиться, что экземпляр Zookeeper запущен и работает.

1. Перейдите в каталог установки Kafka: C: /kafka_2.11-0.9.0.0

2. Откройте командную строку и нажмите Shift + щелчок правой кнопкой мыши и выберите параметр «Открыть командное окно здесь».

3. Теперь введите. \ Bin \ windows \ kafka-server-start.bat. \ Config \ server.properties и нажмите Enter.

После того, как вы запустите это и все в порядке, ваш экран должен выглядеть следующим образом:

4. Теперь ваш сервер Kafka запущен и работает. Вы можете создавать свои собственные темы для хранения различных сообщений. После этого вы можете создавать и использовать данные из кода Java или Scala или напрямую запускать из командной строки.

Установите Кафку на Linux

Выполните следующие действия, чтобы установить Kafka в Linux:

Шаг 1. Загрузите и распакуйте двоичные файлы Kafka и сохраните их в каталогах.

Шаг 2. Извлеките загруженный архив с помощью команды tar.

Шаг 3. Для настройки Kafka перейдите в server.properties. Откройте этот файл с помощью команды nano и добавьте следующее в конец файла.

nano ~/Kafka/config/server.properties

delete.topic.enable = true

Шаг 4. После этого пользователь должен будет создать файлы системного блока для сервисов Kafka. Это помогает в выполнении общих действий службы, таких как запуск, остановка и перезапуск Kafka в согласованном режиме с другими службами Linux. Zookeeper - это сервис, который используется Kafka для управления своим кластером и конфигурациями.

Шаг 5. Чтобы создать файл модуля для Zookeeper, выполните следующие действия:

sudo nano /etc/systemd/system/zookeeper.service

Шаг 6. После создания файла zookeeper вставьте в него ниже:

(Unit) Requires=network.target remote-fs.target After=network.target remotefs.target (Service) Type=simple User=kafka ExecStart=/home/kafka/kafka/bin/zookeeper-server-start.sh /home/kafka/kafka/config/zookeeper.properties ExecStop=/home/kafka/kafka/bin/zookeeper-server-stop.sh Restart=on-abnormal (Install) WantedBy=multi-user.target

Этот раздел (Unit) здесь указывает, что Zookeeper требует, чтобы сеть и файловая система были готовы, прежде чем он сможет запуститься.

Раздел (Служба) сообщает системе, что для запуска и остановки служб существуют файлы zookeeper-server-start.sh и zookeeper-server-stop.sh.

Шаг 7. Теперь пользователь должен создать системный файл для Kafka, как показано ниже:
sudo nano /etc/system/system/Kafka.service

Шаг 8. В этот файл вставьте ниже:

(Unit) Requires=zookeeper.service After=zookeeper.service (Service) Type=simple User=kafka ExecStart=/bin/sh -c '/home/kafka/kafka/bin/kafka-server-start.sh /home/kafka/kafka/config/server.properties > /home/kafka/kafka/kafka.log 2>&1' ExecStop=/home/kafka/kafka/bin/kafka-server-stop.shRestart=on-abnormal (Install) WantedBy=multi-user.target

Здесь (Unit) указывает, что файл модуля зависит от zookeeper.service. Это обеспечивает запуск zookeeper до запуска Kafka.

Шаг 9. Теперь вам нужно включить Kafka и перезагрузить сервер. Запустите: sudo systemctl включить Kafka

Шаг 10. Тестирование установки:

Вы можете проверить свою установку Kafka, создав тему, а затем опубликовав ее для потребителей.

Создать тему с помощью : ~ / Kafka / bin / Kafka-topics.sh –create –zookeeper localhost: 2181 –replication-factor 1 –partitions 1 –topic TutorialTopic

Публикация этого пользователя может создавать производителей и потребителей, а затем публиковать любые данные по конкретным темам.

Как установить Кафку? - Руководство по установке Kafka в Windows и Linux

Содержание: