Узнайте 10 лучших отличий MapReduce от пряжи

Разница между уменьшением карты и пряжей

Yarn - это еще одно средство согласования ресурсов, это новая платформа для управления ресурсами (памятью и процессором). Он помогает нам в разработке любого распределенного приложения, предоставляет нам необходимые демоны и API. Еще одна важная особенность YARN заключается в том, что он обрабатывает и планирует запрос ресурсов из приложения и помогает процессу выполнить запрос. YARN - это универсальная платформа для запуска любого распределенного приложения, Map Reduce version 2 - это распределенное приложение, которое работает поверх YARN, тогда как карта снижения - это блок обработки компонента Hadoop, который обрабатывает данные параллельно в распределенной среде. Таким образом, в основном карта-сокращение работает с огромным компонентом данных, он обрабатывает данные и сохраняет их в HDFS таким образом, что поиск легче, чем традиционное хранение.

Сравнение лицом к лицу между MapReduce и Yarn (Инфографика)

Ниже приведено 10 лучших сравнений MapReduce и Yarn

Ключевая разница между MapReduce и Yarn

В Hadoop 1 он состоит из двух компонентов: первый - HDFS (распределенная файловая система Hadoop), а второй - Map Reduce. Принимая во внимание, что в Hadoop 2 он также имеет два компонента HDFS и YARN / MRv2 (мы обычно называем YARN как Map сокращение версии 2).
В Map Reduce, когда Map-Reduction перестает работать, тогда все его подчиненные узлы автоматически перестают работать. Это единственный сценарий, когда выполнение задания может прерываться, и это называется единой точкой отказа. YARN преодолевает эту проблему благодаря своей архитектуре, YARN имеет концепцию активного имени узла, а также резервного имени узла. Когда активный узел перестает работать на некоторое время, пассивный узел начинает работать как активный узел и продолжает выполнение.
Карта редукции имеет архитектуру с одним главным и несколькими подчиненными. Если главный-подчиненный выходит из строя, то весь ведомый перестает работать, это единственная точка отказа в HADOOP1, тогда как HADOOP2, основанный на архитектуре YARN, имеет концепцию нескольких главных и подчиненных, если один мастер выйдет из строя, другой мастер возобновит свой процесс и продолжит выполнение.
Как мы видим на диаграмме ниже, разница между экосистемами HADOOP1 и HADOOP2. Компонентное управление ресурсами YARN взаимодействует с Map-Reduce и HDFS.

Таким образом, в основном YARN отвечает за управление ресурсами, то есть какое задание будет выполняться, какая система получит решение от YARN, тогда как map Reduce является структурой программирования, которая отвечает за то, как выполнить конкретное задание, так что в основном map-Reduction имеет два компонента отображения и редуктора. для исполнения программы.

В Map уменьшите каждый узел данных, запускаемый индивидуально, тогда как в Yarn каждый узел данных выполняется менеджером узла.
В Map Reduce используется трекер заданий для создания и назначения задачи для трекера задач из-за данных, управление ресурсом которых не впечатляет, так как некоторые узлы данных будут простаивать и бесполезны, тогда как в YARN для каждого из них предусмотрен Диспетчер ресурсов. кластера, и каждый узел данных запускает Node Manager. Для каждого задания один подчиненный узел будет выполнять роль мастера приложений, отслеживая ресурсы / задачи.

Сравнительная таблица MapReduce и пряжи

Основа для сравнения	ПРЯЖА	Уменьшение карты
Смысл	YARN означает еще одного участника переговоров о ресурсах.	Карта Reduce определяется самостоятельно.
Версия	Ввести в Hadoop 2.0	Ввести в Hadoop 1.0
Обязанность	Теперь YARN отвечает за управление ресурсами.	Ранее Карта снижения была ответственна за управление ресурсами, а также за обработку данных
Модель исполнения	Модель выполнения пряжи является более общей по сравнению с уменьшением карты	Менее универсальный по сравнению с YARN.
Выполнение приложения	YARN может выполнять и те приложения, которые не следуют модели Map Reduce	Map Reduce может выполнить свое собственное приложение на основе модели.
Архитектура	YARN представлен в MR2 поверх трекера заданий и задач. На месте работы трекера и приложения трекер задач, мастер входит в картину.	В более ранней версии MR1 YARN отсутствует. На месте YARN присутствовал трекер работ и трекер задач, которые помогают в выполнении приложения или работ.
гибкость	YARN является более изолированным и масштабируемым	Менее масштабируемый по сравнению с YARN.
Демоны	YARN имеет узел имени, узел данных, вторичный узел имени, диспетчер ресурсов и диспетчер узлов.	В Map Reduce есть узел Name, узел Data, узел Secondary Name, трекер заданий и трекер задач.
ограничение	В YARN отсутствует концепция единой точки отказа, поскольку в ней несколько мастеров, поэтому, если один из них вышел из строя, другой мастер подберет его и возобновит выполнение.	Единственная точка отказа, низкое использование ресурсов (макс. 4200 кластеров по YAHOO) и меньшая масштабируемость по сравнению с YARN
Размер	По умолчанию размер узла данных в YARN составляет 128 МБ.	По умолчанию размер узла данных в Map уменьшить составляет 64 МБ.

Вывод - MapReduce против пряжи

В Hadoop 1, основанном на Map Reduce, есть несколько проблем, которые необходимо преодолеть в Hadoop 2 с помощью Yarn. Как и в Hadoop 1, трекер заданий отвечает за управление ресурсами, но у YARN есть концепция менеджера ресурсов, а также менеджера узлов, который берет на себя управление ресурсами. При уменьшении карты есть одна точка отказа, т. Е. Система отслеживания заданий. Если система отслеживания заданий перестает работать, мы должны перезапустить весь наш кластер и снова выполнить задание из Начального. В реальном сценарии ни одна организация не хочет брать на себя такой риск, особенно в секторе защиты банков. Такая организация, которая работает с упрощенными данными, не будет готова пойти на такой риск. За несколько минут они потеряют свои данные и могут оказать какое-то критическое влияние на бизнес. Таким образом, YARN имеет лучший результат по сравнению с Map-Reduce.