Что такое Hadoop?
Прежде чем понять преимущества Hadoop, сначала разберитесь в Hadoop. Hadoop - это парадигма обработки больших данных, которая обеспечивает надежное, масштабируемое место для хранения и обработки данных. Hadoop был создан Дугом Каттингом и считается «отцом Hadoop». Hadoop был именем игрушечного слона его сына. Hadoop берет свое начало в проекте поисковой системы Nutch. Hadoop - это среда обработки, которая внесла огромные изменения в то, как мы обрабатываем данные, в способ хранения данных. По сравнению с традиционными инструментами обработки, такими как RDBMS, Hadoop доказал, что мы можем эффективно бороться с проблемами больших данных, такими как,
Разнообразие данных: Hadoop может хранить и обрабатывать как структурированные, так и полуструктурированные и неструктурированные форматы данных.
Объем данных : Hadoop специально разработан для обработки огромного объема данных в диапазоне петабайт.
Скорость данных : Hadoop может обрабатывать петабайты данных с высокой скоростью по сравнению с другими инструментами обработки, такими как RDBMS, то есть время обработки в Hadoop очень меньше.
Существенные особенности Hadoop
- Hadoop имеет открытый исходный код.
- Работает на кластере машин. Размер кластера зависит от требований.
- Он может работать на обычном оборудовании.
Преимущества Hadoop
В этом разделе обсуждаются преимущества Hadoop. Теперь давайте посмотрим на них один за другим:
1. Открытый исходный код
Hadoop по своей природе имеет открытый исходный код, то есть его исходный код находится в свободном доступе. Мы можем изменить исходный код в соответствии с нашими бизнес-требованиями. Также доступны даже проприетарные версии Hadoop, такие как работы Cloudera и Horton.
2. Масштабируемый
Hadoop работает на кластере машин. Hadoop отлично масштабируется. Мы можем увеличить размер нашего кластера, добавляя новые узлы в соответствии с требованиями без каких-либо простоев. Этот способ добавления новых машин в кластер известен как горизонтальное масштабирование, тогда как увеличение таких компонентов, как дублирование жесткого диска и оперативной памяти, называется вертикальным масштабированием.
3. Отказоустойчивый
Отказоустойчивость является характерной чертой Hadoop. По умолчанию каждый блок в HDFS имеет коэффициент репликации 3. Для каждого блока данных HDFS создает еще две копии и сохраняет их в другом месте в кластере. Если какой-либо блок пропадает из-за сбоя компьютера, у нас все еще есть две копии того же блока, и они используются. Таким образом, отказоустойчивость достигается в Hadoop.
4. Независимая схема
Hadoop может работать с различными типами данных. Он достаточно гибок для хранения различных форматов данных и может работать как с данными со схемой (структурированные), так и с данными без схемы (неструктурированные).
5. Высокая пропускная способность и низкая задержка
Пропускная способность означает объем работы, выполненной за единицу времени, а низкая задержка означает обработку данных без задержки или меньшей задержки. Поскольку Hadoop управляется по принципу распределенного хранения и параллельной обработки, обработка выполняется одновременно для каждого блока данных и независимо друг от друга. Кроме того, вместо перемещения данных код перемещается в данные в кластере. Эти два способствуют высокой пропускной способности и низкой задержке.
6. Расположение данных
Hadoop работает по принципу «Перемещай код, а не данные». В Hadoop данные остаются стационарными, и для обработки данных код перемещается в данные в виде задач, это называется локальностью данных. Поскольку мы имеем дело с данными в диапазоне петабайт, перемещение данных по сети становится сложным и дорогостоящим, локальность данных обеспечивает минимальное перемещение данных в кластере.
7. Производительность
В устаревших системах, таких как RDBMS, данные обрабатываются последовательно, но в Hadoop обработка начинается сразу на всех блоках, обеспечивая параллельную обработку. Благодаря методам параллельной обработки производительность Hadoop намного выше, чем у устаревших систем, таких как RDBMS. В 2008 году Hadoop даже победил самый быстрый суперкомпьютер, представленный в то время.
8. Ничего не делиться Архитектура
Каждый узел в кластере Hadoop не зависит друг от друга. Они не разделяют ресурсы или хранилище, эта архитектура известна как архитектура общего доступа (SN). Если узел в кластере выходит из строя, он не разрушит весь кластер, так как каждый узел действует независимо, что устраняет единую точку отказа.
9. Поддержка нескольких языков
Хотя Hadoop в основном разрабатывался на Java, он расширяет поддержку других языков, таких как Python, Ruby, Perl и Groovy.
10. Экономически эффективный
Hadoop очень экономичен по своей природе. Мы можем создать кластер Hadoop, используя обычное аппаратное обеспечение, что позволит снизить затраты на оборудование. Согласно эпохе облачных вычислений, затраты на управление данными в Hadoop, т. Е. Как на аппаратное и программное обеспечение, так и на другие, очень минимальны по сравнению с традиционными системами ETL.
11. Абстракция
Hadoop предоставляет абстракцию на разных уровнях. Это облегчает работу для разработчиков. Большой файл разбивается на блоки одинакового размера и хранится в разных местах кластера. При создании задачи уменьшения карты нам нужно беспокоиться о расположении блоков. В качестве входных данных мы даем полный файл, а среда Hadoop заботится об обработке различных блоков данных, которые находятся в разных местах. Улей является частью экосистемы Hadoop и является абстракцией поверх Hadoop. Поскольку задачи Map-Reduce написаны на Java, разработчики SQL по всему миру не смогли воспользоваться преимуществами Map Reduce. Итак, Hive введен для решения этой проблемы. Мы можем писать SQL-подобные запросы в Hive, что, в свою очередь, запускает Map для сокращения рабочих мест. Таким образом, благодаря Hive, сообщество SQL также может работать над задачами Map Reduce.
12. Совместимость
В Hadoop HDFS - это уровень хранения, а Map Reduce - это механизм обработки. Но нет строгого правила, что Map Reduce должен быть обработчиком по умолчанию. Новые платформы обработки, такие как Apache Spark и Apache Flink, используют HDFS в качестве системы хранения. Даже в Hive мы также можем изменить наш Механизм выполнения на Apache Tez или Apache Spark в соответствии с нашим Требованием. Apache HBase, который является NoSQL Columnar Database, использует HDFS для уровня хранения.
13. Поддержка различных файловых систем
Hadoop очень гибкий по своей природе. Он может принимать различные форматы данных, такие как изображения, видео, файлы и т. Д. Он также может обрабатывать структурированные и неструктурированные данные. Hadoop поддерживает различные файловые системы, такие как JSON, XML, Avro, Parquet и т. Д.
Работа Hadoop
Ниже приведены пункты, показывающие, как работает Hadoop:
1. Распределенное хранилище и параллельная обработка
Это основной принцип всех систем экосистемы Hadoop, включая Apache Spark. Чтобы понять работу Hadoop и Spark, сначала мы должны понять, что такое «распределенное хранение и параллельная обработка».
2. Распределенное хранилище
Hadoop не хранит данные на одном компьютере. Вместо этого он разбивает эти огромные данные на блоки одинакового размера, размер которых по умолчанию составляет 256 МБ, и сохраняет эти блоки в разных узлах кластера (рабочих узлах). Он хранит метаданные этих блоков в главном узле. Этот способ хранения файла в распределенных местах в кластере известен как распределенная файловая система Hadoop - HDFS.
3. Параллельная обработка
Это парадигма обработки, при которой обработка выполняется одновременно для блоков данных, хранящихся в HDFS. Параллельная обработка работает по понятию «Переместить код, а не данные». Данные остаются стационарными в HDFS, но код перемещается в данные для обработки. Проще говоря, если наш файл разбит на 100 блоков, то создается 100 копий задания, и они перемещаются по кластеру в место, где находится блок, и одновременно начинается обработка на 100 блоках (фаза карты). Выходные данные из всех блоков собираются и редуцируются до конечного результата (уменьшение фазы). Карта Reduce считается «сердцем Hadoop».
Заключение-Преимущества Hadoop
В наш век данных Hadoop проложил путь к другому подходу к решению проблем, связанных с большими данными. Когда мы говорим, Hadoop, мы не имеем в виду только Hadoop, он включает в себя инструменты Hadoop Ecosystem, такие как Apache Hive, которые предоставляют SQL-подобные операции над Hadoop, Apache Pig, Apache HBase для базы данных хранения данных Columnar, Apache Spark для обработки в памяти и многие другие. Больше. Хотя Hadoop имеет свои недостатки, он легко адаптируется и постоянно развивается с каждым выпуском.
Рекомендуемые статьи
Это руководство по преимуществам Hadoop. Здесь мы обсудим, что такое Hadoop и основные преимущества Hadoop. Вы также можете просмотреть другие наши статьи, чтобы узнать больше-
- HADOOP Framework
- Что такое кластер Hadoop?
- Что такое MapReduce в Hadoop?
- База данных Hadoop
- Что такое Hadoop? | Приложения и особенности