✅ Список команд Hadoop FS - Лучшие 13 команд Hadoop FS

Введение в список команд Hadoop FS

Введение в список команд Hadoop FS

Hadoop работает над своей собственной файловой системой, которая по своей природе носит название «распределенная файловая система Hadoop HDFS » . Hadoop полагается на распределенное хранилище и параллельную обработку. Этот способ хранения файла в распределенных местах в кластере известен как распределенная файловая система Hadoop, т.е. HDFS. Для выполнения различных операций на уровне файлов HDFS предоставляет собственный набор команд, известных как команды файловой системы Hadoop. Давайте рассмотрим эти команды. В этой теме мы собираемся узнать о Hadoop FS Command.

Команды Hadoop FS

Любая команда HDFS имеет префикс «hdfs dfs». Это означает, что мы указываем, что файловой системой по умолчанию является HDFS. Давайте изучим команды одну за другой

1. Версии

Команда version используется для поиска версии Hadoop, установленной в системе.

Синтаксис: Hadoop version

2. Команда ls

Команда ls в Hadoop используется для указания списка каталогов по указанному пути. Команда ls принимает путь hdfs в качестве параметра и возвращает список каталогов, присутствующих в пути.

Синтаксис: hdfs dfs -ls

Пример: hdfs dfs -ls / user / harsha

Мы также можем использовать -lsr для рекурсивного режима

Синтаксис: hdfs dfs –lsr

3. Кошачья команда

Команда Cat используется для отображения содержимого файла на консоли. Эта команда принимает путь файла hdfs в качестве аргумента и отображает содержимое файла.

Синтаксис: hdfs dfs -cat

Пример: hdfs dfs -cat /user/harsha/empnew.txt

4. команда mkdir

Команда mkdir используется для создания нового каталога в файловой системе hdfs. Он принимает путь hdfs в качестве аргумента и создает новый каталог по указанному пути.

Синтаксис: hdfs dfs -mkdir

Пример: hdfs dfs -mkdir / user / example

На скриншоте выше ясно показано, что мы создаем новый каталог с именем «example» с помощью команды mkdir, и то же самое показано с помощью команды ls.

Также для команды mkdir мы можем указать опцию '-p'. Он создает родительские каталоги в пути, если они отсутствуют.

Пример: hdfs dfs -mkdir -p / user / test / example2

На приведенном выше снимке экрана совершенно очевидно, что у нас есть опция -p, а в пути / user / test / example2 созданы каталоги tests и example2.

5. поставить команду

Команда put в HDFS используется для копирования файлов из заданного исходного местоположения в путь назначения hdfs. Здесь исходным местоположением может быть путь к локальной файловой системе. Команда put принимает два аргумента, первый - путь к исходному каталогу, а второй - целевой путь HDFS.

Синтаксис: hdfs dfs -put

Пример: hdfs dfs -put /home/harsha/empnew.txt / user / test / example2

На скриншоте выше мы ясно видим, что файл копируется из источника в место назначения.

6. команда copyFromLocal

Команда copyFromLocal в HDFS используется для копирования файлов из исходного пути в целевой путь. Источник в этой команде ограничен локальной файловой системой

Синтаксис: hdfs dfs -copyFromLocal /home/harsha/empnew.txt/user/harsha/example

Разница между командой put и командой copyFromLocal: между этими двумя командами оболочки hdfs нет большой разницы. Оба они используются для копирования из локальной файловой системы, чтобы указать путь к файлу HDFS.

Но команда put более полезна и надежна, так как позволяет копировать несколько файлов или каталогов в место назначения в HDFS.

hdfs dfs -put

7. получить команду

Команда get в hdfs используется для копирования заданного файла или каталога hdfs в целевой путь локальной файловой системы. Он принимает два аргумента: один путь к исходному hdfs, а другой путь к целевой локальной файловой системе.

Синтаксис: hdfs dfs -get

Пример: hdfs dfs -get / user / test / example2 / home / harsha

8. команда copyToLocal

Команда copyToLocal в hdfs используется для копирования файла или каталога в hdfs в локальную файловую систему. В этой команде назначение фиксируется в локальной файловой системе. Эта команда copyFromLocal аналогична команде get.

Синтаксис: hdfs dfs -copyToLocal

Пример: hdfs dfs -copyToLocal / user / harsha / example / home / harsha

9. счетная команда

Команда count в hdfs используется для подсчета количества каталогов, присутствующих в данном пути. Команда count принимает заданный путь в качестве аргумента и дает количество каталогов, присутствующих в этом пути.

Синтаксис: hdfs dfs -count

Пример: hdfs dfs -count / user

10. мв команда

Команда mv в hdfs используется для перемещения файла между hdfs. Команда mv берет файл или каталог из указанного исходного пути hdfs и перемещает его в целевой путь hdfs.

Синтаксис : hdfs dfs -mv

Пример : hdfs dfs -mv / user / test / example2 / user / harsha

На скриншоте выше мы видим, что каталог example2 теперь присутствует в / user / harsha

11. команда setrep

Команда setrep в hdfs используется для изменения коэффициента репликации данного файла. По умолчанию hdfs имеет коэффициент репликации «3». Если указанный путь является каталогом, эта команда изменит коэффициент репликации всех файлов, присутствующих в этом каталоге.

Синтаксис: hdfs dfs -setrep (-R) (-w)

-w: Этот флаг указывает, что команда должна ждать завершения репликации.

rep: фактор репликации

Пример: hdfs dfs -setrep -w 5 /user/harsha/empnew.txt

12. командование

Команда du в hdfs показывает использование диска для указанного пути hdfs. Он принимает путь hdfs в качестве ввода и возвращает использование диска в байтах.

Синтаксис : hdfs dfs -du

Пример: hdfs dfs -du /user/harsha/empnew.txt

13. команда rm

Команда rm в hdfs используется для удаления файлов или каталогов по указанному пути hdfs. Эта команда принимает путь hdfs как входные данные и удаляет файлы, присутствующие в этом пути.

Синтаксис : hdfs dfs -rm

Пример : hdfs dfs -rm / user / harsha / example

Вывод - команда Hadoop FS

Настоящим мы узнали о различных командах hdfs, их соответствующих синтаксисах и примерах. Мы должны отметить кик-старт любые команды hdfs, нам нужно запустить скрипт bin / hdfs. За hdfs следует опция, известная как dfs, которая указывает, что мы работаем с распределенной файловой системой Hadoop. С помощью вышеупомянутых команд мы можем договориться с файловой системой HDFS.

Список команд Hadoop FS - Лучшие 13 команд Hadoop FS