Команды Sqoop - Основные команды с советами и рекомендациями

• Введение в команды Sqoop

Введение в команды Sqoop

В командах Sqoop каждая строка обрабатывается как записи, и задачи внутренне подразделяются на подзадачи. Базы данных, поддерживаемые sqoop, - это MYSQL, Oracle, IBM, PostgreSQL. Sqoop предоставляет простую командную строку, мы можем получать данные из другой базы данных с помощью команд sqoop. Они написаны на Java и используют JDBC для подключения к другим базам данных.

Это означает «SQL для Hadoop» и Hadoop для SQL и инструмент с открытым исходным кодом. Это инструмент подключения приложений, который передает объемные данные между системой реляционной базы данных и Hadoop (Hive, map Reduce, Mahout, Pig, HBase). Они позволяют пользователям указывать местоположение цели внутри Hadoop и создавать sqoop для перемещения данных из RDMS в цель. Они предоставляют оптимизированные коннекторы MySQL, которые используют API для конкретной базы данных, чтобы полностью выполнять массовые передачи. Пользователь импортирует данные из внешних источников, таких как Hive или Hbase. Sqoop имеет два формата файлов: формат текстового файла с разделителями и формат файла последовательности.

Вот основные команды команд Sqoop:

1. Список таблиц:

Эта команда выводит список конкретной таблицы базы данных на сервере MYSQL.

Пример:

2. Целевой каталог:

Эта команда импортирует таблицу в определенный каталог в HDFS. -m обозначает аргумент маппера. У них есть целочисленное значение.

Пример:

3. Защита паролем:

Пример:

4. sqoop-Eval:

Эта команда быстро выполняет запросы SQL соответствующей базы данных.

Пример:

5. sqoop - версия:

Эта команда отображает версию sqoop.

Пример:

6. sqoop-работа

Эта команда позволяет нам создать задание, параметры которого могут быть вызваны в любое время. Они принимают такие параметры, как (–create, –delete, –show, –exit).

Пример:

7. Загрузка файла CSV в SQL:

Пример:

8. Разъем:

Пример:

9. Код поколения:

Эта команда Sqoop создает файлы классов Java, которые инкапсулируют импортированные записи. Все java-файлы воссоздаются, и генерируются новые версии класса. Они генерируют код для взаимодействия с записями базы данных. Получает список всех столбцов и их типов данных.

Пример:

10.List-базы данных:

Эти списки команд Sqoop имеют всю доступную базу данных на сервере RDBMS.

пример:

Промежуточные команды команд Sqoop:

1.sqoop -мета магазин:

Эта команда содержит общий репозиторий метаданных. Несколько / удаленные пользователи могут выполнять несколько заданий.

Команда:

$ sqoop .metastore.client.autoconnect.url

пример: jdbc: hsqldb: hsql: // metastore .example.com / sqoop

2. sqoop -help:

Эта команда перечисляет инструменты, доступные в sqoop, и их назначение.

Команда:

$ sqoop help

$ bin / sqoop help import

3. Экспорт:

Эта команда экспортирует данные из HDFS в базу данных RDMS. В HDFS данные хранятся в виде записей.

Команда:

$ sqoop export \ –connect jdbc: mysql: // localhost / inventory - имя пользователя jony –table lib –export -dir / user / jony / inventory.

4. Вставьте:

Эта команда вставляет новую запись из HDFS в таблицу RDBMS.

команда

$ sqoop export –connect JDBC: MySQL: // localhost / sqoop_export - таблица emp_exported –export -dir / sqoop / newemp -m -000

5. Обновление:

Эта команда Sqoop обновляет записи в РСУБД из данных HDFS.

команда

$ sqoop export –connect JDBC: MySQL: // localhost / sqoop_export - таблица emp_exported –export -dir / sqoop / newemp -m -000 –update -key id

6. Пакетный вариант:

Эта команда вставляет несколько строк вместе, они оптимизируют скорость вставки с помощью драйвера Sqoop JDBC.

команда

$ sqoop export \ -connect JDBC: MySQL: // имя хоста / –username -password -export -dir

7. Сплит:

Когда эта команда используется, предложение where применяется ко всему SQL.

команда

$ sqoop import -D mysql: // jdbc: // where.clause.location = SPLIT - таблица JUNK - где «rownum <= 12»

8. AVRO файл в HDFS:

Они хранят данные СУБД в виде файла Avro.

команда

$ sqoop import –connect JDBC: MySQL: // localhost / Acadgild – root пользователя -password pp.34 –table payment -m1 –target -dir / sqoop_data / payment / avro / == as -avrodatfile.

Расширенные команды команд Sqoop:

Команды импорта:

Команды импорта имеют аргументы управления импортом. различные аргументы заключаются в следующем:

• Граница: используется для создания сплитов.
• as - текстовый файл: импортирует текстовые данные
• -columns (: импортировать столбцы для таблицы
• -m, - num: импортировать задачи параллельного отображения
• разделить на столбцы таблицы
• -z, - compress: сжатие данных включено.

Добавочный импорт Аргументы:

• check - column: указывает столбцы, чтобы определить, какие строки следует импортировать.
• incremental (mode): указывает на новые строки (включая добавление и последние изменяет строки)

Аргументы строки вывода:

• -Окончание строк -by: Они устанавливают символ eol
• MySQL - разделители: они устанавливают \ n поля: lines:

Импорт в Улей

-hive - import: они импортируют таблицы в куст

-hive - ключ-раздел: имя раздела является общим.

-hive - перезаписать: они перезаписывают данные в существующей таблице.

Импорт в Hbase Аргументы:

-accumulo-table: указывает целевую таблицу в HBase.

-accumulo -column: для импорта устанавливает целевой столбец.

-accumulo -: импортировать имя накопителя

–Accumulo -: импортировать пароль накопителя

Хранение в файлах последовательности:

$ sqoop import -connect jdbc: mysql: //db.foo.com/emp -table store \ - имя класса com.foo.com.Inventory -as - файл-последовательности

Импорт запроса:

Эта команда задает оператор Sql с аргументом -query.

$ sqoop import \ –query 'SELECT a. *, b. * из соединения b на (a.id = b.id), где $условия' \ -split - by / target-dir / user

Добавочный экспорт:

$ sqoop export –connect –table –username –password –incremental –check-row –last-value

Импорт всех таблиц в HDFS:

$ sqoop import -all - tables –connect jdbc: mysql: // localhost / sale_db - имя пользователя root.

Импорт данных в Hive:

$ sqoop import –connect –table –username –password –hive -import - hive -table

Импорт данных в HBase:

команда:

$ sqoop import –connect –table –username –password –hive -import - HBase -table

Кодировать нулевые значения:

команда:

$ mysql import \ –connect JDBC: MySQL: //mysql.ex.com/sqoop \ –username sqoop \ -password sqoop \ –table lib \ –null -string '

Советы и рекомендации по использованию команд Sqoop:

Если мы хотим эффективно выполнять операции с данными, тогда мы должны использовать sqoop, просто с помощью одной командной строки мы можем выполнить в ней много задач и подзадач. Sqoop соединяется с различными реляционными базами данных через коннекторы, они используют драйвер JDBC для взаимодействия с ним. Поскольку sqoop работает из собственного источника, мы можем выполнить sqoop без процесса установки. Выполнение sqoop легко, потому что данные выполняются параллельно. Используя Map Reduce, мы можем импортировать и экспортировать данные, что, в свою очередь, обеспечивает параллельное выполнение.

Вывод - команды Sqoop:

В заключение, Sqoop Commands регулирует процесс импорта и экспорта данных. Sqoop предоставляет возможность обновлять части таблицы с помощью дополнительной нагрузки. Импорт данных в sqoop не управляется событиями. И есть sqoop2 с включенным графическим интерфейсом для легкого доступа вместе с командной строкой. Передача данных происходит быстро, поскольку они передаются параллельно. Они играют жизненно важную роль в среде Hadoop. Они выполняют свою работу самостоятельно, не обязательно при импорте небольших наборов данных.

Рекомендуемые статьи

Это было руководство по командам Sqoop. Здесь мы обсудили как базовые, так и расширенные команды Sqoop и некоторые непосредственные команды Sqoop. Вы также можете посмотреть следующую статью, чтобы узнать больше -

1. Sqoop Интервью Вопросы и ответы
2. Шпаргалка SQL (команды, бесплатные советы и хитрости)
3. Важные команды VBA
4. Табличные команды