Инструменты для календаря - Различные инструменты или компоненты Talend для интеграции данных

Введение в инструменты Talend

Talend open studio содержит более 700 компонентов в таких областях, как большие данные, базы данных, облако и т. Д. Talend open studio можно разделить на многие, такие как Talend open studio для интеграции данных и Talend open studio для больших данных и т. Д. В этой статье мы рассмотрим различные инструменты talend в деталях.

Talend Open Studio Компоненты / Инструменты

Talend Open Studio для интеграции данных охватывает следующие области / технологии с некоторыми встроенными компонентами, которые помогают в обработке легко.

Компоненты больших данных
Бизнес-компоненты
Компоненты бизнес-аналитики
Облачные компоненты
Компоненты пользовательского кода
Компоненты качества данных
Базы данных - традиционные компоненты
Базы данных - компоненты устройства / хранилища данных
Базы данных - другие компоненты
Компоненты DotNET
ELT компоненты
Компоненты ESB
Файловые компоненты
Интернет-компоненты
Компоненты журналов и ошибок
Компоненты для разных групп
Компоненты оркестровки
Обрабатывающие компоненты
Системные компоненты
Компоненты Talend MDM
Технические компоненты
XML-компоненты

Здесь мы обсудим несколько компонентов из Talend Open Studio для интеграции данных.

1. tS3Connection: этот компонент используется для соединения с amazon s3. Компоненты могут использовать это соединение для легкой настройки подключения к Amazon S3.

2. tS3Input: используется для чтения файла из файловой системы S3. Он имеет некоторые функции, аналогичные tfileinputdelimited, но использует сервис Amazon Simple Storage.

3. tS3Output: используется для записи данных в файловую систему S3. Он имеет некоторые функции, аналогичные tfileoutputdelimited, но использует сервис Amazon Simple Storage.

4. ts3Put: используется для помещения файла в файловую систему S3 из локальной системы.

5. ts3Get: этот компонент используется для извлечения файла из S3 в локальную систему.

6. tS3BucketCreate: этот компонент используется для создания сегмента на S3.

7. tS3BucketDelete: Этот компонент используется для удаления сегмента на S3.

8. tS3BucketExist: Этот компонент используется, чтобы проверить, существует ли данный сегмент на S3. Возвращает результат в логическом значении true или false, которое можно использовать в качестве глобальной карты.

9. tS3BucketList: Этот компонент используется для вывода списка всех блоков на S3.

10. tS3Copy: этот компонент используется для копирования объекта S3 из одного сегмента в другой. Это похоже на tFileCopy.

11. tS3Delete: этот компонент используется для удаления объекта S3 из корзины. Это похоже на tFileDelete.

12. tS3Close: этот компонент используется для закрытия соединения S3, созданного с помощью tS3Connection.

13. tCreateTeilitaryFile: этот компонент создает временный файл, такой как tFileOutputDelimited, но этот временный файл может быть либо удален автоматически после завершения задания, либо его можно сохранить.

14. tFileArchive: этот компонент используется для создания сжатого файла из одного или нескольких файлов. Шифрование также может быть применено в сжатии.

15. tFileCompare: этот компонент используется для сравнения двух файлов и возвращает данные сравнения.

16. tFileUnarchive: этот компонент используется для распаковки сжатого файла.

17. tFileCopy: этот компонент используется для копирования файла или папки в целевой каталог.

18. tFileDelete: этот компонент используется для удаления файла или папки.

19. tFileExist: Этот компонент используется, чтобы проверить, существует файл или нет. Возвращает результат в логическом значении true или false, которое можно использовать как globalMap.

20. tFileInputExcel: этот компонент используется для чтения файла Excel на основе определенной схемы.

21. tMsgBox: этот компонент используется для отображения диалогового окна с кнопкой ОК.

22. tRowGenerator: этот компонент используется для создания любого количества строк со столбцами, имеющими определенные значения или случайные значения. Он используется в основном для тестирования и создания образцов тестовых файлов.

23. tIterateToFlow: используется для преобразования списка потоков в основной поток, что означает iterate-> row-> main.

24. tFlowToIterate: используется для преобразования основного потока в список потоков, что означает main-> row-> iterate.

25. tLoop: используется для зацикливания определенной задачи.

26. tReplicate: используется для репликации входящей схемы в два выходных потока.

27. tRunJob: используется для запуска другого задания календаря в текущем задании после выполнения subjob ok.

28. tSleep: используется для приостановки выполнения задания или определенной подзадачи на определенное время в секундах.

29. tWaitForFile: он будет смотреть на конкретный каталог и запускать следующий компонент в зависимости от условия.

30.tMysqlBulkExec: Этот компонент используется для повышения производительности при выполнении операций вставки в базе данных Mysql.

31. tMysqlClose: этот компонент используется для закрытия подключения mysql, созданного tMysqlConnection.

32. tMysqlRow: этот компонент используется для непосредственного запуска SQL-запроса к базе данных MySQL.

33. tMysqlTableList: этот компонент используется для вывода списка имен таблиц.

34. tMysqlColumnList: этот компонент используется для итерации всех столбцов таблицы.

35. tMysqlCommit: этот компонент используется для фиксации изменений, внесенных в базу данных Mysql.

36. tMysqlLastInsertId: этот компонент используется для получения последнего вставленного значения ключа

37. tMysqlOutputBulk: этот компонент используется для записи файла со столбцами на основе разделителя

38. tMysqlOutputBulkExec: Этот компонент используется для записи файла со столбцами на основе разделителя, а затем запускает файл в базе данных Mysql.

39. tContextLoad: этот компонент используется для загрузки значений в контекст из потока ввода. Контекстные переменные должны быть созданы перед загрузкой значений в контекстные переменные. Если контекстные переменные не созданы, будет показано предупреждение.

40. tHiveClose: этот компонент используется для закрытия соединения, созданного с помощью tHiveConnection.

41. tHiveConnection: этот компонент используется для создания соединения Hive и может использоваться другими компонентами Hive.

42. tHiveRow: этот компонент используется для непосредственного выполнения запросов Hive.

Вывод

Компоненты HDFS можно увидеть в открытой студии Talend для больших данных.
thdfsinput, thdfsoutput являются некоторыми из компонентов, и они похожи на файловые компоненты.
tHDFSInput - читает файл, расположенный в данной распределенной файловой системе Hadoop (HDFS). Он имеет некоторые функции, аналогичные tfileinputdelimited, но использует распределенную файловую систему Hadoop.
tHDFSOutput - записывает файл в распределенную файловую систему Hadoop (HDFS).
Он имеет некоторые функции, аналогичные tfileoutputdelimited, но использует распределенную файловую систему Hadoop.
tHDFSPut - используется для помещения файла в файловую систему HDFS из локальной системы.
tHDFSGet - этот компонент используется для извлечения файла из HDFS в локальную систему.