Что такое Splunk
Splunk упоминается как продукт или инструмент, который используется для анализа данных в больших объемах в деловом мире. Это очень мощный и универсальный инструмент поиска, который заполняет журнал в реальном времени и, следовательно, облегчает мониторинг и устранение проблем, возникающих в нашем приложении. Основателями Splunk являются Майкл Баум, Роб Дас и Эрик Свон. Он разработан в 2003 году, но Splunk пользуется большим спросом после выпуска Splunk 3.0 в 2008-09 годах.
Splunk работает как индексация данных, использует данные для поиска и расследования, добавляет знания к вашим данным, настраивает мониторы и оповещения, сообщает и анализирует, готовит информационные панели. Splunk надежно собирает данные, а затем помогает хранить и индексировать данные в централизованном месте с доступом на основе ролей. Таким образом, не имеет значения, насколько неструктурированными или разнообразными наши данные, может быть, мы можем легко отслеживать, сообщать и анализировать наши данные.
Концепции Splunk:
Splunk добавляет знания к вашим данным с помощью объектов знаний (таких как теги, поля и сохраненные поиски, отчеты, информационные панели, оповещения и т. Д.). Эти объекты знаний могут использоваться и использоваться повторно. Эти концепции объектов знаний описаны ниже:
О Splunk Home:
Splunk Home - главное окно для приложений и данных, доступных из этого Splunk. Splunk Home включает в себя панель поиска и три панели: Приложения, Данные и Справка.
- Эта панель поиска приложения используется пользователем для запуска поискового запроса. Панель поиска приложения и стандартная панель поиска Splunk похожи и включают в себя средство выбора диапазона времени.
- Панель «Данные» используется пользователем для добавления новых данных и управления данными. Он показывает, как давно данные были проиндексированы самое раннее и последнее событие данных и объем данных.
Когда у вас есть данные в Splunk, вы можете увидеть краткую сводку:
- Нажмите «Добавить данные», чтобы добавить новые данные в Splunk.
- Нажмите «Управление входами» для просмотра и редактирования существующих определений входов.
Загрузка данных в Splunk:
Пользователь может загружать в Splunk данные другого типа, такие как текстовые файлы, файлы CSV, журналы событий, веб-журналы любых машинных данных. После загрузки данных Splunk немедленно индексирует данные и делает их доступными для поиска. Пользователь может выполнить любой тип поиска по этим данным и может создавать отчеты, информационные панели, диаграммы и т. Д.
Шаг 1. Нажмите Добавить данные в Splunk Home.
Шаг 2. Нажмите из файлов и каталогов.
Шаг 3. Есть два варианта предварительного просмотра данных перед индексацией и пропустить предварительный просмотр. Если вы хотите предварительно просмотреть данные перед индексированием, выберите данные предварительного просмотра и просмотрите файл, в противном случае выберите «Пропустить предварительный просмотр» и нажмите «Продолжить».
Шаг 4. Выберите Загрузить и проиндексировать файл и найдите файл данных.
Шаг 5. Дополнительные настройки
- В разделе «Хост» задайте для значений «Установить хост» значение «regex on a path», а для регулярного выражения - «1».
- Под типом источника установите значение набора, тип источника - «Автоматический».
- Под установленным индексом значение установки целевого индекса должно быть «по умолчанию».
Шаг 6. Нажмите «Сохранить», и Splunk покажет, что данные сообщения успешно проиндексированы.
Чтобы начать поиск, нажмите начать поиск.
Что такое сводка данных Splunk
Чтобы увидеть более подробную информацию о загруженных данных, нажмите Сводка данных.
Диалог Сводка данных, который отображает три вкладки: Хосты, Источники, Типы источников.
Хостом события обычно является имя хоста, IP-адрес или полное доменное имя сетевого компьютера.
Источником события является путь к файлу или каталогу, сетевой порт или сценарий.
Исходный тип события сообщает вам, какие это данные, обычно в зависимости от того, как они отформатированы.
Поиск / Расширенный поиск:
Наиболее часто используемые команды:
Top / Rare: эта команда возвращает верхние и редкие значения данного поля в строке поиска.
Например:
Выход:
Статистика: Команда stats используется для статистических вычислений по набору данных. Это похоже на агрегацию SQL. Существует более одной команды для статистических расчетов. Команды stats, Chart и time chart выполняют те же статистические вычисления для ваших данных, но возвращают немного другой результат.
Например:
- SourceType =»CSV» | stats dc (Происхождение)
Выход:
- SourceType =»CSV» | значения статистики (UniqueCarrier) по месяцам
Выход:
Ниже приведены статистические функции, которые вы можете использовать с командой stats.
Avg (X): возвращает среднее значение поля X.
Count (X): Возвращает количество вхождений поля X.
Dc (X): возвращает количество различных значений поля X.
Max (X): возвращает максимальное значение поля X.
Min (X): возвращает минимальное значение поля X.
Sum (X): возвращает сумму значений поля X.
Значения (X): возвращает список всех отдельных значений поля X
Диаграмма: команда диаграммы создает вывод табличных данных, пригодных для построения диаграмм. Вы указываете переменную оси X, используя over или by.
Например: sourcetype = ”csv” | значения графика (UniqueCarrier) по месяцам
Выход:
Timechart: команда timechart создает диаграмму для примененной статистической агрегации
в поле против времени в качестве оси х.
Например: sourcetype = ”csv” | значения временной диаграммы (UniqueCarrier) по месяцам
Выход:
Таблица: эта команда возвращает таблицу, сформированную из полей, используемых в списке аргументов поиска
Например:
Дедупирование: удаление избыточных данных является точкой команды фильтрации дедупликации.
Например:
Зрительные:
Графики / отчеты Мы можем создавать отчеты и диаграммы для лучшей визуализации и понимания. Все виды графиков могут быть нарисованы. Например, пирог, линия, бар, площадь и т. Д.
Например:
Сводки:
Панели мониторинга являются наиболее распространенными типами представлений. Каждая панель мониторинга содержит одну или несколько панелей, каждая из которых может содержать визуализации, такие как диаграммы, таблицы, списки событий и карты. По сути, Dashboards - это набор запросов и поисков.
Чтобы создать панель мониторинга, сохраните диаграмму / отчет как панель панели мониторинга.
Упомяните заголовок панели, описание и заголовок панели и сохраните его.
Панель инструментов была успешно создана. А чтобы соперничать, нажмите на панель инструментов просмотра.
Выход:
Вывод - что такое Splunk
Splunk - это платформа, которая используется для операций в реальном времени. Он используется для управления приложениями, безопасности и управления производительностью. Это свободно доступно для использования и легко доступны. Это помогает в визуализации данных с помощью диаграмм и графиков. Это может быть легко для начинающих. Это также один из основных продуктов или инструментов для разработчиков DevOps и Agile.
Рекомендуемые статьи:
Это было руководство, что такое Splunk. Здесь мы обсудили некоторые основные концепции Splunk, шаги для загрузки данных в Splunk и т. Д. Вы также можете посмотреть следующую статью, чтобы узнать больше -
- Splunk Интервью Вопросы и ответы
- Различия Splunk и Spark
- Hadoop vs Splunk - узнайте топ-7 отличий