Введение в машинное обучение науке о данных
Данные - это, в основном, информация, особенно факты или цифры, собираемые для изучения, рассмотрения и использования, чтобы помочь принятию решений, или информация в электронной форме, которая может храниться и использоваться компьютером. Теперь мы изучим определение науки о данных и машинного обучения.
Data Science (DS) : это очень широкая область, в которой различные методы, такие как статистические методы, научные подходы, архитектурные процессы, различные алгоритмы, используются для извлечения проницательной информации из имеющихся данных, которые могут быть как структурированными, так и неструктурированными данными.
Машинное обучение ( ML ): это подмножество науки о данных. В машинном обучении в основном с помощью статистических моделей и различных алгоритмов машины обучаются, не давая четких инструкций, оно опирается на шаблоны, созданные с использованием данных ».
Важность науки о данных
- Мы живем в век технологий, когда каждый человек так или иначе использует технологию для комфорта / эффективности / легкости, например, сотовый телефон / ноутбуки / планшеты для связи, автомобили / поезда / автобусы / самолеты для перевозки, такие услуги, как банковское дело / электричество и многое другое для удобства жизни.
- В каждом таком случае мы создаем данные, сознательно или неосознанно, такие как журналы вызовов / тексты / социальные сети - изображения / видео / блоги - все это часть данных, с транспортировкой нашей навигации в разные места по GPS / производительность автомобиля, записанная через ECU, также часть данных. Наши транзакции в банковских и мобильных кошельках создают огромное количество данных, потребление электроэнергии в любой области или секторе также является частью данных.
- И сказать, что эти данные растут экспоненциально день за днем или минуту за минутой.
- Теперь возникает вопрос: можем ли мы что-то сделать с этими данными? Можем ли мы использовать эти данные для предоставления полезной информации? Можем ли мы повысить эффективность? Можем ли мы использовать эти данные для прогнозирования будущих результатов?
- Чтобы ответить на все такие вопросы, у нас есть область, называемая наукой о данных.
- Науку данных можно рассматривать как широкую область, которая включает в себя интеллектуальный анализ данных, разработку данных, визуализацию данных, статистические методы интеграции данных, программирование на R / python / SQL, машинное обучение, большие данные и многое другое.
Теперь давайте разберемся с важными понятиями науки о данных.
1. Инженерия данных
Инженерия данных является одним из аспектов науки о данных, который в основном сосредоточен на приложениях данных, сбора данных и анализа данных. Вся работа, которую делают ученые данных, например, чтобы ответить на несколько вопросов, связанных с предсказаниями или анализом, использует большой набор информации.
Теперь им нужна правильная и полезная информация, которая создает потребность в сборе и проверке доступной информации. Все это часть инженерных задач. Некоторые из этих задач проверяют наличие нулевых значений (пропущенные данные), классифицируют данные (категориальные данные), создают структуры данных (правила ассоциации) и т. Д.
2. Визуализация данных
Визуализация данных - это графический подход к представлению данных. Здесь мы используем встроенную библиотеку Python для создания визуальных элементов, например, таблиц, диаграмм корреляции, гистограмм, парных графиков и т. Д. Визуализация данных играет очень важную роль в обеспечении очень простого способа анализа данных, просмотра и понимания тенденций, рисунков. выбросы и т. д.
3. Статистическое понимание
Статистика играет очень важную роль в области науки о данных. Статистика является очень мощным инструментом для выполнения задач Data Science (DS). Статистика использует математику для технического анализа доступной информации. С помощью визуализаций, таких как гистограмма или диаграмма, мы можем получать информацию о тренде, но статистика помогает нам работать с данными математическим / целевым образом. Без знания данных научная визуализация - просто игра в догадки.
Мы обсудим некоторые важные статистические методы, которые ежедневно используются исследователями данных.
- Среднее значение: Среднее значение - это среднее значение всех данных, рассчитанное путем сложения всех элементов данных и последующего деления их на количество элементов. Используется для определения значения центра всех элементов.
- Медиана: Медиана также используется для нахождения центрального значения доступных элементов, но здесь все данные расположены в порядке, а точное среднее значение рассматривается как медиана.
Если число элементов нечетное, то медиана - это ((n + 1) / 2) -й член. Если число элементов четное, медианой будет ((n / 2) + 1) -й член.
- Режим: режим - это статистический параметр, который указывает на наиболее частое значение, или значение, которое появляется чаще всего, рассматривается как режим.
- Стандартное отклонение: Стандартное отклонение указывает, какой разброс присутствует в данных, или это измерение для определения разброса от средних значений или среднего значения или ожидаемого значения.
В случае, если у нас есть низкое стандартное отклонение, это указывает, что большинство значений данных близко к среднему значению. Если у нас высокое стандартное отклонение, значит, наши значения данных более разбросаны по сравнению со средним значением.
- Дисперсия: дисперсия такая же, как стандартное отклонение с небольшой разницей, это квадрат стандартного отклонения. Стандартное отклонение получено из дисперсии, потому что Стандартное отклонение показывает разброс с точки зрения данных, в то время как дисперсия показывает разброс с квадратом. Легко коррелировать спред с помощью дисперсии.
- Корреляция: корреляция является одним из наиболее важных статистических показателей, она показывает, как связаны переменные в наборе данных. Когда мы меняем один параметр, как он влияет на другой параметр.
Если у нас есть положительное значение корреляции, которое означает, что переменные будут либо увеличиваться, либо уменьшаться параллельно
Если у нас будет отрицательное значение корреляции, которое означает, что переменные будут вести себя обратно пропорционально, приращение друг на друга будет уменьшаться, и наоборот.
В статистике у нас есть распределение вероятностей, байесовская статистика и проверка гипотез, которые также являются очень важными инструментами для исследователя данных.
Машинное обучение
Машинное обучение в основном означает способ, с помощью которого машины могут учиться и производить результаты на основе входных функций.
Определение: «Машинное обучение - это область обучения, в которой компьютер учится на имеющихся данных / исторических данных без явного программирования».
В машинном обучении основное внимание уделяется автоматизации и совершенствованию процесса обучения компьютеров на основе их опыта ввода данных, и мы не будем программировать код явно для каждого типа проблемы, т.е. машина будет выяснять, как подходить к проблеме. Здесь результаты могут быть неточными, но можно сделать хороший прогноз.
Давайте разберемся так:
Традиционно компьютеры используются для облегчения процесса вычислений. так что если у нас есть какие-либо арифметические вычисления. Что мы сделаем? Мы подготовим одну компьютерную программу, которая решит эту операцию легко и быстро. Например, если мы хотим добавить две сущности, мы создадим один фрагмент программного кода, который будет принимать два входа, а на выходе будет отображаться суммирование.
Подход машинного обучения отличается от подачи прямого алгоритма, в программный код вставляется специальный алгоритм, который будет пытаться распознать шаблон и на основе этих шаблонов будет пытаться предсказать наилучший возможный результат. Здесь мы не кодируем какой-либо алгоритм явно для какой-либо конкретной операции, вместо этого мы подаем данные на машину, чтобы узнать, что такое шаблон и что может быть результатом.
Теперь, почему мы должны пойти на этот подход, когда мы можем напрямую получить точные результаты, просто кодируя точный алгоритм? Точные алгоритмы сложны и ограничены. Давайте посмотрим на это с другой точки зрения, это эпоха, когда у нас есть изобилие данных, и они взрываются каждый день, как мы обсуждали в предыдущем разделе. Здесь мы имеем дело с контролируемым и неконтролируемым обучением.
В настоящее время машинное обучение представляет большой интерес, потому что у нас много данных. Чтобы понять эти данные, нам нужны некоторые значимые результаты или некоторые значимые модели, которые можно проанализировать и использовать в реальных условиях.
Но все же, почему мы заинтересованы в машинном обучении и этих данных?
Мы знаем, что человечество просто воспроизводит историю, как будто мы такие же, как и наши предыдущие поколения, и наши потомки также столкнутся с несколькими такими же ситуациями, с которыми мы сталкиваемся сейчас или сталкивались. На этом этапе мы должны представить, как реагировать на будущее, используя исторические данные.
Итак, теперь мы знаем, что данные являются очень ценным активом.
Проблема в том, как лучше всего использовать эти доступные данные?
Это самая интересная тема (как?), Где мы собираемся разобраться в доступных данных. Есть в основном 3 подхода к машинному обучению:
- Контролируемое обучение
- Обучение без учителя
- Усиление обучения
Эти три подхода используются для создания модели машинного обучения, например (линейная регрессия, логистическая регрессия, случайный лес, деревья решений и т. Д.).
Существует множество вариантов применения моделей машинного обучения, например:
- Финансы: выявление мошенничества
- Маркетинг / Продажи: персонализировать рекомендации
- Здравоохранение: выявить тенденцию заболевания.
Вывод - Машинное обучение по науке о данных
- Наука о данных - это широкая область, в которой машинное обучение является подмножеством. В этом мы анализируем имеющиеся у нас исторические данные и пытаемся предсказать наиболее вероятные будущие результаты.
- Чтобы предсказать, нам нужно очистить данные, упорядочить данные (инженерия данных). Имея данные в руках, мы визуализируем закономерности / тренды, а затем, используя статистическое понимание, выводим полезную информацию.
- Эти данные будут переданы на машину с использованием алгоритма машинного обучения.
- Эти алгоритмы обучают машину и создают одну модель машинного обучения.
- Эта модель затем может быть использована для прогнозирования.
Рекомендуемые статьи
Это руководство по машинному обучению в науке о данных. Здесь мы обсуждаем важность науки о данных наряду с машинным обучением. Вы также можете посмотреть следующие статьи, чтобы узнать больше -
- Лучшие программы по науке о данных
- Навыки Data Science
- Языки науки о данных
- Методы машинного обучения
- Что такое интеграция данных?
- Как гистограмма используется в Matlab (примеры)
- Дерево решений в машинном обучении
- Простые способы создания дерева решений