Техника больших данных: слияние технологий и бизнес-аналитики
Слияние технологий и бизнес-аналитики -
Давным-давно люди ведут кочевой образ жизни, прежде чем постепенно перейти к сельскому хозяйству. Изобретение колесного, пожарного и парового двигателя часто считается поворотным моментом в эволюции человечества в направлении механизации и повышения жизненного комфорта.
Аналогичным образом, легендарный закон движения и гравитации Ньютона, Теория относительности Эйнштейна, которая сейчас отмечает свой 100- й год, или Закон термодинамики, произвели революцию в науке и оказали влияние на прикладную науку. Изобретение компьютера, появление персонального компьютера и графический пользовательский интерфейс (GUI) - все это вехи в развитии в цифровую эпоху. Именно нули двоичных чисел и те, что лежат в основе языков ассемблера.
Методы преобразования двоичных данных в большие
На аппаратном уровне нули и единицы приводят в действие схемы в компьютере, а на уровне бизнеса методы Big Data вносят существенные изменения в то, как компании разрабатывают маркетинговые стратегии, чтобы оставаться конкурентоспособными. Он может состоять из чего-либо из однозначных и многозначных цифр, содержащих жизненно важную информацию о рынке, функционировании машины, человеческом теле, транзакциях электронной торговли или о любой повседневной деятельности, которая может иметь или не иметь ничего делать с покупкой или продажей.
Бизнес и профессионалы в области бухгалтерского учета обычно говорят об активах и пассивах. Условно активами обозначены машины, технологии, ноу-хау, человеческие ресурсы, инфраструктура, а также финансовые активы.
Теперь происходит смена парадигмы, и вместе с этими материальными активами некоторые кусочки, состоящие из одной или нескольких цифр или данных, стали самым ценным активом по мере роста размера организаций и рынков. С точки зрения стратегии маркетинга и больших данных, данные стали самым важным активом.
Бизнес растет в размерах и масштабах. Уже не маленький красивый или жизнеспособный. Многострановые операции, крупные торговые центры и крупные предприятия электронной коммерции установили новую тенденцию во всем мире. Чтобы добиться успеха в этом большом бизнесе, данные и анализ данных стали критически важными. Компании стремятся использовать Big Data Hadoop, чтобы использовать их для получения информации о рынке и понимания требований клиентов.
Слияние технологий и анализа данных
Источник изображения: pixabay.com
Методы работы с большими данными, которые есть у организаций, будут бессмысленными, если не будет вспомогательной технологии для добычи, обработки и организации этих данных для предприятий, чтобы использовать этот жизненно важный актив. Бернард Марр, известный писатель и аналитик, сказал, что компании, независимо от их размера, будь то компания из списка Fortune 500 или небольшая мама и популярный магазин, потребуют использования Hadoop Big Data, чтобы увидеть изменения, которые они приносят бизнесу.
Методы больших данных представляют собой набор больших наборов данных, и они в огромных количествах необходимы сложным программам для анализа и создания из них значимой информации. Это могут быть покупки, частота посещений фильмов, частота посещений веб-сайтов, онлайн-покупки, заказ продуктов, частота смены мобильных телефонов и так далее.
Различные инструменты, структуры и методы используются для анализа больших наборов данных, и они стали очень популярными в отрасли. По мнению экспертов, важны не данные, а то, что компания делает с этими данными.
Среди различных технологий и платформ Hadoop оказался самым популярным, хотя и может иметь свои недостатки. Это платформа для разработки с открытым исходным кодом, написанная на C, C ++, Java и помогающая организациям анализировать огромное количество данных в режиме реального времени.
Методы больших данных в реальном времени
Сбор, хранение, перемещение и анализ - это не статическая деятельность, а динамическая деятельность с использованием среды реального времени. Данные непрерывно собираются для самолетов, автомобильных двигателей, мониторов, подключенных к пациентам в больницах, для онлайн-транзакций по кредитным или дебетовым картам. Все это требует сложных алгоритмов, программ, архитектуры больших данных и надежной обработки в памяти.
Джон Шредер, генеральный директор MapR, сказал, что у них есть приложения Big Data, которые защищают миллионы держателей карт American Express от мошеннических транзакций, и в сфере здравоохранения они работают над улучшением процедур лечения больных раком.
Глобальные ИТ-отрасли, такие как Microsoft, Oracle, SAP, IBM, все работают на облачной платформе, а также предоставляют решения для технологий больших данных.
Методы больших данных и Интернет вещей
Быстрые изменения в сети и встроенных технологиях позволили соединить множество устройств друг с другом, что позволяет отправлять данные в режиме реального времени. Появился интернет, сделанный из «вещей», а не людей и компьютеров.
Каждое устройство, которое мы носим или используем, способно уничтожать данные, что, в свою очередь, могло бы иметь широкое применение в маркетинге больших данных, дизайне, здравоохранении и других.
Сбор данных
Теперь развернуты мощные суперкомпьютеры для сбора данных из реляционных баз данных и помогают статистикам и аналитикам создавать модели. Несколько новаторов предложили инструменты для разработки моделей для прогнозирующего анализа больших данных для более эффективного принятия решений предприятиями. Они также предоставляют простой графический интерфейс пользователя (GUI) и очень удобны для пользователя.
Карьера в технике больших данных
Естественно, что революция в области методов обработки больших данных породила совершенно новое поколение экспертов, связанных с конкретными областями этой аналитики и технологии больших данных. Среди технологических навыков, востребованных востребованными, - Apache Hadoop, Apache Spark, NoSQL, машинное обучение и интеллектуальный анализ данных, статистический и количественный анализ, SQL, визуализация данных, исследователи данных, навыки языка программирования общего назначения. По мнению аналитиков, возможности должны увеличиться в следующем десятилетии благодаря быстрому развитию в этой области.
В 2015 году журнал Forbes заявил, что в 2015 году действительно существовал огромный спрос на опыт в области технологий больших данных, поскольку IBM объявила о 2307 вакансиях за последние двенадцать месяцев в июне. Объявленная зарплата для технических специалистов с обучением Big data составляет 104 850 долларов. Наиболее востребованными навыками были опыт VMWare, разработка приложений, технологии с открытым исходным кодом, хранение данных и навыки программирования на Python.
С точки зрения промышленности, первыми в использовании методов и услуг Big Data являются профессиональные, научные и технические услуги, на которые приходится 25% спроса. Среди других ведущих категорий информационные технологии составляют 17%, обрабатывающая промышленность 15%, финансы и страхование 9% и розничная торговля 8%.
Преимущества аналитики больших данных
1) Хранение, анализ и анализ данных:
Технологии больших данных позволили развернуть как хранимые данные, так и данные в режиме реального времени для различных бизнес-приложений и критически важных приложений.
2) Прогнозирование рынка и прогнозирование:
В эпоху методов до больших данных компании были вынуждены проводить значимый анализ данных в режиме реального времени или проводить прогнозный анализ в отсутствие технологий. Выборочные опросы и отзывы клиентов предложили стратегам единственное решение для инноваций с новыми предложениями на рынке.
3) Предприятия генерируют большой объем данных, а в предыдущие годы, когда для сбора и анализа их было недостаточно инструментов для работы с большими данными, предприятиям не удавалось использовать с ними важный актив.
4) В бизнес-среде для работы с большими данными в реальном времени хакерство и кража данных могут критически повлиять на работу организации, доверие ее клиентов и сделать ее уязвимой для дальнейших атак в будущем. Было доказано, что большие данные и Hadoop помогают организациям обнаруживать кражу данных. Методологии кражи данных развиваются быстрее, чем методики противоугонной или профилактической деятельности.
Является ли метод больших данных единственным требованием к успеху?
Шумиха, создаваемая большими данными, не очень понравилась некоторым критикам, которые указывают на некоторые проблемы, связанные с их развертыванием в промышленности. Некоторые аналитики задаются вопросом, существует ли положительный возврат инвестиций (RoI) и стоит ли в первую очередь времени и усилий, предпринятых для его реализации. Второй касается большого объема данных и анализа, которые могут не объяснить, «почему» такое поведение потребителей имеет место.
Анализ больших данных может быть эффективно использован в сочетании с традиционными методологиями обследования (объемные данные), которые отображают демографические модели поведения сбережений, инвестиций, покупок и расходов по регионам, что дает более широкое понимание рынка. Инструменты «больших данных» могут дать представление о том, что произошло и как, но «почему» это происходит, может быть понято только путем широкого понимания конкретных потребителей или региона на основе демографического профиля, предпочтений в образе жизни, привычек расходов среди других, согласно скептикам Big. Инструменты данных.
Основные тенденции в технологии больших данных
По словам Джона Шредера, генерального директора и соучредителя MapR, компания, которая занимается разработкой решений для больших данных, предсказала новые тенденции на 2015 год, и большинство из них оказались правдой.
Концентраторы данных для озер данных: Озера данных с масштабируемой инфраструктурой, по-видимому, предпочтительны, поскольку они экономически привлекательны при сниженной стоимости за терабайт)
Самообслуживание. Инструменты самообслуживания больших данных позволят разработчикам, ученым и аналитикам данных проводить непосредственное исследование данных.
Ловкость данных
Поскольку база данных расширяется и требуется более быстрая обработка, устаревшие системы замедляют процесс. Устаревшие базы данных и хранилища оказались слишком медленными, и поэтому организации смотрят на то, насколько гибкой является их обработка данных.
Hadoop в фазе инноваций: Hadoop остается в фазе инноваций, и Шредер считает, что возможно имеет место более тонкая модель программного обеспечения с открытым исходным кодом в сочетании с глубокими инновациями и развитием сообщества.
Проблема безопасности
Хранение и обработка больших данных теперь становятся все более уязвимыми для угроз безопасности в системе Hadoop с открытым исходным кодом. Тем не менее, функции безопасности все еще соответствуют таким угрозам, особенно по сравнению с более безопасными системами планирования ресурсов предприятия (ERP) и реляционными базами данных.
Облачные вычисления
Быстрый прогресс в облачных вычислениях позволяет даже малым и средним предприятиям использовать SaaS (программное обеспечение как услуга), Платформа как услуга (PaaS) и другие платформы, предоставляемые поставщиками, что позволяет им использовать услуги больших данных по значительно более дешевой цене. стоимость, при которой дорогостоящие лицензионные сборы и установки не требуются.
По словам Бернарда Марра, известного автора и аналитика, сложные алгоритмы развертываются в облачном пространстве через SaaS, что дает более точное представление о том, когда, как и почему продукт продается. Цитируя Чарли Крокера из AutoDesk, он отмечает, что до появления обратной связи с клиентами Big Data было непросто, но теперь, когда работают сложные алгоритмы, компании, работающие с большими данными, лучше понимают поведение потребителей и создают для них продукты.
Будущее инструментов больших данных ярко
International Data Corp прогнозирует, что рынок больших данных будет расти с совокупным ежегодным темпом роста на 23% к 2019 году, а ежегодные расходы достигнут 48, 6 млрд долларов в 2019 году. IDC считает, что три основных субрынка: инфраструктура, программное обеспечение и услуги будут существенно расти в течение следующих пяти лет. годы, с программным обеспечением - управление информацией, обнаружение и аналитика, и прикладное программное обеспечение - ведущий заряд с CAGR 26%.
По прогнозам IDC, услуги, включая профессиональные и вспомогательные услуги для инфраструктуры и программного обеспечения, вырастут в среднем на 22, 7 процента. По прогнозам, инфраструктура, состоящая из компьютеров, сетей, инфраструктуры хранения данных и других инфраструктур, подобных инфраструктуре безопасности, будет расти в среднем на 21, 7 процента и составит примерно половину всех расходов к 2019 году.
«Возможность использовать большие данные и аналитику для разработки интегрированного представления о деятельности клиентов и бизнес-операциях обеспечит конкурентную дифференциацию для компаний разных отраслей», - заявила недавно Джессика, Гепферт, программный директор Глобальной организации исследований технологий и промышленности IDC. «Однако, в дополнение к огромным возможностям, большие данные представляют некоторые существенные риски и
Цифровое преобразование (DX) будет управлять «всем, что имеет значение в ИТ» в течение следующих нескольких лет. Преуспеть в том, что IDC называет экономикой DX, означает использование таких технологий, как мобильные технологии, облачные технологии, инструменты для анализа больших данных, IoT, AI и робототехника, чтобы «создать конкурентное преимущество с помощью новых предложений, новых бизнес-моделей и новых отношений с клиентами, поставщиками и дистрибьюторами», ”, По словам Фрэнка Генса, главного аналитика IDC.
Ключевые выводы из прогнозов IDC
- К 2020 году почти 50% ИТ-бюджетов будут связаны с инициативами DX (цифровое преобразование).
- К 2018 году руководители Line of Business (LOB) будут контролировать более 45% всех расходов на ИТ в мире, более 60% в США.
- К 2017 году более 50% расходов на ИТ будет приходиться на новые технологии (мобильные, облачные, инструменты для работы с большими данными и т. Д.).
- Некоторые эксперты считают, что даже при быстро развивающихся технологиях и платформах сомнительно, что все имеющиеся данные будут проанализированы или не потребуются. Важно то, определены ли соответствующие данные и проанализированы ли они в интересах заинтересованных сторон.
Рекомендуемые статьи
Вот несколько статей, которые помогут вам получить более подробную информацию о методах больших данных, поэтому просто перейдите по ссылке.
- 8 самых полезных руководств по вопросам интервью Big Data
- Почему инновации - самый важный аспект больших данных?
- 5 главных трендов больших данных, которые компании должны будут освоить
- Что такое NOSQL Skills помогает в построении карьеры больших данных
- Руководство по введению в интеллектуальный анализ данных