Введение в проект хранилища данных

Хранилище в общем слове означает хранение чего-либо в одном месте и аналогичные случаи в отраслях для хранения сложного объема данных в одном месте. Бизнес-аналитика (BI) позволяет запрашивать данные из источников данных, и доверие можно получить только при наличии хорошего дизайна хранилища данных.

Хранилище данных объединяет несколько источников данных и обеспечит хорошую поддержку для анализа и аналитической отчетности. Если у вас плохой дизайн хранилища данных, это повлияет на рост вашей организации из-за наличия неточных данных запросов.

Возьмите пример популярности интернет-магазина Amazon, заказав товар, и он может быть доставлен прямо у нашего порога. Когда покупатель заходит на сайт электронной коммерции и ищет доступный товар в магазине. Затем мы выбрали и заказали товар, как только поставщик примет и немедленно отправил. Здесь мы можем сэкономить время на покупку необходимого товара.

Аналогично случаю с этим хранилищем данных, данные могут быть сохранены и получены из системы транзакций. Хранилище данных как две основные концепции

  • OLAP - онлайн аналитическая обработка
  • OLTP - онлайн-транзакции

Обе системы обработки онлайн, но имеют некоторые различия. OLTP управляет транзакционным приложением, таким как ATM, OLAP использует для аналитической обработки, такой как отчетность, прогнозирование и т. Д.,

Сбор требований

  • Сбор требований является одним из этапов проектирования хранилища данных. Необходимо определить критерии и успешно их реализовать. Для проектирования хранилища данных будут использоваться две стратегии: одна называется бизнес, а другая - техническая.
  • Бизнес-стратегия ориентирована на долгосрочное видение бизнеса и помогает увеличить прибыль для роста. Требования технической стратегии основаны на отчетности пользователей, анализе, выборе оборудования, методе разработки, методике тестирования, среде реализации и обучении пользователей.
  • Когда мы определили бизнес и техническую стратегию, нам также необходимо разработать план BCP (аварийное восстановление). В случае стихийного бедствия, вызванного человеком или природой, у нас должен быть план быстрого восстановления данных и предотвращения их потери. Разработка плана аварийного восстановления является одной из сложных задач и вызывает доверие у организации.

Настройка среды

  • После того, как мы собрали данные для проектирования хранилища данных, нам нужно правильно настроить среду для разработки, тестирования и производства. Предпочтительно должна быть отдельная система для приложения, базы данных и отдельная для отчетности / ETL.
  • Когда мы создаем отдельную среду для каждого, мы гарантируем, что все изменения можно разработать / протестировать, а затем перейти к производству.
  • Если у нас есть единая среда, предназначенная для всех этих видов деятельности, это может привести к проблеме и потере данных. Например, когда в системе произошел инцидент, мы не смогли найти навигацию и найти способ ее исправить, и это усложняет задачу.

Моделирование данных

  • После того, как сбор требований и среда настроены, следует разработать способ подключения источника данных, обработки и хранения в хранилище данных. Эта техника называется моделированием данных. Это может быть анализ объекта и отношений между другими.
  • При проектировании хранилища данных инженеры спроектировали, как и где должны храниться данные. В этом же случае мы должны также определить возможный способ получения данных из хранилища данных. После определения источника группа может построить логику и создать представление структурной схемы.

Типы модели данных

Есть три типа

  • концептуальный
  • логический
  • физический

Три типа модели данных упомянуты ниже:

1. Концептуальный: в нем говорится, ЧТО содержит система, и он разработан бизнес-архитекторами для определения сферы действия бизнес-стратегии.

2. Логика: это определяет, КАК логика может быть создана в СУБД, она будет разработана Business Analyst и Data Architect для создания набора правил для хранения / извлечения данных.

3. Физический: это определяет, КАК система может быть реализована.

Использование дизайна хранилища данных

Хорошая конструкция хранилища данных может занять много времени при извлечении данных. Каждый шаг должен следовать эффективно, чтобы сделать систему хорошей. Это поможет организации обрабатывать сложные типы данных и повысить производительность на основе анализа тенденций. Таким образом, каждый шаг в разработке архитектуры DWH важен и более осознан в методе выбора. Организация последовательно входит в каждый поток и приводит к успешному внедрению хранилища данных.

Есть несколько важных приложений, использующих хранилище данных

1. Банковская индустрия. Большинство банков используют хранилище данных для хранения большого объема данных транзакций и возможности гораздо быстрее получать данные запросов. Он может управляться как данные клиентов, тенденции рынка, отчеты, анализ и т. Д.,

2. Финансовая индустрия: она похожа на банковскую, но единственная цель - улучшить финансовые изменения путем анализа данных клиентов

3. Правительство: в настоящее время правительство управляет большим количеством данных онлайн и хранит их в реляционной базе данных. Каждые данные связаны друг с другом, как Aadhaar, PAN связан со многими источниками.

4. Здравоохранение: менеджеры здравоохранения и службы так много информации. Он поддерживает клинические данные, записи клиентов и помогает им прогнозировать результаты, анализировать отзывы и формировать отчеты.

5. Страхование: страховая компания в основном используется для анализа данных, тенденций клиентов и ведения записей.

6. Промышленность производства и распределения. Она наиболее широко используется во всех отраслях промышленности для хранения информации о товаре и помогает им прогнозировать спрос на товары для производства и продаж. Анализ проданного товара, который дает лучшие методы принятия решений.

7. Услуги ритейлеров: ритейлеры являются посредниками между производителем и покупателем. Хранилище данных помогает им в рекламных акциях и тенденциях покупки товаров.

8. Телефонная индустрия. Телефонная индустрия управляет большим количеством исторических данных, что помогает формировать тенденции данных о клиентах и ​​направлять рекламные кампании.

Преимущества хранилища данных

  • Предоставляет расширенную бизнес-аналитику
  • Обеспечивает качество и согласованность данных
  • Экономит время и деньги
  • Отслеживает исторически интеллектуальные данные
  • Создает высокую рентабельность инвестиций

Недостаток хранилища данных

  • Дополнительный отчет Работа
  • Негибкость и гомогенизация данных
  • Вопросы собственности
  • Требования к большому количеству ресурсов
  • Скрытые проблемы занимают время

Рекомендуемые статьи

Это руководство по проектированию хранилища данных. Здесь мы обсуждаем технику проектирования хранилища данных, сбор требований, настройку среды, использование, преимущество / недостаток. Вы также можете посмотреть следующую статью, чтобы узнать больше -

  1. Преимущества хранилища данных
  2. Реализация хранилища данных
  3. Моделирование хранилища данных
  4. Инструменты хранилища данных
  5. Топ 4 различных типов моделей данных

Категория:

Большое количество данных