Этапы построения модели корпоративного хранилища

Конечной целью информационно-аналитической системы - корпоративного хранилища данных - является сбор и хранение данных, предоставление их пользователю для анализа. База данных хранилища является основным его компонентом и заложенная в ней структура хранения данных обеспечивает успешное функционирование как системы в целом, так и отдельных ее подсистем. Структура базы данных есть часть общей модели данных корпоративного хранилища.

Модель данных корпоративного хранилища представляет собой ER-модель (Entity-relationship model — модель «сущность-связь»), описывающую на различных уровнях (концептуальном, логическом и физическом) набор взаимосвязанных сущностей, которые сгруппированы по функциональным областям и отражают потребности бизнеса в анализе и отчетности.

Модель данных разрабатывается последовательно в несколько этапов, в результате которых:

  1. определяются требования к составу данных в хранилище;
  2. разрабатывается концептуальная модель данных;
  3. создается логическая модель данных;
  4. разрабатывается физическая модель данных.

Взаимосвязь этапов построения модели с другими стадиями и работами проекта

Разработка моделей данных хранилища не является отдельной задачей и выполняется в плотном взаимодействии с другими процессами и участниками проекта.

Ниже представлена таблица, описывающая взаимосвязь этапов и участников проекта со стадиями разработки модели данных.

Этапы построения модели данных корпоративного хранилища

Определение требований и получение исходной информации

Перед началом разработки концептуальной модели бизнес-аналитиками Исполнителя производится определение бизнес-требований и получение исходной информации от будущих пользователей хранилища данных и предметных экспертов.

В рамках данного процесса:

  • исследуется информационно-аналитическая деятельность и бизнес-процессы, осуществляемые в выбранных функциональных направлениях бизнеса Заказчика;
  • определяются потоки информации, являющиеся источниками или результатами выполнения этих бизнес-процессов, системы-источники данных;
  • осуществляется сбор и систематизация бизнес-требований к информационному наполнению корпоративного хранилища данных, определяются требования к составу и наполнению сущностей хранилища;
  • подготавливается единый глоссарий бизнес-терминов;
  • производится согласование с пользователями и предметными экспертами Заказчика рабочих материалов - результатов обследования и сбора требований.

Построение концептуальной модели данных

Концептуальная модель хранилища данных представляет собой описания главных (основных) сущностей хранилища и взаимосвязей между ними.

Концептуальная модель создается специалистом по модели данных (Data Modeler) на основе предъявленных бизнес-требований с учетом наличия информации в системах-источниках и служит базой для построения логической модели.

Процесс формирования концептуальной модели включает в себя следующие работы:

  • проведение анализа полученных бизнес-требований;
  • классификация данных и определение функциональных областей (Subject Area);
  • формирование набора сущностей (Entitys) концептуальной модели, отнесение каждой сущности к конкретной функциональной области;
  • верификация модели по результатам анализа источников;
  • верификация модели по бизнес требованиям;
  • формирование рабочего документа с описанием концептуальной модели;
  • согласование концептуальной модели с функциональными специалистами Заказчика.

Построение логической модели данных

После согласования концептуальной модели с функциональными специалистами Заказчика специалист по модели данных приступает к разработке логической модели. Логическая модель расширяет концептуальную путем определения для сущностей их атрибутов, описания и ограничений. Более точно определяются состав сущностей и взаимосвязи между ними.

Процесс формирования логической модели включает в себя следующие работы:

  • определение атрибутов (Attributes);
  • уточнение состава сущностей области хранения детальных данных (System of Records);
  • сопоставление данных систем-источников атрибутам сущностей логической модели данных;
  • определение иерархий (Hierarchy);
  • определение состава и типов медленно меняющихся измерений (SCD);
  • определение основных бизнес-запросов (Business Queries) - групп запросов пользователей к определенному набору данных;
  • проведение GAP-анализа:
    • анализ логической модели (с учетом имеющихся данных в системах-источниках) на предмет выявления требований, которые не могут быть удовлетворены;
    • принятие решений по требованиям, которые не могут быть удовлетворены;
  • определение состава и структуры агрегатов (Summary Area), витрин данных (Data Marts);
  • определение состава значений (Domains) для измерений и иерархий;
  • формирование рабочего документа с описанием логической модели;
  • проведение внешнего аудита модели - сопоставление логической модели и требований на уровне показателей;
  • согласование логической модели с функциональными специалистами Заказчика.

Построение физической модели данных

Заключительным шагом создания модели данных является разработка объектов на уровне конкретной базы данных. Физическая модель данных создается специалистом по модели данных совместно с администратором (экспертом) базы данных.

Процесс формирования физической модели заключается в:

  • определении правил наименования объектов базы данных;
  • разработке объектов хранения (таблиц, материализованных представлений, кубов и т.п.);
  • определении состава полей (Columns) и их типов данных (Data Types);
  • формирование первичных (Primary Keys) и внешних ключей (Foreign Keys);
  • уточнении состава значений (Domains) для измерений и иерархий;
  • проектирование состава и структуры разделов (Partitions), индексов (Indexes), последовательностей (Sequences) и т.д.
  • формирование рабочего документа с описанием физической модели;
  • согласование физической модели с техническими специалистами Заказчика.