Построение хранилища данных - Дипломная работа

Построение хранилища данныхИсследование посвящено проектированию модели хранилища данных для анализа макроэкономических данных Российской Федерации по отраслям и регионам Российской Федерации. Анализ макроэкономических показателей не только способствует совершенствованию экономической стратегии развития страны, но и отражает реальное состояние экономики для международных компаний, которые хотели бы выйти на российский рынок. Хранилище данных обеспечивает "единую версию правды", объединяя макроэкномические данные из разных источников как на федеральном уровне, так и на уровне регионов Российской Федерации и ее отраслей, необходимые для разностороннего анализа экономической ситуации. Хранилище является точкой входа для различных интеллектуальных систем, с помощью которых прогнозируются показатели, например, используя методы Data Mining. BI-платформы также используют хранилище данных в качестве источника для визуализации данных в различных представлениях, что упрощает анализ показателей в части выявления зависимостей и трендов, сравнений показателей по отраслям и регионам.Свод знаний по бизнес-анализу, или Business Analysis Body of Knowledge (BABOK) определяет модель как любое упрощенное представление сложной действительности, полезное для понимания этой действительности и для принятия решений относительно нее. В отличие от оперативной базы данных, информация в хранилище данных организована в соответствии с аспектами деятельности предприятия, а не процессами. Данные, попав в хранилище больше не будет изменяться, что отличает хранилище от оперативной базы данных. Однако не все хранилище данных требуют использования данной области, так как возможно использовать ETL для загрузки данных в хранилище непосредственно из систем источников. В данной работе область стейджинга не используется в проектируемом хранилище данных, так как источниками данных являются Excel-файлы, информацию из которых можно загрузить напрямую в хранилище. макроэкономический российский хранилище данныйСоздание открытого источника макроэкономических позволит использовать информацию об экономических показателях для анализа экономистами и аналитиками различных организаций, не имеющих доступа к системам, использующимися органами государственной власти.Объект исследования - процесс проектирования хранилища данных для анализа макроэкономических данных по отраслям и регионам Российской Федерации. Цель данной работы - проектирование модели хранилища данных для анализа макроэкономических данных по отраслям и регионам Российской Федерации. Методы исследования - в ходе работы были использованы такие методы как теоретические (анализ, сравнение, обобщение, моделирование), эмпирические методы, обеспечивающие сбор данных (наблюдение, изучение программного обеспечения, источников данных, документации, эксперимент).Каждое хранилище данных уникально, так как оно должно удовлетворять потребностям бизнес-пользователей конкретных организаций в различных функциональных областях. Несмотря на это все организации при построении хранилищ данных опираются на три основных подхода к построению хранилища данных: 1. Подход "сверху вниз" предполагает разработку хранилища данных целиком и только потом происходит выбор среза предметной области для проектирования. Зачастую данный подход предусматривает построение области стейджинга для сбора и хранения данных из источников в неизменном виде для последующей трансформации, очистки и загрузки в хранилище данных. Основным преимуществом такого подхода является то, что он обеспечивает интегрированную архитектуру для поддержки аналитических структур данных, то есть является "отправной точкой" для всех витрин данных организации.Процесс проектирования модели хранилища данных является последовательным переходом от неформального словесного описания предметной области к формализованному описанию объектов предметной области в терминах некоторой модели. На рисунке 1 представлена схема процесса построения модели хранилища данных: Рисунок 2. Анализ предметной области, выделение объектов, необходимых включить в хранилище, и их словесное описание; До проектирования модели хранилища данных, необходимо осуществить начальный этап, то есть провести подробное словесное описание объектов предметной области разрабатываемого хранилища данных и реальных связей, которые присутствуют между описываемыми объектами. Существуют два подхода к выбору состава и структуры предметной области: Функциональный подход - он реализует принцип движения "от задач" и применяется тогда, когда заранее четко определены задачи, для решения которых проектируется хранилище данных, и функции лиц, чьи информационные потребности удовлетворяются создаваемой базой данных.В ER-модели атрибуты ассоциируются с конкретными сущностями и изображаются внутри прямоугольника, представляющего сущность. Связи позволяют по одной сущности находить другие сущности, связанные с нею.

Оглавление

Введение

Глава 1. Теоретические предпосылки исследования

1.1 Методологические предпосылки исследования

1.2 Актуальность работы и элементы практической значимости

1.3 Предмет, объект, цель и задачи исследования

Глава 2. Методы и инструментальные средства поставленных задач

2.1 Обзор подходов к построению хранилищ данных

2.2 Процесс проектирования моделей хранилищ данных

2.3 Обзор методик моделирования хранилищ данных

2.4 Описание моделей данных

2.5 Выбор подхода к построению хранилища данных и методик моделирования

2.6 Выбор программного обеспечения для моделирования данных

2.7 Анализ предметной области и источников данных

Глава 3. Практическая реализация модели хранилища данных

3.1 Проектирование модели хранилища данных

3.2 Проектирование модели витрины данных мониторинга и анализа макроэкономических показателей

3.3 Применение моделей для построения хранилища данных

Заключение

Список использованной литературы

Приложение 1. DDL-скрипт для построения хранилища данных

Приложение 2. DDL-скрипт для построения витрины данных для макроанализа

Исследование посвящено проектированию модели хранилища данных для анализа макроэкономических данных Российской Федерации по отраслям и регионам Российской Федерации.

Анализ макроэкономических показателей не только способствует совершенствованию экономической стратегии развития страны, но и отражает реальное состояние экономики для международных компаний, которые хотели бы выйти на российский рынок.

Хранилище данных обеспечивает "единую версию правды", объединяя макроэкномические данные из разных источников как на федеральном уровне, так и на уровне регионов Российской Федерации и ее отраслей, необходимые для разностороннего анализа экономической ситуации. Хранилище является точкой входа для различных интеллектуальных систем, с помощью которых прогнозируются показатели, например, используя методы Data Mining. BI-платформы также используют хранилище данных в качестве источника для визуализации данных в различных представлениях, что упрощает анализ показателей в части выявления зависимостей и трендов, сравнений показателей по отраслям и регионам.

В настоящее время существуют хранилища макроэкномических данных, но, к сожалению, данные системы являются закрытыми и используются локально органами власти. Все государственных учреждений не представляется возможным использование таких хранилищ. Проектируемое хранилище данных может стать открытым источником как для экономистов и аналитиков, так и для учебных учреждений. Международные компании также могут использовать разрабатываемое решения так как анализ макроэкономической ситуации необходим для принятия решений, например, в части инвестирования в страну.

Согласно своду знаний по бизнес-анализу, моделирование данных является неотъемлемой частью процесса сбора и анализа требований на проектах по разработке хранилищ данных[1]. Именно разработке модели хранилища данных для макроэкономического анализа экономики Российской Федерации посвящена данная работа.

В первой главе рассматриваются теоретические аспекты проектирования моделей для хранилища данных, даются методологические предпосылки исследования, определяются предмет, объект, цель и задачи исследования.

Во второй главе определяются методы и инструментальные средства для решения задач исследования. Основываясь на обзоре подходов к построению хранилищ данных и методик моделирования, осуществляется выбор архитектуры проектируемого хранилища данных и методик для построения моделей. Проводится анализ предметной области для выявления сущностей, необходимых для включения в проектируемое хранилище данных.

В третьей главе представлена практическая реализация решения задач исследования. В рамках выбранных методик проектируются концептуальная, логическая и физическая модели данных, используя CASE-средство Sybase POWERDESIGNER. В заключение третей главы происходит построение хранилища данных на основе спроектированных моделей и его заполнения некоторым набором данных для доказательства применимости разработанных моделей.