Статьи

Отбор по условию

Словарь автоматизатора




МОП -
Метелл-оксид-полупроводник (структура)

Весь словарь »»»








Практический опыт реализации информационно-аналитической системы корпорации на основе хранилища данных

Терн (URL: www.tern.ru)
Подробная информация об организации
Ощущение, что с информационными технологиями у нас не все гладко, по-прежнему не дает покоя специалистам на многих предприятиях. Не секрет, что в одной и той же организации, зачастую, имеются "кусочно-аппроксимирующие" системы автоматизации. Эти системы решают вполне определенный круг задач АСУТП, финансово-хозяйственные задачи, задачи документооборота, и т.д. При этом актуальной остается проблема использования информации, накопленной в различных базах данных (БД). Эффективное использование этой информации необходимо для более успешного управления предприятием. Но в области информационных технологий, связанных с созданием хранилищ данных (Data Warehouse, ХД) наблюдается странная ситуация. Казалось бы, бум внедрений хранилищ данных, который имеет место на западе, до нас уже дошел, а информации о практическом опыте их построения, к сожалению, не так много. Зачастую, у ИТ-специалистов компаний, реализующих успешные проекты, просто нет времени, чтобы рассказать о своих достижениях, а зря...

Отличительной особенностью такой динамично развивающейся компании, как ЗАО "Лукойл-Пермь", является эффективное применение современных информационных технологий. К решению проблемы использования накопленной в различных БД информации в ЗАО "Лукойл-Пермь" приступили достаточно давно. Так в 1997г. ИТ-специалистами ЗАО "Лукойл-Пермь" была создана общекорпоративная база данных (ОКБД). Она выполняла функции сбора и хранения информации из отдельных автоматизированных рабочих мест. В этом смысле ОКБД можно рассматривать как некоторый прототип ХД. Очередным этапом развития стало внедрение ERP-системы SAP R3.

Однако, по техническим причинам историческая информация из ОКБД отсутствует в SAP R3. К тому же, большое число пользователей, нуждающихся в аналитической информации, значительно увеличивает нагрузку на регистрирующую систему.

Решением стало создание корпоративной информационно-аналитической системы на основе ХД (КИАС). Создание КИАС во-первых, снимает нагрузку и, во-вторых, хранит информацию в более удобном для аналитической обработки виде. Более того, ХД собирает информацию не только из R3, но и из ранее созданной ОКБД.

Для создания КИАС было решено привлечь внешних исполнителей, имеющих практический опыт построения хранилищ данных. Реализация проекта была поручена компании Терн. В активе специалистов этой компании успешные проекты в области хранилищ данных, выполненные как в России, так и за рубежом. Успехи компании были отмечены почетным дипломом независимого информационного агентства "Ламинфо" как наиболее влиятельной компании в сфере построения хранилищ данных, систем доступа к информации и аналитической отчетности на российском рынке делового ПО. В качестве немаловажного преимущества можно выделить исключительно консультационную роль компании Терн при выборе инструментов разработки хранилища. В компании разработана собственная методология построения хранилищ данных, основанная на постоянно приобретаемом опыте и аналогичных руководствах компаний IBM и Informix (на тот момент эти компании еще не объединились).

В рамках проекта заказчиком были выдвинуты следующие требования к разрабатываемой корпоративной информационно-аналитической системе:

  • Обеспечение сбора и накопления данных из существующих систем автоматизации и из SAP R3 (находящейся на стадии опытно-промышленной эксплуатации).;
  • Обеспечение возможности использования информации в аналитических целях и в целях обеспечения поддержки принятия решений на разных уровнях управления компанией;
  • Предоставление простого и удобного средства анализа накопленных данных;
  • Обеспечение коллективной работы и разграничение прав доступа к информации;
  • Обеспечение достоверности и актуальности информации.
  • Вообще, проект по организации ХД можно разделить на три этапа. Первым из них является непосредственно постановка задачи и проектирование самого хранилища. Вторым разработка методов трансформации данных. Ввиду того, что структуры БД компаний изменяются под потребности бизнеса, эти процедуры и структура хранилища могут также претерпевать изменения в процессе развития. И, наконец, третьим этапом является то, ради чего и создаются подобные системы, а именно обеспечить конечного пользователя возможностью взаимодействовать с ХД, т.е. дать руководителю любого уровня возможность принятия мотивированных решений.
При реализации данного проекта исполнителем была предложена схема информационной системы, в которой можно выделить две относительно самостоятельные подсистемы:

  • Подсистема сбора и хранения корпоративных данных (Хранилище Данных);
  • Подсистема анализа и корпоративной отчетности.

Архитектура КИАС и первичные источники информации (ОКБД и SAP R/3)
 
Стоит более подробно, пожалуй, остановиться на описании программно-аппаратной архитектуры КИАС, т.к. успех при реализации проекта по созданию ХД во многом зависит от того насколько различные компоненты этого комплекса могут быть интегрированы друг с другом.

Подсистема сбора и хранения информации предназначена для организации процесса сбора данных из разнородных источников (SAP R3 и ОКБД) и помещение их в среду ХД. Исходные данные поступают в систему через специальные процедуры, выполняющие комплекс проверок и преобразований данных:

  • Проверку корректности данных по формальным признакам непротиворечивости;
  • Проверку корректности данных на соответствие критериям конкретной предметной области;
  • Приведение данных к единым форматам и принципам кодирования;
  • Исключение дублирования;
  • Агрегирование данных;
  • Временную привязку данных.
Данная подсистема была построена с использованием архитектуры "клиент-сервер" для организации взаимодействия между компонентами подсистемы сбора и хранения информации.

Серверная часть несет основную, функциональную нагрузку подсистемы сбора и хранения информации, а именно, хранение информации ХД и выполнение заданий по загрузке ХД.

В качестве аппаратной платформы использовался сервер SUN Enterprise 3500, программной - операционная система Sun Solaris, а в качестве СУБД хранилища Informix Dynamic Server 2000.

Сервер Sun Enterprise 3500, находящийся в линейке серверов компании Sun Microsystems между "Workgroup" и "High-End", обладают функциональностью и всеми характеристиками отказоустойчивости последних ("High-End") и, разве только, несколько уступает им в производительности. Сочетание масштабируемой операционной системы Sun Solaris и модульных аппаратных компонентов позволяет с легкостью наращивать производительность и расширять возможности системы. Высокопроизводительная, надежная СУБД Informix IDS 2000 обладает рядом возможностей, особенно полезных при работе в качестве сервера ХД, при выполнении сложных аналитических запросов.

Управление входными данными и процессами их преобразования к структуре хранения в ХД осуществляется на основе ведения единой метабазы. В качестве технологического средства создания процедур трансформации и загрузки данных в хранилище, а также для разработки структуры и сопровождения ХД в процессе эксплуатации и возможного развития, был выбран продукт DataStage от компании Ascential Software.

Этот продукт позволяет:

  • в наглядной графической форме вести проектирование структуры хранилища;
  • генерировать процедуры трансформации данных и загрузки их в хранилище;
  • существенно облегчает эксплуатацию и дальнейшее развитие ХД.
Кроме того, DataStage не зависит от выбранной платформы СУБД он может работать с любой базой данных. В нашем случае одновременно использовались Oracle и Informix.


Пример процедуры преобразования данных
 
Разработка процедур загрузки ХД, их администрирование, анализ качества данных первичных источников информации осуществлялись на клиентской части подсистемы сбора и хранения информации. На рабочем месте разработчика процедур заполнения ХД и администрирования их выполнения использовался пакет программ DataStage Developer, установленный на компьютер с Windows NT/2000. Пакет DataStage Developer состоит из следующих компонентов:

  • DataStage Administrator модуль по администрированию проектов, их созданию, удалению и изменению их параметров. Под проектом понимается набор описаний таблиц источников и целевых таблиц хранилища данных; набор функций извлечения данных, их трансформации и загрузки в хранилище, а также набор процедур, построенных на основе этих функций;
  • DataStage Designer модуль по созданию процедур извлечения, трансформации и закачки данных на основе имеющихся функций;
  • DataStage Director модуль для запуска процедур, контроля их выполнения, а также задания расписания выполнения процедур;
DataStage Manager средство доступа и работы с DataStage репозиторием, в котором хранятся метаданные (описание таблиц, функций и т.д.). С помощью этого модуля происходит добавление, удаление, изменение описаний таблиц, функций извлечения, трансформации и очистки данных.

В линейке продуктов DataStage есть специальное средство Quality Manager с его помощью контролируется качество входных данных.


Подсистема анализа и корпоративной отчетности предоставляет необходимую информацию заинтересованным лицам в удобном для восприятия и анализа виде.
 
Подсистема анализа и корпоративной отчетности была построена с применением программных продуктов компании Business Objects в качестве средств анализа данных и создания аналитической отчетности. Средства Business Objects работают с любыми источниками данных. Простой интуитивно понятный интерфейс предоставляет обычным пользователям (не программистам) легкий, удобный доступ к корпоративным данным. Особо следует отметить, что метаданные, сгенерированные в ходе проектирования ХД средствами DataStage, могут непосредственно быть использованы при описании метаданных в Business Objects.

В рамках одного интегрированного приложения работают как пользователи, которые самостоятельно формируют запросы в терминах их предметной области, строят отчеты с возможностями детализации и обобщения информации, так и те пользователи, которые работают с заранее подготовленными экранными или печатными формами.

Пользователь составляет запрос к источнику данных, используя подготовленный программистом каталог привычных финансово-экономических терминов, так называемый Universe. Данные из выборок отображаются в отчет в виде таблиц, графиков или отдельных ячеек. Одни и те же данные могут иметь несколько различных отображений в зависимости от требований к документу. Пользователь может определять производные (вычисляемые) значения в виде контекстно-зависимых или "жестких" переменных и использовать их наравне с основными данными в локальных операциях сортировки, фильтрации, агрегирования, ранжирования (ranking) и других основных операциях, наиболее часто используемых при составлении отчетов.

Для собственных вычислений и логической обработки данных в модуле BusinessObjects имеется набор из порядка 100 предопределенных функций. Помимо этого, можно вводить собственные функции, программируя их, допустим, на языке С. Используя предопределенные и дописываемые функции вычислений и обработки данных, можно наращивать функциональность системы, например, в направлении трендового анализа, анализа "что-если" на основе моделей финансового моделирования и др.

Ввиду того, что документ сохраняется в файле вместе с выборками данных, работа над ним может вестись в режиме off-line, т.е. при отсутствии связи с источником данных.

Средствами Business Objects была организована многопользовательская система с централизованным администрированием прав пользователей, общим репозиторием (местом хранения) каталогов бизнес терминов и документов. Эта функциональность обеспечивается продуктом Supervisor. При помощи модуля Supervisor ведется управление централизованным хранением и дистрибуцией разработанных отчетов между пользователями BusinessObjects. Администратор может определять время работы пользователя, его права по доступу к данным и функциональным возможностям системы.

Процесс организации полномасштабного хранилища данных, по-определению, является долговременным и трудоемким. Это обусловлено рядом "классических" факторов: сложностью организации и функционирования хранилища, отсутствием стандартов, принципиальной неформализуемостью процесса принятия решения, непрерывной изменяемостью самого предприятия в ответ на изменения внешней среды. Все это имело и имеет место при реализации данного проекта. Поэтому, следуя обычной практике реализации хранилища, было решено использовать так называемый "итеративный" способ его расширения, т.е. поочередно вовлекая новые информационные области.

Такой подход помимо всевозможных других "за" в нашем случае обусловлен еще и тем, что построение ХД осуществляется наряду с внедрением ERP системы SAP R3. Конечно с этим связаны и определенные трудности, например частичное перепроектирование уже построенных частей хранилища, но имеются и преимущества - реальная экономия материальных затрат при подключении части пользователей не напрямую к ERP-системе, а организуя их доступ к необходимой информации посредством хранилища.

Если говорить о временных рамках, то предпроектное обследование началось в октябре 2000-го года. На получение результатов обследования и их согласование ушел месяц работы. После чего команда из четырех человек приступила к реализации процедур извлечения трансформации и закачки данных в хранилище. По мере того как в хранилище накапливалась информация, происходила разработка каталогов бизнес-терминов и необходимых для конечных пользователей отчетов. Работа велась как на территории заказчика, так и на территории исполнителя.

В настоящее время проект по организации первой очереди КИАС на базе ХД находится в своей завершающей стадии. В рамках первой очереди проекта были реализованы следующие каталоги терминов:

  • Анализ сбыта;
  • Финансовый анализ;
  • Анализ основных средств.

Каталоги бизнес-терминов, разработанные в рамках проекта в ЗАО "Лукойл Пермь"
 
На базе этих каталогов были созданы пакеты отчетов для различных подразделений ЗАО "Лукойл Пермь", в их числе:

1. Для директората по экономике

  • Отчет о поставке нефтепродуктов потребителям за период.
2. Для директората по финансам

  • Реестр счетов по покупкам за период;
  • Сумма счетов по организациям за период;
  • Справка по сверке расчетов по договору.
3. Для бухгалтерии

  • Реестр нефтепродуктов, отгруженных с ... за ... месяц ... года в разрезе плановой или экономической себестоимости;
  • Реестр поступлений и выставленных счетов за период;
  • Реестр плательщиков за нефтепродукты, поставленные ЗАО "Лукойл Пермь" за период.
4.Для управления маркетинга

  • Сравнительный анализ отпускных цен ЗАО "Лукойл Пермь" по предприятиям, производящим отгрузку, с ценами информационных агентств КОРТЕС и РТА.;
  • Реестр счетов по организации;
  • Анализ базы клиентов.
5. Для директората по сбыту и переработке нефти и газа

  • Нефтепродукты, отгруженные за период с группировкой по датам отгрузки и ценам;
  • Список произведенных отгрузок с возможностью поиска по номеру цистерны;
  • Средневзвешенные цены по месяцам.
В данной статье были приведены лишь промежуточные итоги проекта по реализации информационно-аналитической системы предприятия.

Источник: www.tern.ru



Другие статьи раздела:


 


| Новости | Организации | Описания | Форум | Публикации | Регистрация |
Copyright © 2000 - 2001 ГОСНИИСИ. Авторские права охраняются.
Воспроизведение материалов или их частей в любом виде без письменного разрешения запрещено.
 
 
Rambler\'s Top100