Про Oracle Business Intelligence

Продолжение. Начало здесь.

В прошлой части я написал об основе Oracle Business Intelligence Enterprise Edition – аналитическом сервере. Но сервер это что-то, что скрыто от глаз конечных пользователей. В этой части, я расскажу о тех компонентах, которые уже ближе к конечному пользователю.

Когда мне самому приходится анализировать данные, лежащие в какой то базе, обычно мне хватает какого-нибудь инструмента вроде Oracle Discoverer, а то, что нельзя или долго делать в Discoverer я всегда могу написать на SQL. Мне повезло – я более-менее знаю SQL и могу им пользоваться. Но когда приходится внедрять систему BI для конечных пользователей возникает несколько проблем. И многие из них нетехнологические.

На любом предприятии есть масса людей, которые завяляют что им нужна бизнес-аналитика. На практике же получается что очень немногие могут пользоваться даже достаточно дружественным Discoverer или другим построителем отчетов. И чем выше такой человек в иерархии организации, тем такая ситуация встречается чаще и тем сложнее ему осваивать какие-то инструменты. Да и часто такие люди вообще \”на Вы\” с компьютерами. Что делать, навыки и способности у всех разные.
Continue Reading »

Не совсем уже новость, но тем не менее.
1 марта Oracle объявил о планах по приобритению компании Hyperion Solutions Corporation
Здесь находится пресс-релиз по этому поводу.

Дополнительную информацию по поводу слияния, в том числе ответы на вопросы можно прочитать на сайтах http://www.oracle.com/Hyperion или http://www.hyperion.com/Oracle

Hyperion долгое время был конкурентом Oracle по разным направлениям. Можно вспомнить, например, что Arbor Software, который теперь Hyperion Solutions – была создателем еще одного ветерана из списка OLAP серверов – Essbase (первый – Oracle Express). Essbase даже долгое время назывался OLAP сервером для IBM DB2

Сейчас Hyperion известен своими решениями класса Corporate Performance Management. Как утверждается, 91 компания из списка Fortune 100 использует их решения.

Список продуктов Hyperion достаточно внушителен. Его можно посмотреть тут.

Теперь перейдем собственно к Oracle OLAP.

Как я уже упомянул, в 1995 году Oracle приобрел компанию IRI – пионера в области MOLAP, производителя Express. Я сам впервые столкнулся Oracle Express в 1999 году. Если бы я не прочитал, что первая его версия появилась в 1970, никогда бы не подумал.

На самом деле, с 1970 продукт несколько раз переписывался, в том числе и на другие языки программирования. И в 1995, когда его купил Oracle, Express был лидером в своем классе.

Семейство Oracle Express состоит из нескольких продуктов:

• Oracle Express Server – собственно многомерный сервер.
• Oracle Express Objects – RAD среда, напоминающая Visual Basic, с помощью которой можно написать любой интерфейс пользователя.
• Oracle Express Analyzer – смотрелка кубов (в том случае если вы не хотите писать собственный интерфейс). Этот же Analyzer является runtime-средой для приложений, написанных на Objects.
• Express Web Publisher – компонент, который позволяет публиковать данные из Express на вебсайтах.

У Express Server есть помимо стандартных возможностей просмотра содержимого кубов, есть ряд интересных и иногда даже уникальных возможностей. Continue Reading »

Вопросы об OLAP занимают особое место. В отличие от большинства других технологий, где часто можно услышать вопрос \”Что такое Discoverer?\” или \”Что такое Spatial?\”, когда дело касается OLAP чаще всего слышен вопрос: \”Мы хотим поставить себе OLAP. Что нам нужно для этого сделать?\”

То есть OLAP – это такой термин, который у многих на слуху, но когда начинаешь задавать дополнительные вопросы, очень часто выясняется, что под OLAP-ом может пониматься что угодно. Однажды даже, после 5-минутного объяснения, я услышал \”Я не понял, а что, OLAP это разве не система управления документооборотом?\”

Хотя, справедливости ради скажу, что большинство спрашивающих все-таки знают, что OLAP – это из области аналитики.

Так что, прежде чем разбираться что такое Oracle OLAP, давайте попробуем разобраться что вообще такое OLAP?
Continue Reading »

Как оказалось, RDF и все о чем говорилось в прошлом посте имеет уже практические применения.

Во первых, RSS, оказывается, первоначально расшифровывалось не как \”Really Simple Syndication\”, а \”RDF Site Summary\”

Во-вторых, в исходных текстах многих страниц интернета, например в тех же блогах можно встретить RDF вставки. Даже в коде этой страницы.

Нашелся перевод на русский оригинальной статьи Тима Бернерса-Ли сотоварищи про семантические сети. Тут.

Теперь что касается Oracle Spatial.

Поддержка RDF появилась в Spatial только в версии базы 10g Release 2. Раньше не было.

Поэтому поводу, в документации по 10.2 появилась новая книжка \”Oracle® Spatial Resource Description Framework (RDF)\”

Там есть два примера, которые можно прогнать на своей базе и посмотреть как это все работает.

Один пример про каталог публикаций. (Статья, Автор, На какую статью ссылается) И затем можно делать запросы о ссылках.
Например. Запрос, ссылается ли статься Article2 на статью Article3:

SELECT SDO_RDF.IS_TRIPLE(
\'articles\',
\'http://www.nature.com/nature/Article2\',
\'http://purl.org/dc/terms/references\',
\'http://www.nature.com/nature/Article3\') AS is_triple FROM DUAL;

Ответ – TRUE (EXACT)

Второй пример более интересен. Он о том, как построить иерархию семьи (John – отец Matt, Sammy – отец Cathy, Cathy – сестра Jack и т.д.)

А вот как вставляется запись, о том, что John – отец Matt:

INSERT INTO family_rdf_data VALUES (2,
SDO_RDF_TRIPLE_S(\'family\',
\'http://www.example.org/family/John\',
\'http://www.example.org/family/fatherOf\',
\'http://www.example.org/family/Matt\'));

А вот как описывается отношение \”Если x – родитель y, а y – родитель z, то x – дедушка y\” В оригинале, конечно не \”дедушка\”, а GrandParent, а GrandParent это может быть и \”бабушка\”, но я не знаю какое слово в русском этому соответствует :-)

INSERT INTO mdsys.rdfr_family_rb VALUES(
\'grandparent_rule\',
\'(?x :parentOf ?y) (?y :parentOf ?z)\',
NULL,
\'(?x :grandParentOf ?z)\',
SDO_RDF_Aliases(SDO_RDF_Alias(\'\',\'http://www.example.org/family/\')));

То есть, можно создавать новые отношения между существующими отношениями, а потом делать запросы используя уже новое отношение.

Вот например запрос: \”Выбрать всех дедов и их внуков\”. При этом, изначально, в базе были определено только кто является чьим родителем.

SELECT x grandfather, y grandchild
FROM TABLE(SDO_RDF_MATCH(
\'(?x :grandParentOf ?y) (?x rdf:type :Male)\',
SDO_RDF_Models(\'family\'),
SDO_RDF_Rulebases(\'RDFS\',\'family_rb\'),
SDO_RDF_Aliases(SDO_RDF_Alias(\'\',\'http://www.example.org/family/\')),
null));

Интересно, что \”дедушка\” от \”бабушки\” тут отличается по \”типу\” Male.

Результат запроса:

GRANDFATHER                        GRANDCHILD
-----------------------------------------------------------------------
http://www.example.org/family/John http://www.example.org/family/Cindy
http://www.example.org/family/John http://www.example.org/family/Jack


Может быть, синтаксис немного непривычный, но зато это SQL, а значит эти запросы можно поместить во View или вставить в любое приложение, которое понятия не имеет про всю эту кухню с RDF.

Коллега Марк Ривкин рассказал, что прочитал о том, что Oracle Spatial может служить платформой для приложений, основанных на Resource Description Framework, который(ая) является, в свою очередь основой для построения семантических сетей и семантического веба.

Проверил – и действительно, оказывается существует даже целый сайт http://www.oracle.com/technology/tech/semantic_technologies/index.html, посвященный этой теме. Там есть документы и презентации на эту тему.

Тим Бернерс-Ли, изобретатель всемирной паутины считает, что эта технология должна изменить интернет будущего.

Идея семантических сетей и семантического веба примерно вот в чем. В настоящее время интернет представляет из себя свалку документов, которые легко могут читаться людьми, так как люди понимают смысл, семантику текстов. Но для машин этот смысл недоступен и поэтому вы чаще всего не можете, скажем, сделать выборку по всем аптекам, работающим в вашем районе после 12 ночи, где можно купить нужное вам лекарство. Хотя у этих аптек могут быть свои сайты на которых эта информация есть, но хранится она там в виде, по которому поисковая машина не может \”понять\” что вот это именно график работы, а вот это именно район.

Идея с одной стороны снабдить специальными тегами сайты, или даже страницы на сайтах, по которым поисковики смогут однозначно \”понимать\” какая именно информация там лежит и соответственно доставать ее быстро и точно.

Если пойти дальше, то на уровне метаданных можно описывать не только принадлежность факта к какому-то понятию, но можно описывать сложные отношения. Например, если у нас есть факт, \”Иван является отцом Петра\”, то можно описать это соотношение как триаду (Иван,\’является отцом\’,Петр). Имея базу данных таких соотношений можно затем вывести соотношения типа \”Петр является сыном Ивана\” или если мы знаем, что \”Вася является сыном Петра\”, то, следовательно, \”Вася является внуком Ивана\”. И т.д. Запросы могут быть сложными, выводы тоже. Но так как объем данных огромен, возникает вопрос, как с этим работать?

RDF – это модель метаданных, основанная на XML, которая как раз и позволяет описывать эти смысловые соотношения, предикаты, между объектами. А имея описания отношений и базу данных объектов, связанных отношениями можно делать (в случае Spatial) SQL запросы, которые будут возвращать результаты гораздо более осмысленных запросов.

В общем, очень интересная тема, которая пока находится все-таки, в основном, в рамках научных разработок, но тем не менее я за последний год видел несколько коммерческих систем, которые занимаются например поиском в интернете статей с описанием каких-то событий, типа \”Петров посетил Индию и встретился там с Ивановым, заместителем Сидорова и его другом Кузнецовым\”, раскладывают эти события на части, а потом возможно делать запросы типа \”Найти всех людей, знающих Сидорова, с которыми встретился Петров в Индии\”
При этом Иванов скорее всего попадет в результат запроса, а Кузнецов – не известно, для этого нужно поднять другие факты.

Семантический веб даже упоминается в контексте \”Слабого Искусственного Интеллекта\” и позволяет представить интернет как одну огромную экспертную систему.

Приятно, что если вы захотите сделать подобную систему, вы можете не изобретать свой движок хранения и обработки такого рода данных, а можете взять Oracle Spatial

Здесь лежит техническая презентация о поддержке RDF в Spatial
А здесь интересная презентация о применении RDF и Spatial в биотехнологиях.

В блоге Вадима Бондарева нашел ссылку на большую подборку брошюр о разных продуктах Oracle. Она мне когда-то попадалась, но потом я ее потерял.

Вот она: http://www.oracle.com/global/ru/pdfs/index.html

Там, кстати, есть и перевод большой статьи об Oracle BI EE, которую я упоминал раньше.

Сегодня на этот сайт зашел первый человек, который вышел на него через поисковую систему, а именно Yandex.
То есть тот, кому дал линк не я и не те, кому дал линк я.
Забавно, что запрос введенный на яндексе звучал как \”можно запускать\” :)
Что именно можно запускать в логе было отрезано, но все равно символично.

• \”Новые возможности Oracle Warehouse Builder\” Читалась на TechForum 2006
• \”Обзор продуктов Oracle Spatial\” Читалась на семинаре по Oracle Spatial
• \”Использование Oracle Spatial и Oracle MapViewer для построения аналитических приложений\” Читалась на том же семинаре
• \”Oracle Business Intelligence Enterprise Edition\” Обзорная презентация
• \”Возможности Oracle для хранилищ данных\” Обзорная презентация
• \”Обзор функциональности Oracle Data Integrator\” Обзорная презентация

Презентации Игоря Мельникова

• Обзор Oracle Datapump
• Встраиваемая СУБД Oracle Berkeley DB
• СУБД Oracle TimesTen в системах реального времени
• СУБД Oracle Database 10g R2 – новые возможности для разработчиков
• Введение в Oracle Scheduler
• Oracle Database Change Notification
• Новые возможности в Oracle Partitioning Option 11g
• Oracle Database 11g: Новые возможности в PL/SQL
• Оптимизатор PL/SQL
• Введение в Oracle и .NET
• Объектно-ориентированное программирование в Oracle PL/SQL

Очень поверхностная классификация продуктов Oracle BI

Технологии Oracle Business Intelligence можно условно разделить на те, что относятся к построению хранилищ данных и те, что относятся к визуализации и доставке информации пользователям.

К теме построения хранилищ относятся, прежде всего, сама СУБД Oracle с ее ETL функционалом и с опцией Partitioning, а также сase-среда Oracle Warehouse Builder, которая с недавних пор входит в поставку СУБД
В СУБД Oracle в виде опции также входят многомерный сервер (опция OLAP ) и инструментарий для выявления скрытых закономерностей (опция Data Mining)

К теме визуализации информации, в настоящее время, относятся целых три семейства продуктов.

• Oracle Business Intelligence Standard Edition ONE
• Oracle Business Intelligence Standard Edition
• Oracle Business Intelligence Enterprise Edition

Каждое из упомянутых семейств включает в себя целый набор продуктов, о которых я постараюсь написать в дальнейшем.

Стоит упомянуть о семействе продуктов Oracle Express, так как о нем часто спрашивают. Не путать с Oracle Database Express Edition (XE) и Oracle Application Express (бывший HTML DB)
Oracle Express Server лежит в основе уже упомянутой OLAP опции. По сути для ее разработки использовался \”движок\” Express. А также, на основе Oracle Express работает такой продукт как Oracle Financial Analyzer

Почему семейство Oracle Express?
Потому что в него входят:

• Сам Oracle Express Server – многомерный сервер
• Oracle Express Objects – RAD средство разработки приложений для Express.
• Oracle Express Analyzer – средство выполнения приложений, написанных на Express Objects
• Oracle Express Web Publisher – средство публикации приложений в интернете/интранете

Несмотря на то, что Express – замечательный продукт, в настоящее время все усилия по разработке сконцентрированы на OLAP опции и инструментами работы с ней, поэтому, если вы задумываете новый проект, использовать Oracle Express, наверное, не стоит, если только для этого нет каких-то особых требований.

Update: Вы можете прочитать другие статьи на эту тему, они перечислены на странице Ликбез.