Интеграция баз данных в интернет

 

Internet и в особенности Web - это сравнительно новая технология. Эта технология развивалась под давлением непрерывно возрастающих сетевых возможностей и связанных с этим запросов пользователей. Некоторым аналогом может служить телефония, где одновременно с расширением технических возможностей поставляются все новые и новые сервисы. Естественно, что в этих обстоятельствах многие решения приходится принимать "по месту" (ad hoc). Не случайно, что в области Web отсутствуют официально принятые стандарты, их просто не успевают разрабатывать в связи с непрерывными изменениями. Демократичность и открытость Internet требует наличия "легкой", просто осваиваемой технологии. Требование масс - простота публикации на Web. Отсюда следует ориентация на неструктурированную текстовую (с элементами мультимедиа) информацию. Отсюда следует распространенность простого, легко осваиваемого языка разметки гипертекстовых документов HTML. Отсюда следует происхождение поисковых машин, целиком основанных на контекстном поиске (при отсутствии структурированности информации ничего другого не придумаешь). Отсюда следует открытость и даже некоторая анархичность специалистов в области Web-технологии.

Элитарное сообщество баз данных в должное время не уделило должного внимания развивающейся Web-технологии. В то же время Web-технология вынужденно включила в себя средства доступа к базам данных. Теперь специалисты в области баз данных весьма озабочены.

Понятно, что основной задачей СУБД является обеспечение удобного и эффективного доступа пользователей и приложений к содержимому базы данных. Объем баз данных непрерывно возрастает, и на протяжении всей истории разработчики СУБД учились эффективно работать с очень большими базами данных. На сегодня "очень большая база данных", с которой справляются серверы, может включать порядка 10 терабайт данных. Построение и поддержка базы данных такого размера - это сложная и дорогостоящая работа даже при наличии соответствующих инструментов.

Базы данных изолированы. Даже при наличии соответствующей поддержки со стороны серверов баз данных и/или программного обеспечения промежуточного уровня (middleware) интеграция нескольких баз данных, обслуживаемых серверами от разных поставщиков представляет собой нетривиальную техническую задачу, решение которой требует существенных затрат.

Объем данных, доступ к которым возможен во Всемирной Паутине, возрастает экспоненциально. Трудно, а скорее всего, просто невозможно оценить суммарный объем Web-страниц, к которым возможен свободный доступ в Internet. Во всяком случае, очевидно, что этот объем в десятки раз превышает объем самых больших баз данных. В то же время, неструктурированность информации заставляет осуществлять навигацию в Web либо вручную, явно переходя по ссылкам, либо с помощью объективно ограниченных в своих возможностях поисковых машин. Не случайно эффективный поиск нужной информации в Internet стал, по сути дела, отдельной профессией (существуют даже компании, производящие платный поиск в Internet по заказу пользователей).

Всемирная Паутина обеспечивает условную интеграцию информации. Теоретически любой пользователь единообразным способом может обратиться к любой Web-странице, если имеет на это соответствующие полномочия. Однако, если учитывать упомянутую сложность навигации, то интеграция действительно является условной.

Итак, по информационному накоплению Web превосходит самые большие базы данных. Имеется техническая возможность единообразного доступа к распределенной информации. Но технологически с точки зрения специалистов в области баз данных все выглядит очень убого. Например, абсолютно непонятно, каким образом можно производить анализ данных, имеющих отношение к конкретной предметной области. Известно, что данных этих море. Известно, что их анализ был бы полезен. Но даже если все их удастся найти, то отсутствие структуры и тем более метаданных не позволит применить какие-либо средства автоматизации анализа данных категории OLAP. Конечно, все это беспокоит и раздражает здравомыслящих специалистов как из области Web, так и из области баз данных.

С точки зрения технологии баз данных идеальным решением было бы представление информации, накопленной в Internet, в виде одной распределенной структурированной базы данных в единой модели и с общей схемой. К сожалению, это невозможно по нескольким причинам:

накоплен слишком большой объем неструктурированной информации, структуризация которой трудоемка и далеко не всегда возможна;

содержимое Web-узлов разрабатывалось в расчете на использование гипертекстовых структур, поэтому даже если удалось бы структуризовать отдельные документы, то далеко не факт, что можно было бы описать хотя бы локальную схему узла (в смысле технологии баз данных);

даже если бы удалось перевести все Web-узлы в структурированную форму, то пришлось бы решать неподъемную задачу (Greate Challenge) интеграции несметного числа вообще говоря разнородных баз данных (напомню, что это весьма нетривиально даже при небольшом числе интегрируемых баз данных);

а самое главное то, что для подавляющего большинства пользователей Internet вся эта суета была бы совершенно непонятна; их вполне устаивает текущее положение дел (если не считать упоминавшихся неприятностей в связи с поиском нужной информации).

С другой стороны Internet-сообщество в целом в полной мере осознало недостатки неструктурированных данных. Простота публикации не уравновешивает сложность и ограниченность средств поиска.

Одним словом сложилась ситуация, когда специалисты двух областей (Web и базы данных) одновременно неудовлетворены сложившейся в Internet ситуацией, но не могут произвести какие-либо революционные изменения. Необходим компромисс между простотой и доступностью применяемой в настоящее время Web-технологии и сложностью, функциональностью и эффективностью технологии баз данных. Имеются некоторые основания надеяться на то, что такой компромисс удастся выработать на основе языка XML (eXtensible Markup Language).

Как следует из полного названия языка, XML, как и HTML, является языком разметки документов. Разметка текста в обоих производится путем расстановки в тексте специальных языковых конструкций - тегов. Но если набор допустимых тегов в языке HTML предопределен (существуют классы тегов для форматирования текста, для установки гипертекстовых ссылок, для вставки графики и т.п.) и должен быть однозначно понимаем любым Web-клиентом (браузером), то в XML допускается определение тегов. Если позволить себе неформальный стиль изложения, то раздел определения тегов напоминает раздел определения схемы базы данных, т.е. позволяет определить структуру документа.

Почему приходится выбирать такие осторожные формулировки? Главным образом потому, что семантика определяемых пользователями тегов остается скрытой от поддерживающей XML программной системы. Например, с помощью набора тегов можно структуризовать документ как набор таблиц, но этот факт станет известным Web-клиенту только после его соответствующей доработки. С этой точки зрения XML является компромиссом для сообщества Internet, где ранее считалось обязательным полное понимание любого Web-документа любым Web-браузером. В настоящее время в мировом сообществе проводится большая работа по созданию библиотек определений тегов (DTD - Document Type Declaration) для использования в конкретных прикладных областях (химии, астрономии, математике и т.д.).

Но этот подход не решает общую проблему интегрированного использования накопленной в Internet информации. Основная проблема состоит в том, что хотя в смысле традиционных структурированных баз данных информация, содержащаяся в файлах DTD, является аналогом метаданных (данных, описывающих структуру и другие свойства хранимых данных), коренное отличие XML от языков определения баз данных заключается в слишком большой свободе. В общем случае универсальная система обработки данных при наличии DTD для XML-документа не сможет точно понять даже саму структуру DTD.

В связи с этим очень важными являются проект консорциума Object Management Group (OMG, www.omg.org) XML Metadata Interchange (XMI), представляющий набор определений тегов для описания в стандартных терминах структуру метаданных, и проект группы компаний (включающей IBM, Oracle и Unisys) Common Warehouse Matadata Interchange (CWMI), содержащий подмножество определений XMI для поддержки определений метаданных хранилищей данных.

Если эти стандарты будут приняты компьютерной индустрией (а имеются все основания на это рассчитывать), то в условиях ограниченной свободы использования XML мы получим существенно большие возможности разумного применения информации. Кроме того, только после согласования стандартов на представление метаданных можно будет серьезно надеяться на появление языков запросов в распределенной среде XML-документов (именно структурных, а не контекстных запросов). Сегодня имеется несколько предложений таких языков, но в условиях полной свободы использования, по моему мнению, они не могут иметь какого-либо практического значения.

Возрастающее распространение языка XML открывает новые перспективы как для исследователей, так и для индустрии. По всей видимости, ближайшие годы будут весьма интересны.

 

Оглавление

 

Введение в базы данных. 2

Общие определения. 2

Основные операции, выполняемые СУБД: 2

Классификация БД.. 3

Типы БД.. 4

Иерархическая модель. 4

Сетевая модель. 5

Реляционная модель. 5

Основные объекты Microsoft Office Access. 6

Типы данных. 6

Объекты Access. 7

Связи между таблицами. 7

Запросы. 10

Реляционная алгебра. 11

Создание таблиц. 13

Формы. 14

Отчеты Access. 14

Архитектура баз данных. 15

Внешний уровень. 15

Концептуальный уровень. 16

Внутренний уровень. 16

Обеспечение целостности данных. 17

Технологии и модели клиент-сервер. 18

Модель файлового сервера. (FS). 19

Модель доступа к удаленным данным (RDA). 19

Модель сервера баз данных (DBS). 20

Модель сервера приложений (AS). 21

Разработка структуры БД. 21

Порядок разработки структуры БД: 23

Аномалии в таблицах. 24

Нормализация. 25

Первая нормальная форма (1НФ). 25

Вторая нормальная форма (2НФ). 25

Третья нормальная форма (3 НФ). 26

Практическая работа по нормализации: 26

Основные объекты реляционной БД.. 30

Язык QBE.. 33

Язык SQL.. 36

Описание основных операторов SQL.. 37

Типичный список команд SQL.. 38

Команды определения данных объектов. 38

Команды манипулирования данными. 38

Команды управления транзакциями. 39

Другие команды.. 40

Математические функции SQL.. 40

Функции SQL для обработки строк. 41

Специальные функции. 42

Функции обработки даты и времени. 42

Агрегатные функции. 43

Отличие SQL от QBE.. 45

Индексация. 45

Поиск в БД.. 46

Транзакция. 48

Блокировка. 54

Восстановление данных. 54

Основные функции СУБД.. 55

Непосредственное управление данными во внешней памяти. 55

Управление буферами оперативной памяти. 55

Управление транзакциями. 56

Журнализация. 57

Поддержка языков БД.. 59

Объекты серверной СУБД. 61

Представление. 61

Курсор. 64

Хранимая процедура. 65

Три́ггер. 66

Краткий обзор СУБД.. 67

Настольные СУБД.. 67

Серверные СУБД.. 68

Microsoft® SQL Server™ 2008. 69

Oracle. 69

Серверы баз данных компании IBM... 70

История развития систем обработки и БД. 71

Интеграция баз данных в интернет. 71