Современные тенденции в обработке данных

 

На организацию СУБД существенное влияние оказывают возможности нового вычислительного оборудования.

Появление мультипроцессорных вычислительных систем с конвей­ер-ной архитектурой, разработка ассоциативных процессоров, резкое сниже­ние стоимости запоминающих устройств снимают проблему про­изводительности систем БД и приводят к необходимости пересмот­ра традиционных представлений об организации СУБД, в первую очередь архитектуры и среды хранения БД.

Это связано с появлением машин баз данных - специализированных аппаратно - программных комплексов, которые позволяют преодолеть ограничения производительности СУБД, вызванные сложностью их архитектуры и выполняемыми функциями управления данными. Использование машин баз дан

ных в качестве нового периферийного оборудования (как среды хранения БД) повышает уровень надежности систем БД,разгружает универсальные ЭВМ,

обеспечивает более эффективное функционирование при­кладных систем.

Активизировались исследования в области разработки систем программирования баз данных и знаний, программисту предоставляются развитые

комфортные языковые средства для разработки ПП на основе технологии БД.

Интеллектуализация систем баз данных - созданы модели данных с повышенным уровнем семантики и экспертные системы с большими базами знаний.

Разработка дедуктивных баз данных - систем БД, использующих инструментарий логического программирования и обладающих механизмами вывода. В результате в Центре микроэлектроники компьютерной технологии в штате Техас, США, появился новый язык логического программирования LDL.

Cтандартизация технологии БД - созданы международные стандарты языков БДсетевого (NDL) и реляционного (SQL) типа.

Объектно-ориентированный подход в про­граммировании БД, который привел к созданию объектно-ориентированных моделей данных, а также основанных на них СУБД.

Использование буферной памяти - физически данные БД хранятся во

внешней памяти – постоянном запоминающем устройстве (ПЗУ). Эта память (винчестеры) выполнена на магнитных носителях и работает медленно. Для повышения быстродействия выполнения запросов используется буферная память оперативного запоминающего устройства (ОЗУ), выполненная на полупроводниковых элементах.

 

ЛЕКЦИЯ 2

ТЕМА: ОСНОВНЫЕ ТИПЫ, КЛАССЫ И ФУНКЦИИ СУБД.

ПЛАН

1Типы данных

2 Классы СУБД

3 Банк данных

4 Функции СУБД

Типы баз данных

 

По назначению все существующие БД можно разделить на несколько основных типов – библиографические, реферативные, документальные (или полнотекстовые), фактографические, картографические, гипертекстовые, мультимедийные, XML-серверы, объектно-ориентированные, распределённые, коммерческие и др.

1. Библиографические БД - это документальные базы данных, записи в которых содержат только библиографические описания документов.

Примеры:

· база данных MATH - поисковая БД математических статей в периодических изданиях и сборниках, ведется Европейским математическим обществом и Гейдельбергской Академией наук, содержит более 1 млн. 800 тыс. записей. Кроме головного сервера, расположенного в Германии, действуют "зеркальные" серверы, в т.ч. в России. Рабочие языки - английский, немецкий, французский, итальянский и испанский.

· база данных ISFDB - БД книг и публикаций фантастики, фэнтези и мистики. Содержит библиографические записи, а также фактографическую базу по премиям в этой литературной области. Возможен расширенный поиск по автору, названию, году издания, серии и ключевым словам. Рабочий язык - английский.

К библиографическим БД относятся также различные библиотечные каталоги.

2. Реферативные БД - это документальные базы данных, записи в которых содержат библиографические данные и рефераты или аннотации.

Пример: база данных Пантелеймон", куда входят рефераты и описания публикаций медико-биологического, химико-фармацевтического и химического характера из периодических научных и научно-практических печатных изданий Украины и России, начиная с 1998 г. На сегодня в базе около 40 тыс. статей из 131 источника. Поиск ведется по имени автора, названию статьи, журнала, ключевым словам. Доступ и регистрация бесплатны. Рабочие языки - русский, украинский и английский.

3. Полнотекстовые БД - это документальные базы данных, которые содержат полные тексты документов или их наиболее информативных частей.

Пример: база данных American Memory, БД оцифрованных документов по американской истории и культуре из фондов Библиотеки Конгресса США, являющаяся частью Национального института музеев и библиотек. В БД входят более 7 млн. документов из 100 коллекций, которые представлены либо в формате PDF, либо в обычном HTML. Хронология - от открытия Америки до наших дней. Развернутая поисковая система (как в полной базе, так и в отдельных коллекциях). Язык - английский

Разновидностью полнотекстовых баз являются гипертекстовые БД, которые содержат текст с гиперссылками и мультимедийные БД, включающие в себя, кроме текста с гиперссылками, и графику, а также аудио- и видеофайлы.

Пример: база данных "Кругосвет", иллюстрированная энциклопедия, переводное издание американской Collier's Encyclopedia 1998 г. Материал расположен по категориям в алфавитном порядке, возможен расширенный поиск. Категории: история, гуманитарные науки (лингвистика, психология и педагогика, экономика и право, философия), культура и образование, технологии и промышленность, медицина, наука и технология, науки о Земле, страны мира. Ресурс находится на портале "Россия-он-лайн". Язык - русский.

4. Фактографические БД - базы данных, записи в которых содержат данные о состоянии внешнего мира, без ссылок на другие документы.

Примеры:

· база данных “Ежегодная книга фактов ЦРУ", содержит постоянно обновляемые обзоры по всем странам мира и крупным международным организациям. Подробно описываются географическое положение, политическое устройство стран мира, приводятся последние статистические данные об их экономическом, военном, социальном и культурном развитии. Язык - английский.

· база данных “БД технологий (область применения, технические характеристики и др.)” содержит около 200 современных технологий и ноу-хау из самых разных сфер деятельности (от космонавтики и ядерной физики до кулинарии и туризма). По каждой технологии бесплатно предоставляется дополнительная информация, для получения каковой нужно послать аргументированный запрос. БД представляет интерес для разработчиков-изобретателей и потенциальных инвесторов. Имеется поисковая система и предметный каталог. Язык - русский.

5. Картографические БД - это базы, содержащие разнообразные карты, атласы и т.п.

Пример: база данных Map Machine, БД карт Национального географического общества США (карты природных ресурсов, рельефа, почвы, экологии, геосейсмической активности, температур и осадков, политические и другие). Можно бесплатно скачать точные карты различных участков земной поверхности. Язык - английский.

Классы СУБД

 

Все СУБД делятся на два класса

§ системы общего назначения и

§ специализированные системы.

СУБДобщего назначения не ориентированы на какую-либо конкретную предметную область, обладает средствами настройки на рабо­ту с любой БД, реализуется как программный продукт, функционирующий в каком-либо приложении (Access, Delphi,…).

СУБДобщего назначения существенно сокращают сроки разработки, экономят трудовые ресурсы, но невсегда позволяют добиться нужных характеристик производительности, занимаемого объема памяти и др.

Специализированные СУБД имеют узкую направленность, конкретную

ПрО, которая не может быть реализована СУБД общего назначения. Их соз­дание очень сложный, трудоёмкий процесс и в пособии не рассматривается.

Банк данных

Банк данных (БнД) - это информационная система, созданная средствами технологии баз данных (рис. 1.1).

В состав БнД входят:

§ одна или несколько БД;

§ СУБД;

§ словарь данных;

§ администратор базы данных;

§ вычислительная система;

§ обслуживающий персонал.

 

 

Рис. 1.1 Структурная схема банка данных

Словарь данных (СД) - служит для централизованного накопления и описания ресурса данных, позволяет уменьшить избыточность данных. Словарь содержит описание ПрО, сведения о структуре БД, о связях между элементами БД,

может содержать сведения о кодах данных, о разграничениях доступа к данным.

Администратор БД (АБД) – лицо илигруппа лиц, которые принимают реше­ния. Основные функции АБД:

§ участие в разработке БД;

§ контроль правильности функционированием БД.

Вычислительная система (ВС) - включает программные (ПС)и технические (ап­паратные) средства (ТС).

Преимущества БнД по сравнению с файловой системой:

۰ централизованное хранение данных;

۰ увеличение гибкости при обслуживании запросов пользователя;

۰ контроль целостности и непротиворечивости данных;

۰ наличие интегрированной базы, уменьшенная избыточность
данных;

۰ независимость прикладных программ от данных.

Недостатки:

۰ повышенные требования к техническому и программному обес­
печению;

۰ требуемая высокая квалификация работников;

۰ расход значительной части ресурсов непосредственно на нужды
СУБД, а не на прикладную задачу;

۰ трудности исправления последствий сбоев.

Функции СУБД

 

В СУБД можно выделить систему разработчика и систему времени выполнения.

Система разработчика содержит в себя компоненты СУБД, ко­торые используются на этапе создания приложения БД:

۰ средства описания схем и подсхем БД,

۰ генераторы форм и кода,

۰ средства визуальной разработки приложения.

Система времени выполнения - часть СУБД, необходимая при работе с БД (обработка запросов к БД, поддержание целостности данных и др.)

Основные функции СУБД.

1. Непосредственное управление данными во внешней памяти. Эта функция

включает обеспечение необходимых структур внешней памяти как для хранения данных в БД,так и для служеб­ных целей (убыстрение доступа к данным с помощью индексов и др.). В развитых СУБДпользователь не должен знать, использует ли СУБД файловую систему и как органи­зованы файлы.

2. Управление буферами оперативной памяти. СУБД работают с БД зна-

чительного размера, которая расположена во внешней памяти. Если при обраще

нии к любому элементу данных будет производиться обмен с внешней памятью, то вся система (АИС) будет работать со скоростью устройства внешней памяти. Единственным способом увеличения этой скорости являет­ся буферизация данных в оперативной памяти, т.е. использование буферов ОЗУ для обмена данными.

Существует направление СУБД,которое ори­ентировано на постоянное присутствие в оперативной памяти всей БД.Для такой СУБД объём оперативной памяти компьютера должен быть достаточно велик, чтобы в нём помещаласьвся БД целиком.

3.Управление транзакциями. Транзакция - последовательность операций над БД, рассматриваемых СУБДкак единое целое. Если транзак­ция успешно выполняется, то СУБД фиксирует изменения БД, произведен­ные этой транзакцией во внешней памяти, если нет – БД остаётся в прежнем состоянии, выполняется откат

транзакции, т.е. ликвидация всех изменений, произведённых транзакцией. Тем самым поддерживается логическая целостность однопользовательской БД.

Для многопользовательских СУБД применяется сериализация транзакций и сериальный план выполнения смеси транзакций. Сериализация параллельно выполняемых транзакций – это такой порядок планирования их работы, при кото­ром суммарный эффект смеси транзакций эквивалентен эффекту их последовательного выполнения. Сериальный план выполнения смеси транзакций - это план, который приводит к сериализации транзакций. Для каждого пользователя присутствие других транзакций будет незаметно (кроме некоторого замедления работы компьютера).

Сериализация транзак­ций выполняется по нескольким базовым алгоритмам. В централизованных СУБД наиболее распространены алгоритмы, ос­нованные на синхронизационных захватах объектов БД, когда параллельно выполняется несколько транзакций с различными объектами БД. При Этом возможны конфликты между двумя или более транзакциями по доступу к объектам БД и для поддержания сериализации необходимо выполнить откатодной или нескольких транзакций. В этом случае пользователь может реаль­но ощутить присутствие в АИС транзакций других пользователей.

4. Журнализацкя. Одним из основных требований к СУБД является на­дежность хранения данных во внешней памяти. Надежность - это способность СУБД восстановить прежнее состояние БД после любого аппаратного или программного сбоя. Возможны два вида аппаратных сбоев:

۰ мягкий сбой без потери информации (внезапная оста­новка работы компьютера - аварийное выключение питания),

۰ жесткий сбой с потерей информации на носителях внешней памяти.

Примерами программных сбоев могут быть:

- аварийное завершение работы СУБД(из-за ошибки в программе или в результате некоторого аппаратного сбоя) – это вид мягкого сбоя или

- аварийное завершение программы пользователя, в результате чего неко

торая транзакция остается незавершенной. В данном случае требуется ликвидировать последствия этой транзакции.

Для восстановления БД после сбоев требуется дополнительная, особенно надёжно хранимая информация, для чего ведется журнал из­менений БД.

Журнал - это специальная часть БД, в которую по­ступают записи обо всех изменениях основной части БД. Журнал недоступная пользователям СУБД и поддерживается с особой тщательностью (часто ведутся две ко­пии журнала на разных физических дисках).

При ведении журнала используется WAL-протокол (Write Ahead Log) - упреждающая запись, т.е запись об изменении любого объекта БД должна попасть во внешнюю память журнала раньше, чем измененный объект попадет во внешнюю память БД. Если в СУБД корректно соблюдается протокол WAL, то с помощью общесистемного журнала можно восстановить БД после любого сбоя.

Кроме системного в СУБД поддерживается локальный журнал операций модификации БД, особенно для выполнения самой простой ситуации восстановления - индивидуального отката транзакции. Откат выполняется путём выполнения обратных операция, следуя от конца локального журнала. В большинстве АИС локальные журналы не ведут, а индивидуальный откат транзакции выполняют по общесистемному журналу, связывая все записи транзакции обратным списком (от конца к началу).

При мягком сбое из-за того, что содержимое буферной оперативной памяти пропадает, во внешней памяти БД могут нахо­диться объекты, изменённые не закончившимися к моменту сбоя транзакциями, и могут отсутствовать объекты, модифицированные завершившимися транзакциями. В таком случае, при соблюдении протокола WAL сначала производится откат незавершенных транзакций (undo), а потом повторно воспроизводятся (redo) те операции завершенных транзакций, результаты которых не ото­бразились во внешней памяти БД.

При жестком сбое восстановление БД выполняется с помощью журнала и архивной копии БД. Архивная копия - это полная копия БД кмоменту начала заполнения журнала. Восстановление БД состоит в том, что в неё переносится архивная копия, а затем по журналу воспроизводится работа всех транзакций, которые завершились к моменту сбоя. Процесс восстановления БД после же­сткого сбоя является достаточно длительным.

5. Поддержка языков БД. Для работы с базами данных используются специальные языки, в целом называемые языками баз данных. В ранних СУБД использовалисьдва языка - язык определения схемы БД (SDL - Schema Definition Language) и язык манипулирования данными (DML -Data Manipulation Language).

SDLслужил для определе­ния логической структуры БД,т.е. той структуры,, какой она представля­ется пользователям. DMLсодержал набор операторов манипулирования данными (запись,удаление, мо­дифицикация (изменение) или выборка данных. из БД).

В современных системах управления базой данных стандартным языком для реляционных СУБД является язык SQL(Structured Query Language - структурированный язык запросов),сочетающий средства SDL и DML, т.е. позволяющий опреде­лять схему реляционной БДи манипулировать данными. Имена объектов БД(для реляционной БД - названия таблиц и их столбцов), ограничения целостности и доступа к данным хранятся в специаль­ных таблицах-каталогах и поддерживаются на языковом уровне, т.е. при компиляции операторов модификации БДкомпилятор SQLгенерирует соответствующий программный код. При этом имена объектов преобразуются в их внутренние идентификаторы, ограничения целостности данных при компиляции операторов обеспечиваются специальными средствами SQL, а ограничение или расширение доступа к данным производится специальным набором операторов языка.

 

 

ЛЕКЦИЯ 3