Возможности обработки реляционной базы данных.

Понятие хранилища данных.

Хранилище данных (англ. Data Warehouse) — предметно-ориентированная информационная база данных, специально разработанная и предназначенная для подготовки отчётов и бизнес-анализа с целью поддержки принятия решений в организации. Строится на базе систем управлении базами данных и систем поддержки принятия решений. Данные, поступающие в хранилище данных, как правило, доступны только для чтения. Данные из OLTP-системы копируются в хранилище данных таким образом, чтобы построение отчётов и OLAP-анализ не использовал ресурсы транзакционной системы и не нарушал её стабильность. Как правило, данные загружаются в хранилище с определённой периодичностью, поэтому актуальность данных может несколько отставать от OLTP-системы.

Принципы организации хранилища

1. Проблемно-предметная ориентация. Данные объединяются в категории и хранятся в соответствии с областями, которые они описывают, а не с приложениями, которые они используют.
2. Интегрированность. Данные объединены так, чтобы они удовлетворяли всем требованиям предприятия в целом, а не единственной функции бизнеса.
3. Некорректируемость. Данные в хранилище данных не создаются: т.е. поступают из внешних источников, не корректируются и не удаляются.
4. Зависимость от времени. Данные в хранилище точны и корректны только в том случае, когда они привязаны к некоторому промежутку или моменту времени.

Дизайн хранилищ данных

Существуют два архитектурных направления – нормализованные хранилища данных и хранилища с измерениями.

В нормализованных хранилищах, данные находятся в предметно ориентированных таблицах третьей нормальной формы. Нормализованные хранилища характеризуются как простые в создании и управлении, недостатки нормализованных хранилищ – большое количество таблиц как следствие нормализации, из-за чего для получения какой-либо информации нужно делать выборку из многих таблиц одновременно, что приводит к ухудшению производительности системы.

Хранилища с измерениями используют схему «звезда» или схему «снежинка». При этом в центре «звезды» находятся данные (Таблица фактов), а измерения образуют лучи звезды. Различные таблицы фактов совместно используют таблицы измерений, что значительно облегчает операции объединения данных из нескольких предметных таблиц фактов (Пример – факты продаж и поставок товара). Таблицы данных и соответствующие измерениями образуют архитектуру «шина». Измерения часто создаются в третьей нормальной форме, в том числе, для протоколирования изменения в измерениях. Основным достоинством хранилищ с измерениями является простота и понятность для разработчиков и пользователей, также, благодаря более эффективному хранению данных и формализованным измерениям, облегчается и ускоряется доступ к данным, особенно при сложных анализах. Основным недостатком является более сложные процедуры подготовки и загрузки данных, а также управление и изменение измерений данных.

Процессы работы с данными

Источниками данных могут быть:

1. Традиционные системы регистрации операций
2. Отдельные документы
3. Наборы данных

Операции с данными:

1. Извлечение – перемещение информации от источников данных в отдельную БД, приведение их к единому формату.
2. Преобразование – подготовка информации к хранению в оптимальной форме для реализации запроса, необходимого для принятия решений.
3. Загрузка – помещение данных в хранилище, производится атомарно, путем добавления новых фактов или корректировкой существующих.
4. Анализ – OLAP, Data Mining, сводные отчёты.
5. Представление результатов анализа.

Вся эта информация используется в словаре метаданных. В словарь метаданных автоматически включаются словари источников данных. Здесь же форматы данных для их последующего согласования, периодичность пополнения данных, согласованность во времени.

Задача словаря метаданных состоит в том, чтобы освободить разработчика от необходимости стандартизировать источники данных.

Создание хранилищ данных не должно противоречить действующим системам сбора и обработки информации.

Специальные компоненты словарей должны обеспечивать своевременное извлечение из словарей и обеспечить преобразование к единому формату на основе словаря метаданных.

Логическая структура данных хранилища данных отличается от структуры данных источников данных.

Для разработки эффективного процесса преобразования необходима хорошо проработанная модель корпоративных данных и модель технологии принятия решений.

Данные для пользователя удобно представлять в многоразмерных БД, где в качестве измерения могут выступать время, цена или географический регион.

Кроме извлечения данных из БД, принятия решений важен процесс извлечения знаний, в соответствии с информационными потребностями пользователя.

С точки зрения пользователя в процессе извлечения знаний из БД должны решаться след. преобразования: данные → информация → знания → полученные решения.

 

Понятие одноранговой сети.

Однора́нговая, децентрализо́ванная или пи́ринговая (от англ. peer-to-peer, P2P — равный к равному) сеть — это оверлейная компьютерная сеть, основанная на равноправии участников. В такой сети отсутствуют выделенные серверы, а каждый узел (peer) является как клиентом, так и сервером. В отличие от архитектуры клиент-сервера, такая организация позволяет сохранять работоспособность сети при любом количестве и любом сочетании доступных узлов. Участниками сети являются пиры (равноправный участник или пользователь сети)

Понятие иерархической сети.

В иерархических локальных сетях имеется один или несколько специальных компьютеров - серверов, на которых хранится информация, совместно используемая различными пользователями. Сервер в иерархических сетях - это постоянное хранилище разделяемых ресурсов. Сам сервер может быть клиентом только сервера более высокого уровня иерархии. Поэтому иерархические сети иногда называются сетями с выделенным сервером. Серверы обычно представляют собой высокопроизводительные компьютеры, возможно, с несколькими параллельно работающими процессорами, с винчестерами большой емкости, с высокоскоростной сетевой картой (100 Мбит/с и более). Компьютеры, с которых осуществляется доступ к информации на сервере, называются станциями или клиентами. Структура ЛВС имеет несколько разновидностей. Различают такие виды структур: " "звезда" - все элементы системы подключены к единому центральному узлу; " кольцо - все элементы ЛВС связаны друг с другом последовательно, по замкнутой цепи; " шина (передача информации осуществляется по коммуникационному пути, доступному всем устройствам) Эти виды структуры ЛВС являются базовыми, имеют ряд значительных недостатков и используются в небольших фирмах или зданиях. Для крупных сетей применяется древовидная структура ЛВС. Древовидная структура ЛВС содержит несколько иерархических уровней. На самом высоком уровне находится главная транспортная магистраль ЛВС, с помощью которой взаимодействуют все элементы системы. На следующем уровне - уровне распределения - расположены коммутаторы групп, выделенных по какому-либо признаку (например ЛВС отдела, ЛВС этажа или здания). На нижнем уровне - уровне доступа - расположены устройства (коммутаторы), осуществляющие доступ серверов к ресурсам сети. Структура ЛВС обязательно соответствует архитектуре сети и должна обеспечить взаимодействие и доступность всех узлов сети. Уровень доступа Данный уровень предназначен для подключения рабочих станций и других периферийных устройств (сетевых принтеров и др.) к ЛВС. Основное требование к оборудованию уровня доступа это поддержка всевозможного функционала обеспечивающего безопасность подключения абонента. Так же коммутаторы доступа должны максимально облегчать администрирование подключений абонента, по возможности автоматизируя рутинные операции по поддержке сети.

28. Идентификация и аутентификация.

Идентификацию и аутентификацию можно считать основой программно-технических средств безопасности, поскольку остальные сервисы рассчитаны на обслуживание именованных субъектов. Идентификация и аутентификация - это первая линия обороны, "проходная" информационного пространства организации.

Идентификация позволяет субъекту (пользователю, процессу, действующему от имени определенного пользователя, или иному аппаратно-программному компоненту) назвать себя (сообщить свое имя). Посредством аутентификации вторая сторона убеждается, что субъект действительно тот, за кого он себя выдает. В качестве синонима слова " аутентификация " иногда используют словосочетание "проверка подлинности".

Аутентификация бывает односторонней (обычно клиент доказывает свою подлинность серверу) и двусторонней (взаимной). Пример односторонней аутентификации - процедура входа пользователя в систему.

В сетевой среде, когда стороны идентификации / аутентификации территориально разнесены, у рассматриваемого сервиса есть два основных аспекта:

• что служит аутентификатором (то есть используется для подтверждения подлинности субъекта);
• как организован (и защищен) обмен данными идентификации / аутентификации.

Субъект может подтвердить свою подлинность, предъявив по крайней мере одну из следующих сущностей:

• нечто, что он знает (пароль, личный идентификационный номер, криптографический ключ и т.п.);
• нечто, чем он владеет (личную карточку или иное устройство аналогичного назначения);
• нечто, что есть часть его самого (голос, отпечатки пальцев и т.п., то есть свои биометрические характеристики).

В открытой сетевой среде между сторонами идентификации / аутентификации не существует доверенного маршрута; это значит, что в общем случае данные, переданные субъектом, могут не совпадать с данными, полученными и использованными для проверки подлинности. Необходимо обеспечить защиту от пассивного и активного прослушивания сети, то есть от перехвата, изменения и/или воспроизведения данных. Передача паролей в открытом виде, очевидно, неудовлетворительна; не спасает положение и шифрование паролей, так как оно не защищает от воспроизведения. Нужны более сложные протоколы аутентификации.

И 34 вверху

Понятие тайны в зак-ве РФ

Государственная тайна — согласно определению, принятому в российском законодательстве[1], защищаемые государством сведения в области его военной, внешнеполитической, экономической, разведывательной, контрразведывательной, оперативно-розыскной и иной деятельности, распространение которых может нанести ущерб безопасности государства

аконодательство Российской Федерации о государственной тайне основывается на Конституции Российской Федерации, Законах Российской Федерации «О безопасности» и «О государственной тайне».

Перечень сведений, составляющих государственную тайну, определяется федеральным законом «О государственной тайне» (Раздел II), на основании которого межведомственная комиссия по защите государственной тайны формирует перечень сведений, отнесённых к государственной тайне.

На распространение таких сведений государством устанавливаются ограничения с момента их создания (разработки) или заблаговременно; государство с целью упорядочивания обращения таких сведений формирует необходимые нормативные акты (перечневую систему засекречивания).

Органы государственной власти, руководители которых наделены полномочиями по отнесению сведений к государственной тайне, разрабатывают в пределах своей компетенции развёрнутые перечни сведений, подлежащих засекречиванию. Руководствуясь данными перечнями, исполнители определяют степени секретности сведений, устанавливают грифы секретности разрабатываемых ими документов (носителей) и выполняют ограничительные мероприятия.

Законом «О государственной тайне» запрещается относить к государственной тайне и засекречивать сведения:

о чрезвычайных происшествиях и катастрофах, угрожающих безопасности и здоровью граждан, и их последствиях, а также о стихийных бедствиях, их официальных прогнозах и последствиях;

о состоянии экологии, здравоохранения, санитарии, демографии, образования, культуры, сельского хозяйства, а также о состоянии преступности;

о привилегиях, компенсациях и социальных гарантиях, предоставляемых государством гражданам, должностным лицам, предприятиям, учреждениям и организациям;

о фактах нарушения прав и свобод человека и гражданина;

о размерах золотого запаса и государственных валютных резервах Российской Федерации;

о состоянии здоровья высших должностных лиц Российской Федерации;

о фактах нарушения законности органами государственной власти и их должностными лицами.

Файл-сервер

В данном случае сервер, на котором лежит база данных, является исключительно хранилищем и не обладает каким-либо функционалом, позволяющим производить математические и/или логические вычисления. Поэтому в файл-серверной архитектуре формирование отчета выглядит так: вся таблица с продажами за весь период, какой бы большой он ни был, по сети копируется на компьютер, запросивший формирование отчета. Когда передача этого файла закончена, непосредственно компьютер пользователя приступает к первичной фильтрации таблицы и последующему суммированию нужной колонки.

Логично предположить, что файл-серверная технология применима исключительно при работе с небольшими объемами данных, поскольку если объем данных будет велик, то это грозит существенными задержками работы сети и непосредственно пользовательских компьютеров, которые, как известно, изначально не предполагают больших нагрузок, и имеют довольно таки невысокую производительность. В результате компьютеры пользователей будут банально виснуть, общая производительность труда упадет.

Технологию файл-сервер используют все программы 1С версии 7.7 и ранее, а так же некоторые версии 8.х

 

Клиент-сервер

При использовании клиент-серверной технологии, на самом сервере, содержащим базу данных, функционирует некоторое программное обеспечение, которое называется "Сервером баз данных" или "Сервером БД". Благодаря технологии клиент-сервер, формирование отчета выглядит более "умно": сервер БД получает запрос на формирование отчета, сам фильтрует таблицу, сам суммирует колонку и пользователю по сети отдается уже готовый результат!

Таким образом, архитектура клиент-сервер адаптирована для работы с большими объемами данных - сеть нагружается меньше, требования к пользовательским компьютерам, с точки зрения производительности, минимизируется. Однако возрастают требования к серверу, содержащему базу данных, поскольку теперь он один тянет нагрузку всех пользователей.

По технологии клиент-сервер работают программы 1С 8.х, использующие в качестве сервера БД MS SQL Server

Возможности обработки реляционной базы данных.

В 1970-1971 годах Е.Ф.Кодд опубликовал две статьи, в которых ввел реляционную модель данных и реляционные языки обработки данных - реляционную алгебру и реляционное исчисление.

• Реляционная алгебра Процедурный язык обработки реляционных таблиц.
• Реляционное исчисление Непроцедурный язык создания запросов.

Все существующие к тому времени подходы к связыванию записей из разных файлов использовали физические указатели или адреса на диске. В своей работе Кодд продемонстрировал, что такие базы данных существенно ограничивают число типов манипуляций данными. Более того, они очень чувствительны к изменениям в физическом окружении. Когда в компьютерной системе устанавливался новый накопитель или изменялись адреса хранения данных, требовалось дополнительное преобразование файлов. Если к формату записи в файле добавлялись новые поля, то физические адреса всех записей файла изменялись. То есть такие базы данных не позволяли манипулировать данными так, как это позволяла бы логическая структура. Все эти проблемы преодолела реляционная модель, основанная на логических отношениях данных.

Существует два подхода к проектированию реляционной базы данных.

• Первый подход заключается в том, что на этапе концептуального проектирования создается не концептуальная модель данных, а непосредственно реляционная схема базы данных, состоящая из определений реляционных таблиц, подвергающихся нормализации.
• Второй подход основан на механическом преобразовании функциональной модели, созданной ранее, в нормализованную реляционную модель. Этот подход чаще всего используется при проектировании больших, сложных схем баз данных, необходимых для корпоративных информационных систем.

Табл.1. Основные определения реляционных СУБД

№	Термин	Определение
	Реляционная модель данных	Организует и представляет данные в виде таблиц или реляций.
	Реляционная база данных (РБД, RDBMS).	База данных, построенная на реляционной модели.
	Реляция (таблица-элементарная информационная единица)	Двумерная таблица, содержащая строки и столбцы данных.
	Степень реляции.	Количество атрибутов реляции. При том необходимо помнить, что никакие два атрибута реляции не могут иметь одинаковых имен.
	Кортежи	Строки реляции (таблицы), соответствуют объекта, конкретному событию или явлению.
	Атрибуты	Столбцы таблицы, характеризующие признаки, параметры объекта, события, явления.
	Область атрибута	Набор всех возможных значений, которые могут принимать атрибуты. Если в процессе работы возникает ситуация, что атрибут неприменим или значения одного или нескольких атрибутовстроки пока неизвестны, то строка запишется в базуданных с пустыми значениямиэтих атрибутов (NULL строка).
	Пустое значение	Значение, приписываемое атрибуту в кортеже, если атрибут неприменим или его значение неизвестно
	Ключ	Любой набор атрибутов, однозначно определяющий каждый кортеж реляционной таблицы.
	Ключ реляции	Ключ также можно описать как минимальное множество атрибутов, однозначно определяющих (или функционально определяющих)каждое значение атрибута в кортеже.
	Составной ключ	Ключ содержащий два или более атрибута.
	Потенциальный ключ	В любой данной реляционной таблице может оказаться более одного набора атрибутов. Обычно в качестве первичного ключа выбирают потенциальный ключ, которым проще всего пользоваться при повседневной работе по вводу данных.
	Первичный ключ.	Поле или набор полей, однозначно идентифицирующий запись.
	Внешний ключ.	Набор атрибутов одной таблицы, являющийся ключом другой (или той же самой) таблицы; используется для определения логических связей между таблицами. Атрибуты внешнего ключа не обязательно должны иметь те же имена, что и атрибуты ключа, которым они соответствуют.
	Рекурсивный внешний ключ.	Внешний ключ, ссылающийся на свою собственную реляционную таблицу.
	Родительская реляция (таблица)	Таблица, поля которой входят в другую таблицу.
	Дочерняя реляция (таблица)	Таблица, поля которой используют информацию из полей другой таблицы, являющейся по отношению к данной родительской.
	Отношение один-к-одному	Когда одной записи в родительской таблицы соответствует одна запись в дочерней таблице
	Отношение один-ко-многим	Когда одной записи в родительской таблицы соответствует несколько записей в дочерней таблице
	Отношение многие-ко-многим	Когда многим записям в родительской таблицы соответствуют несколько записей в дочерней таблице
	Рекурсивное отношение.	Отношение, связывающее объектное множество с ним самим.
	View (Представления)	Информационная единица РБД (по структуре аналогичная таблице), записи которой сформированы в результате выполнения запросов к другим таблицам.
	Ссылочная целлостность	Адекватное воспроизведение записей в ссылочных полях таблиц.
	Триггер	Средство обеспечения ссылочной целостности на основе механизма каскадных изменений.
	Индекс	Механизмы быстрого доступа к хранящимся в таблицах данных путем их предварительной сортировки.
	Транзакция	Такое воздействие на СУБД, которое переводит ее из одного целостного состояния в другое.

 

 

Понятие хранилища данных.

Хранилище данных (англ. Data Warehouse) — предметно-ориентированная информационная база данных, специально разработанная и предназначенная для подготовки отчётов и бизнес-анализа с целью поддержки принятия решений в организации. Строится на базе систем управлении базами данных и систем поддержки принятия решений. Данные, поступающие в хранилище данных, как правило, доступны только для чтения. Данные из OLTP-системы копируются в хранилище данных таким образом, чтобы построение отчётов и OLAP-анализ не использовал ресурсы транзакционной системы и не нарушал её стабильность. Как правило, данные загружаются в хранилище с определённой периодичностью, поэтому актуальность данных может несколько отставать от OLTP-системы.