Кодирование, представление и организация данных

Данные в технических средствах информатики представляются и используются в процессах обработки и хранения в закодированном виде. Для этого исходные данные подвергаются операции кодирования, а выходные – обратной операции декодирования.

Кодирование – это представление символов (букв) одного алфавита средствами другого алфавита. В общем виде под алфавитом понимается всякое непустое упорядоченное конечное множество символов, называемых буквами и используемых в письменности какого-либо языка, в логических высказываниях, в представлении чисел и т.д. Совокупность алфавита и правил кодирования называется кодом, количество букв алфавита – мощностью кода.

Простейшим алфавитом для кодирования любого другого (и широко используемым в вычислительной технике) является двоичный код (обычно говорят о двоичной системе счисления).

Помимо двоичной используются восьмеричная и шестнадцатеричная позиционные системы счисления.

Кодирование буквенно-цифровых данных. Современные технические средства оперируют не только с цифрами и числами, но и с символами другой природы: буквами какого-либо языка, знаками препинания, математическими символами и т.п. Кодирование подобных символов осуществляется с помощью двоичных цифр и производится по таблицам кодирования, отражающим соответствие между символами, с которыми работает человек, и двоичными машинными эквивалентами. Наиболее распространенными являются таблицы кодирования ASCII, КОИ-8 и др.

Кодирование и представление данных в ЭВМ. Широкое использование неарифметических операций и увеличение количества машинных единиц (символов, букв) данных привели к тому, что данные в современных ЭВМ могут представляться в форматах фиксированной и переменной длины. В последнем случае в командах обращения к операндам предусматриваются специальные поля для указания длин операндов.

Обычно длина операндов и полей данных кратна байту, который является наименьшей адресуемой единицей оперативной памяти ЭВМ. Обращение к памяти при этом осуществляется заданием адреса крайнего байта с указанием общего их числа (длины поля).

В ЭВМ могут использоваться различные способы представления данных: двоичные, восьмеричные и шестнадцатеричные числа с фиксированной и (или) плавающей запятой (точкой), десятичные числа, логические операнды и символьные данные (поля переменной длины).

Для арифметической обработки положительные числа представляют в прямом, а отрицательные – в прямом, обратном или дополнительном кодах. Такое кодирование позволяет свести все арифметические операции к выполнению операции сложения, наиболее простой с точки зрения схемной реализации.

Корректирующие коды. Одной из важнейших характеристик информации является ее достоверность. Для обеспечения заданного уровня достоверности данных используются корректирующие (помехоустойчивые) коды, позволяющие обнаруживать и исправлять ошибки, возникающие при сбоях или под воздействием помех.

Основная идея построения таких кодов сводится к введению дополнительных (избыточных по отношению к минимально необходимым для кодирования полезной информации) разрядов (символов).

Если все обрабатываемые или передаваемые символы можно закодировать с помощью 2ⁿ комбинаций, то есть с помощью k двоичных разрядов. Выберем для кодирования код с n > k двоичными разрядами. Тогда из 2ⁿ возможных комбинаций такого кода 2^k сделаем правильными, информационными (разрешенными), соответствующими кодируемому алфавиту, а остальные 2ⁿ – 2^k комбинаций будут запрещенными. Их появление свидетельствует о наличии ошибок при передаче, хранении или обработке данных. Искажение данных сводится к тому, что каждая из 2k разрешенных комбинаций может трансформироваться (при сбоях, помехах) в любую другую. Из этих комбинаций будет 2^k безошибочных (отсутствие трансформации), 2^k (2^{k – 1}) переходов в другие разрешенные комбинации, и 2^k (2ⁿ – 2^k) случаев перехода в неразрешенные, которые могут быть обнаружены и частично исправлены. Таким образом, доля обнаруживаемых ошибочных комбинаций составляет:

2^k (2ⁿ – 2^k) / 2^k+n = (1 – 2^k / 2ⁿ) ⋅ 100 %.

Если разбить все множество 2n комбинаций на 2k непересекающихся подмножеств, соответствующих разрешенным и формируемым, например, по минимуму числа разрядов, в которых происходят ошибки, то при получении запрещенной комбинации, принадлежащей i-му подмножеству (i = 1, 2^k), принимается решение, что это искаженная i-я разрешенная комбинация. Тем самым возможно не только обнаружение, но и исправление ошибок. При этом доля исправляемых кодом ошибок будет составлять:

(2ⁿ – 2^k) / 2^k (2ⁿ – 2^k) = (1/2^k) ⋅ 100 %.

Как правило, корректирующие коды строятся так, чтобы можно было обнаруживать и исправлять взаимно независимые (между разрядами) ошибки определенной кратности, а также пачки (пакеты) ошибок.

Кратность ошибки – это количество искаженных символов в каждой комбинации.

Простейшим и широко используемым вариантом корректирующего кода, обнаруживающего наличие единичных ошибок, является использование контрольных чисел. Например, при записи технико-экономической информации применяются поперечные и продольные контрольные суммы, а при кодировании добавляется контрольный (k + 1)-й разряд. В нем записывается число (или символ) a_k+1, значение которого определяется выражением (а₁ + а₂ + … + a_k) + a_k+1 = 0 (mod q), где q – модуль системы счисления. Подобный прием широко применяется на этапе подготовки и ввода данных в ЭВМ. В самих ЭВМ корректирующие коды используются, например, для контроля в цепях передачи данных. Это поперечный контроль на нечетность и продольный на четность.

Поперечный контроль осуществляется по нечетности суммы всех единиц разрядов строки. Например, если строка – это байт, то добавляется девятый двоичный разряд, в котором записывается 0 или 1 с таким расчетом, чтобы общее число единиц в байте было нечетным.

Продольный контроль применяется в последовательных устройствах, когда в конце каждой зоны записывается продольная контрольная строка с такими значениями разрядов, чтобы на дорожке общее число единиц, включая контрольную строку, было четным. Используются также более сложные корректирующие коды, широко описанные в литературе по кодированию.

Организация данных на внешних носителях. В современных ЭВМ данные, хранимые на внешних носителях, оформляются в виде файлов – совокупностей записей, объединенных по некоторому общему смысловому признаку или по группе признаков (заработная плата, счета, премии и т.д.) и имеющая уникальное имя.

Файлы могут иметь различную длину и занимать целиком блок информации на носителе. Допускается также сблокированная запись, когда несколько записей объединяются в одном блоке.

Различные операционные системы по-разному организуют свою файловую структуру.

 

Средства получения (сбора) и регистрации данных

Функционирование любой ИС начинается с получения данных от источников информации, причем характер этих данных определяется назначением системы. В системах обработки экономической информации требуемая первичная информация должна отражать состояние и параметры технических и технологических процессов, содержать количественные, трудовые и стоимостные показатели производственных процессов. Она и является для таких систем основным предметом сбора, основой для получения на следующих этапах сводной технико-экономической информации, определяющей хозяйственную деятельность предприятия и его подразделений.

Производственные, экономические, статистические и другие данные и показатели поступают, как правило, с рабочих мест. Применение средств сбора и регистрации информации позволяет получить в форме, пригодной для обработки на ЭВМ, заполненный первичный документ установленной формы и содержания (наряд, акт, смета, ведомость и др.), отображающий определенный вид деятельности.

Под сбором понимается получение данных (измерение, съем, восприятие) какими-либо устройствами от источников информации, а под регистрацией – занесение полученных данных на документ или машинный носитель, их представление в требуемом для человека или машины виде.

Для выполнения технологических процессов сбора и регистрации данных используется специальная группа технических средств для оперативного формирования исходных данных, определяющих количественные (количество изготовленной продукции, ее стоимость), временные (время изготовления детали, агрегата, время простоя оборудования) и качественные (состояние контролируемого оборудования, качество изготовленной продукции) характеристики производственных процессов. По выполняемым функциям и назначению устройства этой группы можно разделить на средства съема данных, средства сбора и регистрации для оперативного контроля и управления на производстве и средства сбора, регистрации и предварительной обработки информации.

Средства съема данных. Эти относительно несложные механизмы и приспособления применяются для организации и выполнения первичного учета, то есть для получения необходимых сведений о ходе производственного процесса. К ним относятся:

- датчики – вырабатывают сигналы, характеризующие производство продукции (датчики единичных сигналов, например, фиксируют выход детали со станка), время работы и простоев оборудования;

- мерная тара для единичных изделий, жидких и сыпучих веществ – позволяет не только организовать подсчет продукции, но и ее хранение и транспортировку;

- часы – групповые (для установки единого времени на предприятии, в учреждении), табельные (для регистрации времени прихода и ухода сотрудников), отметочные (для определения времени изготовления детали, выполнения операции и т.п.), сигнальные и другие – позволяют получать и фиксировать различные временные характеристики и показатели;

- контрольно-измерительные и самопишущие приборы – обеспечивают измерение и регистрацию параметров технологических процессов, определение качества продукции;

- счетчики – работают совместно с другими средствами съема данных, прежде всего с датчиками, производят счет, накопление и визуальное отображение результатов (количество изготовленной продукции, общее время работы оборудования, его простоев).

Средства организации оперативного контроля. Средства съема данных поставляют исходную информацию для приборов, установок и систем, которые формируют и регистрируют сведения, позволяющие диспетчерским и другим службам предприятий осуществлять оперативный контроль за ходом производства. На машиностроительных предприятиях приборы и установки используются для учета общего времени работы станков, регистрации количества изготовленной продукции, простоев с указанием причин, для перенесения этих данных на машинный носитель. Они применяются в цеховом контуре управления, обеспечивают передачу информации на диспетчерский пульт и громкоговорящую связь.

Более широкими возможностями обладают системы, которые формируются на основе ЭВМ, связанных с датчиками, приборами и установками, концентраторами информации. Такие комплексы могут использоваться в межцеховом контуре управления и производить подготовку документов – централизованную регистрацию цифровых данных с приборов и установок, выдавать сменные задания по каждой единице оборудования, осуществлять связь и сигнализацию для вызова служб, ответственных за работу оборудования, выполнять другие функции.

Регистраторы информации выполнены на интегральных схемах и строятся на основе функционально законченных модулей (блоков и устройств), обладающих информационной и конструктивной совместимостью, имеющих стандартное сопряжение. К таким модулям относятся блоки ввода различных видов информации, запоминающие устройства и блоки арифметической обработки, узлы управления, блоки вывода (на машинные носители и печать), устройства отображения и узлы индикации, блоки передачи данных и сопряжения с каналами связи. Набор указанных модулей позволяет создавать типовые технические средства (базовые модели) и их модификации, отличающиеся от базовых наличием или отсутствием некоторых модулей в соответствии с требованиями конкретных применений.

Регистраторы информации устанавливаются в точках формирования первичной информации (участок, склад, отдел). Подлежащая сбору и регистрации информация делится на переменную, условно-постоянную (полупостоянную) и постоянную.

Переменная информация отражает количественную сторону документа (количество изготовленной продукции, установленного оборудования и т.п.), вводится с клавиатур.

Условно-постоянная информация является неизменной для документов в течение определенноготпромежутка времени (например, дата составления документов) или характерной для группы однородных документов (например, номер участка), вводится с наборных органов (переключателей).

Постоянная информация отражает призначную сторону документа (табельный номер работника, шифр детали и операции), вводится с машинных носителей.

Регистраторы информации по принципу действия делятся на программные и непрограммные.

Применение регистраторов информации и устройств дистанционного сбора позволяет создавать развитые системы, осуществляющие сбор первичной информации с рабочих мест, ее подготовку и предварительную обработку, что существенно разгружает ЭВМ.

Средства подготовки данных

Основными носителями исходной информации в системах обработки являются первичные документы. Они пригодны для использования только человеком и не могут быть непосредственно восприняты ЭВМ. Поэтому подлежащие машинной обработке данные предварительно представляются на промежуточных машинных носителях. Этот этап информационной технологии называют подготовкой данных. Использование данных на магнитных носителях обеспечивает переход к электронной (безбумажной) технологии. Дальнейшее развитие электронная технология находит в организации подготовки и ввода информации в ЭВМ непосредственно с удаленных терминалов, объединенных в какую-либо компьютерную сеть, что позволяет исключить традиционный способ подготовки данных, сократить технологический цикл сбора и обработки, снизить стоимость обработки информации.

Любая технология подготовки данных связана с выполнением двух процедур: набор и регистрация (или ввод) исходных данных, контроль правильности фиксируемой (или вводимой) информации. Особое внимание уделяется процедуре и методам контроля.

При подготовке данных возможно появление ошибок, связанных, во-первых, с неверным набором и переносом данных с первичного документа и, во-вторых, с наличием ошибок в самих первичных документах.

Ошибки первого типа возникают по вине оператора и обычно устраняются верификацией данных, то есть путем повторного набора информации, сравнения с первичным набором, выявления и исправления ошибок. Для обнаружения и устранения ошибок второго типа (семантических) используются программные средства, выполняющие такие функции, как сравнение исходных данных с контрольными значениями, проверка на горизонтальный или вертикальный баланс, моделирование деятельности специалиста в данной предметной области (например, бухгалтера) и др.

В средствах массовой подготовки данных особое внимание должно уделяться надежности хранения и восстановления информации, прежде всего, при возникновении аварийных (для информации) ситуаций вследствие ошибок оператора, сбоев в работе оборудования и других причин. Для решения этой задачи используются средства спасения информации. Наиболее распространенный способ основан на оперативном создании и хранении на магнитном носителе резервных копий информационных массивов. Однако такой способ не всегда эффективен или даже неприемлем, например, в диалоговых системах, отличающихся динамическим характером изменения информации. В этом случае возможно компромиссное решение – создание копий раз в сутки или после каждой смены, а также принятие соответствующих мер при появлении сбоев с целью обнаружения искаженных записей в массиве, их исключения и восстановления путем ввода и верификации данных.

Применявшиеся ранее специально разработанные для сопряжения с большими ЭВМ регистраторы информации в настоящее время успешно вытесняются персональными компьютерами, устанавливаемыми на индивидуальные рабочие места. Соответственно, изменились используемые технические средства.

Сканер – устройство для считывания графической информации и преобразования ее в какой-либо из используемых форматов. При помощи специального программного обеспечения может производить распознавание печатного текста.

Эффективным средством диалогового взаимодействия пользователя и ПК является световое перо. На его конце расположен светочувствительный элемент, при совмещении которого с элементом изображения на экране определяются координаты данного элемента изображения (в момент его подсветки электронным лучом трубки).

Эти координаты используются для выполнения дисплейной команды. В некоторых дисплеях с помощью светового пера реализуется режим рисования (или стирания линий и других фрагментов изображения), при котором на экране фиксируется след движения пера, а координаты траектории запоминаются в памяти дисплея.

Для получения документальной и художественной информации разработаны цифровые фотокамеры. В них изображение проецируется на специальную матрицу и сохраняется обычно в формате JPG с различными коэффициентами сжатия.