Виды морфологического анализа

• морф анализ со словарем основ;

• морф анализ со словарем словоформ;

• морф анализ м-дом логич умножения;

• морф анализ без словаря, с пом табл.

Наиб распр видом автоматич морф анализа явл-ся анализ со словарем основ, исп-мый для большинства европ языков. В этом виде анализа исп-ся словарь основ слов и ряд вспомогательных табл. В словарь вкл-ны основы прост и сложн слов без внутр флексии. Если слово имеет неск форм основ, то в словарь, как правило, вкл-ны все формы основ слов. Каждой основе словаря ставится в соотв-ие со­четание кода основоизменит класса и кода флективного класса, а омонимичной основе - серия сочетаний таких кодов. Так устроен сло­варь в системе, описываемой Г.Г. Белоноговым.

Морф анализ слова нач-ся с его флективного анализа. Последний производится с целью правильного выделения еro основы, замены букв состава основы ее порядковым номером по словарю и опр-я грам инф-ции слова.

Алгоритм морфологич анализа состоит из 32 блоков и учитывает все шаги морфологич анализа с пом словаря основ, возможные варианты анализа при отклонении процесса от однозначных правил, переход к следующим ступеням анализа.

Морфологический анализ со словарем словоформ также довольно распространен. Из общих соображений он применяется тогда, когда морфология дан яз достаточно бедна. Кроме того, на пер­вый взгляд предст-ся, что алгоритм анализа со словарем слово­форм проще, чем алгоритм работы со словарем основ: не надо осущ-ть членение входной словоформы на морфемы с после­довательным поиском по словарю и пр. Но на самом деле при анализе со словарем словоформ остаются след проблемы: анализ не найденных в словаре слов. Опр-е нек ин­фы для слова, не обнаруженного в словаре, явл-ся необх-м для послед анализа: напр, если мы не нашли дан слова, то по крайней мере д опр-ть его ч. р., чтобы не искл-ть возм-ти дальнейшего грам (синтаксич) анализа; отождествление разн словоформ одного и того же слова. Если каждая словоформа будет выступать как самост лексич ед-ца, то это существенно зат­руднит весь послед анализ и синтез. Словоформы одного сло­ва д б обозначены как таковые. Это означает, что сис-ма морф анализа со словарем словоформ д иметь список аффиксов, корней (основ) слов и др необх-е атри­буты для идентификации разн словоформ одной и той же лекси­ч единицы.

Эти требования фактич-и сводят на нет преимущества анализа со словарем словоформ и поэтому анализ со словарем основ применяется значительно чаще.

Особое положение занимает сп-б автоматич морф анализа м-дом логич умножения. С.Я. Фитиаловым положены начала формал морфологии (Фитиалов 1961). F-ция, определенная на словоформах и сопоставляющая каждой словоформе нек инфу, наз-ся словар­ной f-цией. Всегда имеется возм-ть задать значения сло­варной f-ции в виде табл - словаря словоформ. Однако сущ-т более экономичные сп-бы задания этой f-ции. Так, ее можно представить в виде след последоват-ти 4 операций:

1) словоформа как цепочка букв членится на морфемные сегменты;

2) словоформа как цепочка морфемных сегментов заменяется не­упорядоченным мн-вом нов эл-тов - морфем;

3) словоформе как мн-ву морфем приписывается нек инфа;

4) эта инфа преобраз-ся в требуемую окончательную ин­фу о словоформе.

Каждой морфеме м сопоставить инфу, получаемую в рез-те объединения инфы о словоформах, в кот вхо­дит дан морфема. Такого рода объединение инфы соотв-т дизъюнкции в логич интерпретации. Инфа о словоформе получается как пересечение, или логич конъюнкция, инфа о морфемах, входящих в дан словоформу. Тем самым f-ция, опр-ная на морфемах-множествах, заменяется f-ци­ей, определенной на морфемах-элементах.

Морф анализ м-дом логич умножения при­меняется к флективным языкам и предусм-т наличие словаря основ. Сущность м-да и применение его к конкр яз м видеть на примере алгоритма анализа рус словоформ, предложенного венгерским специалистом Д. Варгой (Варга 1964). Сначала производится поиск слова в словаре основ. Если слова, имеющие окончания, не находятся в словаре, тогда от каждого та­кого слова отбрасывается по одной букве справа и поиск повторя­ется. При отриц ответе отбрасывается след буква и т.д. Отброшенные буквы образ-т окончание и фиксир-ся. Каж­дая отброшенная буква считается элементарной ед-цей морф анализа. Ей приписывается булевый вектор – совокуп-ть нулей и единиц, компонентов этого вектора. Число компонентов этого вектора равно числу грам категорий, кот м б выражены окончанием, частью кот явл-ся дан буква. Поскольку предварительно был произведен по­иск по словарю основ и установлена часть речи анализируемого слова, имеется возм-сть одинаковым буквам, входящим в окон­чания разных ч. р. (напр, буква -м в окончании суще­ствительного и прилагательного) приписывать разн векторы.

Пусть, напр, треб-ся опр-ть, в каком числе и падеже стоит сущ «столом». После поиска в словаре устанав­-ся, что основа стол - сущ, буквы, входящие в состав окончания, о и м. Буква м встречается среди букв окончаний сущ в Тв. п. ед. ч. м. и ср. р., а также в Д. п. и Тв. п. мн. ч. всех 3 родов. Приписываем букве м такой булевый вектор, в кот на месте компонентов, соотв-щих падежам, в кот-х она встречается, стоят ед-цы, а на месте др компонентов -нули. Таким же образом поступаем и с др буквой окончания. Произведя логич умножение векторов букв о и м, получим в результирующем векторе ед-цу на месте разряда той грам категории, в окончании кот встречается одновременно и буква о, и буква м, а именно в разряде, соответствующем Тв. п. ед. ч.

Морф анализ без словаря, или так называемый «не­зависимый» анализ, производится без обращения к словарю, толь­ко за счет исп-я таблиц аффиксов и особого списка не имеющих грам значения слов. Такой сп-б исп-ся достаточно редко.

Современное состояние морфологического анализа характеризуется тем, что сильно уве­личились требования к качеств показателям сис-м автома­тич переработки т-та. Теперь задача создания быстродействующего алгоритма морф анализа ставит­ся след образом:

• основу сис-мы д сост-ть мощный политематич сло­варь, обеспечивающий покрытие т-тов по любой тематике не менее чем на 98-99%;

• алгоритм анализа д б словоизменительным, что позволит при одном и том же объеме распознавать примерно в 8 раз больше словоформ (для рус яз), чем кол-во лексич еди­ниц в словаре;

• «новые» слова д обрабат-ся наряду со словами, содержа­щимися в словаре. При этом объем инфы для новых слов д б таким же, как и для словарных единиц, а вероятность их правильного определения не менее 90-95 %;

• скорость обработки т-тов д б, при прочих равных усл-ях, по крайней мере на порядок выше, чем у существующих про­цедур;

• на объем исходного т-та не должно накладываться никаких огра­ничений;

• сис-ма д сохр-ть свою работоспособность в усл-х де­фицита ресурсов ЭВМ;

• сис-ма д б обучаемой, т.е. д иметь ср-ва для пополнения имеющихся словарей и настройки их на различн предметные обл-ти;

• процедурная часть сис-мы д достаточно легко приспосабливаться к меняющимся ресурсам ЭВМ с целью их наиб оптимального исп-я, а также иметь возм-ть работы с различными входными и выходными формата­ми;

• следует иметь синтаксич ср-ва контроля и корректиров­ки грам инфы к «новым словам» с учетом микроконтекста;

• д б разработаны спец инфо стр-­ры для представления данных и м-ды доступа к ним более эф­фективные, чем стр-ры и м-ды, входящие в состав операционных сис-м ЭВМ.

Массивы т.о. подобранных данных имеют по состо­янию на сегодняшний день след измерения: политематич словарь словоизменительных основ слов содержит более 100 000 лексич ед-ц и обеспечивает оч высокое покрытие науч­но-технич лексики практич-ки любой тематики. Этот словарь был создан в рез-те обработки т-тов обьемом свыше 30 млн слов. Словарь словоформ, составленный по т-там, вкл-т 46 тыс. лексич ед-ц, он составлен по т-там объемом более 3 млн слов. Два этих словаря имеют тщательно выверенные наборы грам инфы, дающие детальное предст-е о морфологич стр-ре слов и их синтаксич св-вах (Зеленков 1988).

Эл-ты морф анализа довольно сильно выражены даже в яз с грам строем, существенно отличающимися от строя европ яз-в. МП с китайского яз, напр, предусм-т процедуру анализа односложных и двуслож­ных кит. слов на ур-не, близком к ур-ню морфем (Зелко 1991).

Автоматич морф анализ вызвал к жизни спец тип словарей. Лексич ед-цы яз упорядочиваются в соотв-вии с формой и правилами порождения и образ-я слово­форм, по словоизменительным и словообразовательным классам. Од­ним из видов словарей такого типа, т.е. специально учитывающих требования морф анализа, явл-ся обратные словари, применение кот началось от спец требований лингвисти­ч дешифровки и кот в наст время широко прим-ся в МП для опр-я грам хар-к не найденных в словаре слов, при анализе словоформ флективных язы­ков. (Штиндлова 1966, Белоногов 1971, Козьмина 1988 и пр.)

Особенностью обратных словарей явл-ся предст-ие слов словника: сначала идут слова, оканчивающиеся на первую букву алфавита, затем на вторую и т.д. При совпадении послед букв учит-ся предпослед буквы, далее - третьи от конца и т.д. Т.о. слова расположены в алфавитном порядке, начиная от конца слова. При этом, естественно, объединяются слова, относя­щиеся к единому словобразовательному или словоизменительному типу, сложн слова с одинаковой последней составляющей.

Обратные словари м решать достаточно широкий круг задач. Они наглядно предст-т морфологич характ-ки дан яз. Если грам описания часто содержат утверждения о том, что слова с такими-то окончаниями обладают опр св-вом, то обратный словарь, в кот содержатся списки оди­наково оканчивающихся слов, позв-т установить все слова, ко­т обладают тем или иным св-вом, а также те, кот этим св-вом не обладают. На основе обратного словаря м б получены списки слов, относящиеся к одному словоизменительно­му типу. М также выявить все слова, имеющие одинак стро­ение концов, но разн грам характ-ки, и получить данные о соотношении между окончанием слова и его принадлеж­ностью к опр словоизменительному типу. Возникает воз­м-ть опр-ть синонимию и омонимию формантов, их сочетаемость, количеств хар-тики отд форман­тов и их сис-мы.

Морф анализ в своем удельном весе в сис-ме автоматич обработки т-тов существенно зависит от типа анализируемого яз. Ясно, что флективные яз несут больше инфы в морфологич формантах, чем яз аналити­ч типа, выр-щие синтаксич отн-я главным образом с пом порядка слов.

Попытки классифицировать яз по их отн-ю к нек единому общему алгоритму морфологич анализа оказались не плодотворными, поскольку такой алгоритм обладал бы нулевой универсальностью. Сис-ма морфологич призна­ков (декларативные знания) тесно связана с сис-мой знаний процедур­ных - самим алгоритмом.

 

 

Перевод как прикладная лингвистическая дисциплина.

Виды пер-да (синхрон-й, послед-ный, 1осторон-й, 2сторон-й, буквальный, филол-й, реферативный, с-мы прямого пер-да, ч/з яз-посредник), типология и области исп-ния с-м машин-го пер-да, действующие с-мы машин-го пер-да.

Термин перевод многозначен: с 1й стороны, он обозн-т де­ят-ть, заключ-ся в передаче содерж-я т-та (в шир понимании) на одном яз ср-ми др-го яз, а с другой — сами рез-ты этой деят-ти. Наука о пер-де включ не­ск-ко напр-ний, среди кот-х выд-тся теория пер-да, анализ пер-да, методика обучения пер-ду. Особое место занимает машинный пер-д — научная и одновременно технол-кая дисц-на, связ-я и с наукой о пер-де и с комп-й лингв-кой. Пер-д междисциплинарен, т.к. связан не т-ко с лингв-кой, но и с ли­тературовед-м, когнит-ми науками и культ-й антропологией

Междисципл-ть теории пер-да и ее практ-ких при­ложений указ-т на то, что пер-д явл-ся не чисто яз-м, а довольно сложным когнит-м феноменом. Переводя с 1го яз на др, ч-к исп-т как свои яз-е знания и спос-ти, так и самые разн экстралинг-кие знания (о физ-кой природе мира, об общ-ве и его культуре, о ситуациях, в кот-х был порожден переводимый т-т и будет восприн-ся его пер-д и т. д.), причем этапы понимания и синтеза т-та принц-но различ-ся..

Виды перевода. По хар-ру перев-кой деят-ти традиц-но выд-­ся устный и письменный пер-д. В рамках устного пер-да выдел-ся синхронный и послед-ный пер-д. При синхр пер-де звуча­щий т-т перев-ся практ-ки одновр-но с его произнесением (maxно допустимое запаздывание-10 сек). При после­д-ном пер-де перев-к прослуш-т довольно значит-й фрагмент т-та - до 15 мин - фиксирует его в той или иной форме и пер-дит на соотв-щий яз.

+ пер-д разд-ют на 1сторонний (унилатеральный) и 2сторонний (билатеральный). 1сторонний пер-д осущ-ся т-ко с яз-источника (l₁) на язык-цель (L₂), в отличие от 2стор-го, предпол-го пер-д с L₁ на L₂ и наоборот. Обычно 2сторонний пер-д явл-ся послед-ным (переговоры).

Все рассм-мые типы пер-да выдел-ся на основе формально-организац-х хар-тик коммун-и - устная vs. письм-ая ком-ция, быстрота пер-да (синхронность vs. послед-ть), направление пер-да (т-ко с L₁ на L₂ или + наоборот). Содержат-я сторона пер-да вкл-т мн-во др-х параметров, по кот-м м-т проводится класс-ция. Так, по цели выдел-ся и др типы пер-да: (а) «по­словный» пер-д, в рез-те кот-го создается подстрочник, (б) бук­вальный пер-д (в англ традиции - grammar transla­tion), (в) филологический пер-д (документальным), и (г) адаптивный (и как частный случай реферативный) пер-д.

В подстрочнике т-т – послед-ть слов, " из кот-х имеет самост-ю ценность. =>Слова в пер-де сохр-ся в той же послед-ти и в тех же формах, что и в ориг-ле. То, что на выходе получ-ся некорректные, часто совер-но непонятные выск-ния, не расм-ся как недостаток. Такой пер-д широко исп-ся как инструмент лингв-го описания и пер-да поэзии. Буквальный пер-д предл-т рассм-ть т-т не как послед-ть отд-х слов, а как послед-ть предл-й. Обеспечение связности т-та, сохр-ние его воздейс-щего эффекта не входит в задачи буквального пер-да. Этот тип пер-да исп-ся в 1ю оч-дь как инструмент овладения ино­стр-м яз-м (на опред-м этапе изуч-я яз от учащегося треб-ся умение порождать грам-ки корректные и содерж-но адекв-е предл-я - упражнений на буквальный пер-д). Цель филол-кого пер-да в том, чтобы maxно «приблизить читателя к автору». Много чуждых реалий, непривыч-х образов и даже с опред-ми нарушени­ями узуальных конвенций яз-цели рассм-ся как достоинство, т.к. утв-ся, что выс­шим критерием кач-ва пер-да явл-ся верность автор-му стилю и сохр-е худож-ных особ-тей ориг-ла (сфера применения филол-го пер-да –иск-но худ. т-ты, в особ-ти ли­т-ные памятники) (ex, передача патронимов). Адаптивный пер-д предпол-т приспособле­ние текста-рез-та к потреб-стям польз-ля. Чаще всего он связан с сокр-нием т-та ориг-ла, извлечением из него важнейшей инфо, т.е. созд-м реферата (др название этого типа пер-да — реферативный), аннотации на др яз. В последнее t этот тип пер-да получает все >ее распр-­ние, что связано с повыш-м удельного веса де­ловых, научных, техн-х и т.п. пер-дов.

Отдельные типы перевода могут выступать как в чистом виде, так и в комбинации.

Машинный перевод (МП), или автоматический перевод (АП),— интенсивно развив-ся область науч-х иссл-й, эксперим-ных разработок и уже f-щих с-тем (СМП), в кот-х к процессу пер-да с 1го ест-го яз (ЕЯ) на др-й привлекается ЭВМ.

СМП открывают быстрый и систематич-й доступ к инфо на иностр-м яз, обеспечивают оперативность и единообразие в пер-де больших потоков т-­тов, в основном научно-технических.

Работающие в промышленном масштабе СМП опираются на большие терминол-кие банки данных и, как правило, требуют привлечения ч-ка в кач-ве пред-, интер- или постредактора. Совр-ные СМП, в особ-ти те, кот-е опираются при пер-де на базы знаний в опред-ной предметной области, относят к классу систем искус-го интеллекта (ИИ).

Истор-ки МП является 1й попыткой испол-ния компьютеров для решения невычислит-х задач (знаменитый Джорджтаунский эксперимент в США в 1954 г.; работы по машинному переводу в СССР, начавшиеся в 1954 г.). Развитие электронной техники, рост объема памяти и производительности компьютеров созд-ли иллюзию быстрого решения этой задачи. Практ-я цель была простой: загрузить в память компьютера maxно возможный словарь и с его помощью из иноязычных т-тов получать т-т на родном яз в удобочитаемом виде. Но! 1начальная эйфория сменилась разочар-нием в связи с абсолютной непригодностью получ-х т-тов.

1947 - дата рождения МП, как научного напр-я. Уоррен Уивер, директор отделения ест-ных наук Рокфел-кого фонда, написал меморандум, в кот-м рассм-л задачу пер-да т-тов с 1х яз на др, как еще 1у область применения техники дешифрования. 1947 - Бут и Бриттен разраб-ли подробный "код" для пословного МП. 1952 - первая конференция по МП в в Массачусетском технологическом институте. 1954 - представлена первая система МП - IBM Mark II - русско-английская, имела словарь в 250 единиц и 6 грамматических правил. Последовавшее за этим десятилетие было временем бурного развития МП. 1967 - специально созданная в США Комиссия Национальной АН, исходя из реальной ситуации с пер-дами в США и показателей стоимости разл-х сп-бов пер-да, пришла к выводу, что машинный перевод нерентабелен. 70 -е годы - новый подъем работ в области МП. С развитием вычислительной техники появились новые возможности машинной реализации лигвистических алгоритмов. 80 -е годы - время работы персональных компьютеров значительно подешевело, машинный перевод наконец-то стал экономически выгодным. 90-е годы - отмечается очередной рост интереса к машинному переводу, что связано с появлением и бурным развитием Internet.

Сейчас 2 основных направления МП: 1) перевод смысла безотносительно формы (т-т – смысл – т-т); 2) перевод на ур-не переводных яз-х соответствий.

1ые системы МП характеризуются стратегией «прямого перевода»: с ущность этого подхода к построению МП заключ-ся в том, что исходный т-т на L₁ постепенно ч/з ряд этапов преобразует­ся в т-т на L2 - слово (словосочетание) на входном яз заменяется на его словар­ный эквивалент на выходном яз. Для работы таких с-тем оказ-ся вполне достаточно правил словарных соответствий. В редких случаях проводится анализ контекста для пере­вода неоднословных выражений, опять-таки представленных в словаре системы. Стратегия прямого перевода не дела­ет различий между пониманием (анализом) и синтезом (порождением), поск-ку они факт-ки исключены из преобр-ний по правилам словарных соотв-вий. Прямой пер-д всегда привязан к конкретной паре яз-в. По tным рамкам с-емы 1го поколения в основном созда­вались в период с конца 40-х до середины 60-х гг. Один из типичных примеров с-мы такого типа —программа GAT.

Существенная модификация стратегии «прямого перевода» обнар-ся в с-мах с «трансфером» — этапом межъязыковых операций, не сводимых только к замене лексем L1 на словарные со­ответствия L2. Наличие этапа трансфера предполагает по­строение «промежуточного» или «внутреннего» представления, которое далее «приспосабливается» к стр-ре предл-я L2. В отличие от 1й стратегии, в архитектуре с-тем МП с трансфером анализ и синтез существуют как особые процедуры и обслуживаются различными алгоритмами. В некотором смысле системы с трансфером оказываются промежуточным звеном между стратегией прямого перевода и последующей стратегией языка-посредника.

«стратегия языка-посредника»: г лавная особ-ть этой стратегии в том, что м/у стр-ми L1 и стр-ми L2 находится 1 или несколько промежуточных яз-в, на кот-е по соотв-щим правилам послед-но «переписываются». Анализ и синтез при использовании языка-посредника принципиально разделяются. Анализ ведется в категориях L1, а синтез - в категориях L2. В кач-ве яз (яз-в)- посредников м-т выступать яз-ки представления синт-кой и сем-ко-синт-кой стр-ры, чисто сем-кие яз-ки, языки глубинной сем-ки, приближ-ся к концептуальному представлению в категориях теории знаний (фреймов, сценариев, планов). Системы МП, основанные на знаниях (knowledge-based systems), возникшие в 80-х гг., рассм-ся как часть с-тем искус-го интеллекта. Достаточно условно эта стратегия соотв-т 2му поколению с-тем МП с тем уточнением, что с-мы 2го поколения исп-ют почти исключ-но синт-кие и сем-ко-синт-кие языки-посредники.- с-ма СЕТА.

Послед-ное проведение идеи языка-посредника привело к возникновению стратегии "универсального семантического языка", независимого от конкр-го L1 и L2. Но! Совр-ное сост-ние сем-кой теории не оставляет надежд на успешную реализацию этой стратегии в ближайшем будущем.

Как компенсация проблем, возникших со стратегией универс-го сем-го языка, развив-ся неск-ко промежуточных стратегий, позв-щих сущ-но улучшить параметры промышленных систем МП. Стратегия "сужения проблемной области" предлагает ориент-ся на узкие тематич-е сферы т-тов. Это позволяет суще-но облегчить словарь системы МП и огран-ся т-ко теми особ-ми устройства яз-й с-мы, кот-е реально представлены в данном подъязыке. Эта стратегия универс-на для многих сфер прикладной лингв-ки - от лексикографии до лингв-го обеспечения ИПС и с-тем AI.

Стратегия "ограниченного машинного перевода" позволяет вкл-ть в технол-ю цепочку автом-го пер-да ч-ка - на этапе пред-, пост-редактирования или в режиме обработки текста (например, для разрешения синонимии и омонимии).

В 1990 г. Ларри Чаилдс, специалист по машинному переводу, предложил следующую классификацию систем машинного перевода: FAMT (Fully-automated machine translation) - полностью автоматизированный машинный перевод; HAMT (Human-assisted machine translation) - машинный перевод при участии человека; MAHT (Machine-assisted human translation) - перевод, осуществляемый человеком с использованием компьютера.

На смену прежнее концепции, связ-ной с эйфорией 1х рез-тов - "качественный МП", пришла новая - "качественный черновой МП".

Классификация систем АП

1. Системы МП: - программы, осущ-щие полностью автоматиз-ный пер-д. Главным критерием программы явл-ся кач-во пер-да. + для польз-ля важными моментами явл-ся удобство интерфейса, лёгкость интеграции программы с другими ср-вами обработки док-тов, выбор тематики, утилита пополнения словаря. С появлением Internet основные поставщики с-тем МП включили в свои продукты Web-интерфейсы, обеспечив при этом их интеграцию с остальным прогр-ным обеспечением и Эл-ной почтой => примененение мех-мы МП для пер-да Web-страниц, Эл-ных писем и онлайновых разговорных сеансов.

2. Системы с функцией Translation Memory (TM): предоставляют средства для так наз-го Machine Assisted Human Translation (MAHT) – пер-да, выполн-го ч-ком с помощью машины. 1начальное предназначение с-тем ТМ - облегчение работы переводчиков при локализации программных продуктов и создании терминол-ких БД, в дальнейшем с-мы стали развиваться как вспомог-ный инструментарий перев-ка.

3. Контролир-мый яз и МП на основе базы знаний: в с-мах на основе контролир-мого яз реализован переход от свободного входного яз к контролир-му входному яз. Контроль входного яз предусм-ет опред-ные ограничения лексики, грам-ки, сем-ки. Контролир-мый входной яз используется для упрощения выражений исходного т-та, чтобы повысить кач-во пер-да. – с-ма KANT.

4. On-line перев-ки: службы онлайнового пер-да выполняют перевод прямо в окне браузера, не требуя установки программы на компьютер польз-ля. Достаточно большое кол-во ссылок на бесплатные сервисы МП с указаниями направлений пер-дов.

5. Словари on-line - LOGOS ONLINE DICTIONARY (англ, фран, нем, исп, итал, чешский), TRADOS MultiTerm…