Предыдущая страница реферата | 6  7  8  9  10  11  12  13  14  15  16 | Следующая страница реферата



грамматическими характеристиками слов и буквенным составом их концов.

Этот принцип давно и успешно используется в морфологических процессорах, разработанных Г.Г.Белоноговым. В 80-е годы киевскими лингвистами (В.И.Пе-

ребейнос, Т.А.Грязнухина, Н.П.Дарчук и др.) принцип аналогии был положен

в основу морфологических анализаторов русского языка, работающих без ка-

ких-либо словарей. Модификация этого подхода, также предполагающего ис-

ключение словарей для целей морфологического анализа или использование

их в минимальной степени, в последнее время была предпринята Г.Г.Белоно- говым для русского и некоторых других языков [Белоногов и др.,95], а также другими специалистами по вычислительной морфологии [Шереметьева и др., 96].

Широкое распространение персональных ЭВМ создает благоприятные

условия для автоматизации морфологических исследований — автоматического

формирования русского морфологического словаря по исходным массивам слов

и словосочетаний [Большаков,93], использования специализированных словарных

баз данных для анализа морфологии русского языка, автоматического типологи-

ческого анализа морфологии семитских языков [QUALICO-94], автоматического

формирования перечня структурных типов префиксов русских существительных

[Герд, 93], использования автоматизированной системы составления и ведения флективных классов русских существительных, прилагательных и глаголов, применяемых в морфологическом процессоре СМП АСПЕРА [Королев, 95],

моделирования морфологического анализа русских слов, содержащих суффик-

сы [Гельбух, 92].

В заключение напомним о том, что за последние несколько десятилетий

морфология переживала свои периоды взлетов и падений. В 60-е годы нашего

столетия определенный застой в морфологических исследованиях был вызван

бурным распространением структурного синтаксиса, а затем и семантики. Одна-

ко со временем развитие науки и требования жизни все расставили по своим ме-

стам, и в последние годы, как свидетельствует наш краткий обзор, теоретическая

и прикладная морфология вновь являются важным полигоном для лингвистичес-

кой теории и практики.

Обеспечение взаимодействия с ЭВМ на естественном языке (ЕЯ) является важнейшей задачей исследований по искусственному интеллекту (ИИ). Базы данных, пакеты прикладных программ и экспертные системы, основанные на ИИ, требуют оснащения их гибким интерфейсом для многочисленных пользователей, не желающих общаться с компьютером на искусственном языке. В то время как многие фундаментальные проблемы в области обработки ЕЯ (Natural Language Processing, NLP) еще не решены, прикладные системы могут оснащаться интерфейсом, понимающем ЕЯ при определенных ограничениях.

Существуют два вида и, следовательно, две концепции обработки естественного языка:

для отдельных предложений;

для ведения интерактивного диалога.

Природа обработки естественного языка

Обработка естественного языка - это формулирование и исследование компьютерно-эффективных механизмов для обеспечения коммуникации с ЭВМ на ЕЯ. Объектами исследований являются:

собственно естественные языки;

использование ЕЯ как в коммуникации между людьми, так и в коммуникации человека с ЭВМ.

Задача исследований - создание компьютерно-эффективных моделей коммуникации на ЕЯ. Именно такая постановка задачи отличает NLP от задач традиционной лингвистики и других дисциплин, изучающих ЕЯ, и позволяет отнести ее к области ИИ. Проблемой NLP занимаются две дисциплины: лингвистика и когнитивная психология.

Традиционно лингвисты занимались созданием формальных, общих, структурных моделей ЕЯ, и поэтому отдавали предпочтение тем из них, которые позволяли извлекать как можно больше языковых закономерностей и делать обобщения. Практически никакого внимания не уделялось вопросу о пригодности моделей с точки зрения компьютерной эффективности их применения. Таким образом, оказалось, что лингвистические модели, характеризуя собственно язык, не рассматривали механизмы его порождения и распознавания. Хорошим примером тому служит порождающая грамматика Хомского, которая оказалась абсолютно непригодной на практике в качестве основы для компьютерного распознавания ЕЯ.

Задачей же когнитивной психологии является моделирование не структуры языка, а его использования. Специалисты в этой области также не придавали большого значения вопросу о компьютерной эффективности.

Различаются общая и прикладная NLP. Задачей общей NLP является разработка моделей использования языка человеком, являющихся при этом компьютерно-эффективными. Основой для этого является общее понимание текстов, как это подразумевается в работах Чарняка, Шенка, Карбонелла и др. Несомненно, общая NLP требует огромных знаний о реальном мире, и большая часть работ сосредоточена на представлении таких знаний и их применении при распознавании поступающего сообщения на ЕЯ. На сегодняшний день ИИ еще не достиг того уровня развития, когда для решения подобных задач в большом объеме использовались бы знания о реальном мире, и существующие системы можно называть лишь экспериментальными, поскольку они работают с ограниченным количеством тщательно отобранных шаблонов на ЕЯ.

Прикладная NLP занимается обычно не моделированием, а непосредственно возможностью коммуникации человека с ЭВМ на ЕЯ. В этом случае не так важно, как введенная фраза будет понята с точки зрения знаний о реальном мире, а важно извлечение информации о том, чем и как ЭВМ может быть полезной пользователю (примером может служить интерфейс экспертных систем). Кроме понимания ЕЯ, в таких системах важно также и распознавание ошибок и их коррекция.

Основная проблема обработки естественного языка

Основной проблемой NLP является языковая неоднозначность. Существуют разные виды неоднозначности:

Синтаксическая (структурная) неоднозначность: во фразе Time flies like an arrow для ЭВМ неясно, идет ли речь о времени, которое летит, или о насекомых, т.е. является ли слово flies глаголом или существительным.

Смысловая неоднозначность: во фразе The man went to the bank to get some money and jumped in слово bank может означать как банк, так и берег.

Падежная неоднозначность: предлог in в предложениях He ran the mile in four minutes/He ran the mile in the Olympics обозначает либо время, либо место, т.е. представлены совершенно различные отношения.

Референциальная неоднозначность: для системы, не обладающей знаниями о реальном мире, будет затруднительно определить, с каким словом - table или cake - соотносится местоимение it во фразе I took the cake from the table and ate it.

Литерация (Literalness): в диалоге Can you open the door? — I feel cold ни просьба, ни ответ выражены нестандартным способом. В других обстоятельствах на вопрос может быть получен прямой ответ yes/no, но в данном случае в вопросе имплицитно выражена просьба открыть дверь.

Центральная проблема как для общей, так и для прикладной NLP - разрешение такого рода неоднозначностей - решается с помощью перевода внешнего представления на ЕЯ в некую внутреннюю структуру. Для общей NLP такое превращение требует набора знаний о реальном мире. Так, для анализа фразы Jack took the bread from the supermarket shelf, paid for it, and left и для корректного ответа на такие вопросы, как What did Jack pay for?, What did Jack leave? и Did Jack have the bread with him when he left? необходимы знания о супермаркетах, процессах покупки и продажи и некоторые другие.

Прикладные системы NLP имеют преимущество перед общими, т.к. работают в узких предметных областях. К примеру, системе, используемой продавцами в магазинах по продаже компьютеров, не нужно ”раздумывать” над неоднозначностью слова terminals в вопросе How many terminals are there in the order?.

Тем не менее, создание систем, имеющих возможность общения на ЕЯ в широких областях, возможно, хотя пока результаты далеки от удовлетворительных.

Технологии анализа естественного языка

Рекомендуем скачать другие рефераты по теме: реферат на тему культура, решебник по 5, антикризисное управление предприятием.

Предыдущая страница реферата | 6  7  8  9  10  11  12  13  14  15  16 | Следующая страница реферата

Поделитесь этой записью или добавьте в закладки