Особливості генерування семантики речення природною мовою за допомогою породжувальних необмежених та контекстозалежних граматик - Статья

Застосування теорії породжувальних граматик для вирішення завдань прикладної та компютерної лінгвістики на рівні морфології та синтаксису дає змогу формувати системи синтезу мови та текстів, а також створювати підручники практичної морфології, таблиці словозміни, укладати списки морфем (афіксів, коренів), визначати продуктивності та частотності морфем, встановлювати частоти реалізації в текстах різних граматичних категорій (категорій роду, відмінка, числа тощо) для конкретних мов. У статті розглянуто відомі способи і підходи до вирішення проблеми автоматичного опрацювання текстового контенту та виділено недоліки й переваги різних підходів та результатів у галузі синтаксичних аспектів компютерної лінгвістики. Сформовано загальні концептуальні принципи моделювання словозмінних процесів під час утворення текстових масивів на прикладі українських та німецьких речень, потім, запропонувавши синтаксичні моделі та словозмінні класифікації лексичного складу українських та німецьких речень, розроблено лексикографічні правила синтаксичного типу для автоматизованого опрацювання цих речень. Застосування методики дає змогу досягти вищих показників надійності порівняно з відомими аналогами, а також демонструє високу ефективність у прикладних застосуваннях для побудови нових інформаційних технологій лексокографування та дослідження словозмінних ефектів природних мов. Робота має практичну цінність, оскільки запропоновані моделі та правила дають можливість ефективно організовувати процес створення лексикографічних систем опрацювання текстового контенту синтаксичного типу.

Дослідження застосування математичних методів для аналізу та синтезу текстової інформації природною мовою необхідні для розроблення математичних алгоритмів та компютерних програм опрацювання текстового контенту. Апарат породжувальних граматик, що запропонував Н. Хомські, моделює процеси на синтаксичному рівні мови. Виділені структурні елементи речення описують синтаксичні конструкції текстового контенту незалежно від їх змісту. У статті показано особливості процесу синтезу речень різних мов із застосуванням породжувальних граматик. В роботі розглянуто вплив норм та правил мови на хід побудови граматик. Застосування породжувальних граматик має широкі можливості у розробленні та створенні автоматизованих систем опрацювання текстового контенту, для лінгвістичного забезпечення компютерних лінгвістичних систем тощо. В природних мовах є ситуації, коли явища, залежні від контексту, описані як незалежні від контексту, тобто в термінах контекстовільних граматик. При цьому опис ускладнений через утворення нових категорій і правил. В статті визначено особливості процесу введення нових обмежень на класи цих граматик через введення нових правил. За кількості символів у правій частині правил, не меншій за ліву, отримали нескорочені граматики. Потім заміною лише одного символу одержано контекстозалежні граматики. За наявності в лівій частині правила лише одного символу отримали контекстовільні граматики. Жодних інших природних обмежень на ліві частини правил накласти вже не можна.

Застосування теорії породжувальних граматик для вирішення завдань прикладної та компютерної лінгвістики на рівні морфології та синтаксису дає змогу формувати системи синтезу мови та текстів, а також створювати підручники практичної морфології, таблиці словозміни, укладати списки морфем (афіксів, коренів), визначати продуктивності та частотності морфем, встановлювати частоти реалізації в текстах різних граматичних категорій (категорій роду, відмінка, числа тощо) для конкретних мов. Розроблені на основі породжувальних граматик моделі використовують для забезпечення функціонування компютерних лінгвістичних систем, призначених для аналітико-синтетичного опрацювання текстового контенту, в інформаційних пошукових системах тощо. Корисно вводити все нові й нові обмеження на ці граматики, отримуючи вужчі їх класи.

289

Описуючи складне коло явищ, обмежують набір використовуваних засобів опису, розглядаючи і такі засоби, які подають в загальному випадку свідомо недостатніми. Дослідження починають із мінімальних засобів; щоразу, коли їх недостатньо, поступово вводять (дрібнішими порціями) нові засоби, завдяки чому вдається точно визначити, якими засобами можна/не можна обійтися в описі того або іншого явища для розуміння його природи.

У статті розглянуто відомі способи і підходи до вирішення проблеми автоматичного опрацювання текстового контенту та виділено недоліки й переваги різних підходів та результатів у галузі синтаксичних аспектів компютерної лінгвістики. Сформовано загальні концептуальні принципи моделювання словозмінних процесів під час утворення текстових масивів на прикладі українських та німецьких речень, потім, запропонувавши синтаксичні моделі та словозмінні класифікації лексичного складу українських та німецьких речень, розроблено лексикографічні правила синтаксичного типу для автоматизованого опрацювання цих речень. Застосування методики дає змогу досягти вищих показників надійності порівняно з відомими аналогами, а також демонструє високу ефективність у прикладних застосуваннях для побудови нових інформаційних технологій лексокографування та дослідження словозмінних ефектів природних мов. Робота має практичну цінність, оскільки запропоновані моделі та правила дають можливість ефективно організовувати процес створення лексикографічних систем опрацювання текстового контенту синтаксичного типу.

1. Английская грамматика в доступном изложении // Режим доступу: http://real-english.ru/crash/lesson3.htm. 2. Анісімов А.В. Алгоритмічна модель асоціативно-семантичного контекстного аналізу текстів природною мовою / А.В. Анісімов, О.О. Марченко, А.О. Никоненко // Пробл. програмув. - 2008. - № 2-3. - С. 379-384. 3. Анисимов А.В. Компьютерная лингвистика для всех: мифы, алгоритмы, язык / А.В. Анисимов. - К.: Думка, 1991. - 208 с. 4. Апресян Ю.Д. Идеи и методы современной структурной лингвистики / Ю.Д. Апресян. - М.: Просвещение, 1966. - 305 c. 5. Апресян Ю.Д. Непосредственных составляющих метод / Ю.Д. Апресян // Лингвистический энциклопедический словарь / под ред. В.Н. Ярцевой. - М.: Советская энциклопедия, 1990. - Режим доступа: http://tapemark.narod.ru/les/332a.html. 6. Багмут А.Й. Порядок слів / А.Й. Багмут // Українська мова: енцикл. - 3-тє вид., зі змінами і доп. - К.: Укр. енциклопедія, 2007. - С. 675-676. 7. Берко А. Системи електронної контент-комерції / А. Берко, В. Висоцька, В. Пасічник. - Л: НУЛП, 2009. - 612 с. 8. Берко А.Ю. Застосування методу контент-аналізу для формування інформаційних ресурсів в системах електронної контент-комерції / А.Ю. Берко, В.А. Висоцька, М.М. Сороковський // “Інформаційні системи та мережі”. Вісник Національного університету “Львівська політехніка”. - Львів, 2012. - № 743. - С. 3-15. 9. Бильгаева Н.Ц. Теория алгоритмов, формальных языков, грамматик и автоматов: учебное пособие / Н.Ц. Бильгаева. - Улан-Удэ: Изд-во ВСГТУ, 2000. - 51 с. 10. Большакова Е.И. Автоматическая обработка текстов на естественном языке и компьютерная лингвистика: учеб. пособие / Е.И. Большакова, Э.С. Клышинский, Д.В. Ландэ, А.А. Носков, О.В. Пескова, Е.В. Ягунова. - М.: МИЭМ, 2011. - 272 с. 11. Брайчевский С. Современные информационные потоки / С. Брайчевский, Д. Ландэ // Научно-техническая информация. - 2005. - № 11. - С. 21-33. 12. Висоцька В.А. Застосування породжувальних граматик для моделювання синтаксису речення / В.А. Висоцька, Т.В. Шестакевич, Ю.М. Щербина // “Інформаційні системи та мережі”. Вісник Національного університету “Львівська політехніка”. - Львів, 2012. - № 743. - С. 175-190. 13. Висоцька В.А. Утворення речень англійською та німецькою за допомогою породжувальних граматик / В.А. Висоцька, Т.В. Шестакевич, Ю.М. Щербина // “Компютерні науки та інформаційні технології”. Вісник Національного університету “Львівська політехніка”. - Львів, 2012. - № 744. - С.142-152. 14. Висоцька В.А. Генерування речень українською за допомогою породжувальних граматик / В.А. Висоцька, Т.В. Шестакевич // Міжнародна наукова конференція “Інтелектуальні системи прийняття рішень та проблеми обчислювального інтелекту (ISDMIT’2012)”, Євпаторія. - 27-31 травня 2012. - С. 48-50. 15. Волкова И.А. Формальные грамматики и языки. Элементы теории трансляции: учеб. пособ. для студентов II курса / И.А. Волкова, Т.В. Руденко. - 2-е изд., перераб. и доп. - М.: Издательский отдел факультета вычислительной математики и кибернетики МГУ им. М.В.Ломоносова, 1999. - 62 с. 16. Гакман О.В. Генеративно-трансформаційна лінгвістика Н. Хомського як вираження його лінгвістичної філософії / О.В. Гакман // Мультиверсум. Філософський альманах. - К.: Центр

290 духовної культури, 2005. - № 45. - С. 98-114. 17. Герасимов А.С. Лекции по теории формальных языков / А.С. Герасимов. - Режим доступа: http://gas-teach.narod.ru/au/tfl/tfl01.pdf. 18. Гладкий А.В. Синтаксические структуры естественного языка в автоматизированных системах общения / А.В. Гладкий. - М.: Наука, 1985. - 144 с. 19. Гладкий А.В. Элементы математической лингвистики / А.В. Гладкий, И.А. Мельчук. - М.: Наука, 1969. - 192 с. 20. Гладкий А.В. Формальные грамматики и языки / А.В. Гладкий. - М.: Наука, 1973. - 368 с. 21. Гросс М. Теория формальных грамматик / М. Гросс, А. Лантен; пер. с франц. И.А. Мельчука под ред. А.В. Гладкого. - М.: Мир, 1971. - 294 с. 22. Дарчук Н.П. Компютерна лінгвістика (автоматичне опрацювання тексту): підручник / Н.П. Дарчук. - К.: ВПЦ “Київський університет”, 2008. - 351 с. 23. Демешко І. Типологія морфонологічних моделей у віддієслівному словотворенні сучасної української мови / І. Демешко // Збірник наукових праць “Лінгвістичні студії”. Розділ V. Словотвір: напрями, аспекти дослідження. Морфонологія. - Донецьк, 2009. - № 19. - С. 162-167. 24. Зубков М. Українська мова: універсальний довідник / М. Зубков. - К.: ВД “Школа”, 2004. - 496 с. 25. Корнеев В. Базы данных. Интеллектуальная обработка информации / В. Корнеев, А. Гареев, С. Васютин, В. Райх. - М: Нолидж, 2000. - 352 с. 26. Ландэ Д. Основы моделирования и оценки электронных информационных потоков / Д. Ландэ, В. Фурашев, С. Брайчевский, О. Григорьев. - К: Інжиніринг, 2006. - 348 с. 27. Ландэ Д. Основы интеграции информационных потоков: монография / Д. Ландэ. - К: Інжиніринг, 2006. - 240 с. 28. Любченко Т.П. Лексикографічні системи граматичного типу та їх застосування в засобах автоматизованого опрацювання мови: автореф. дис. канд. техн. наук: спец. 10.02.21 / Т.П. Любченко. - Київ, 2011. - 19 с. 29. Мартыненко Б.К. Языки и трансляции: учеб. пособие / Б.К. Мартыненко. - 2-е изд., испр. и доп. - СПБ.: Изд-во С.-Петерб. ун-та, 2008. - 257 с. 30. Марченко О.О. Алгоритми семантичного аналізу природномовних текстів: автореф. дис. на здобуття наук. ступеня канд. фіз.-мат. наук: спец. 01.05.01 // О.О. Марченко. - К., 2005. - 15 с. 31. Носков С.А. Самоучитель немецкого языка. Deutsch fur sie / С.А. Носков. - К.: Наука, 1999. - 400 с. 32. Партико З.В. Прикладна і компютерна лінгвістика. Вступ до спеціальності: навч. посіб. / З.В. Партико. - Л.: Афіша, 2008. - 224 с. 33. Пасічник В.В. Математична лінґвістика. Книга 1. Квантитативна лінгвістика: навч. посіб. / В.А. Висоцька, В.В. Пасічник, Ю.М. Щербина, Т.В. Шестакевич. - Львів: Новий світ-2000, 2012. - 359 с. 34. Пентус А.Е. Теория формальных языков: учебное пособие / А.Е. Пентус, М.Р. Пентус. - М.: Изд-во ЦПИ при механико-математическом ф-те МГУ, 2004. - 80 с. 35. Попов Э.В. Общение с ЭВМ на естественном языке / Э.В. Попов. - М.: Наука, 1982. - 360 с. 36. Постнікова О.М. Німецька мова. Розмовні теми: лексика, тексти, діалоги, вправи / О.М. Постнікова. - К.: А.С.К, 2001. - Т. 1. - 400 с. 37. Постнікова О.М. Німецька мова. Розмовні теми: лексика, тексти, діалоги, вправи / О.М. Постнікова. - К.: А.С.К, 2001. - Т. 2. - 320 с. 38. Потапова Г.М. Морфонологія віддієслівного словотворення (на матеріалі словотвірних гнізд з вершинами - дієсловами та віддієслівних словотвірних зон): дис. канд. наук: 10.02.02 // Г.М. Потапова. - 2008. - 19 с. 39. Русаченко Н.П. Морфонологічні процеси у словозміні та словотворі староукраїнської мови другої половини XVI - XVIII ст.: автореф. дис. на здобуття наук. ступ. канд. філол. наук: спец. 10.02.01 / Н.П. Русаченко. - К., 2004. - 24 с. - Режим доступу: http://auteur.corneille-moliere.com/?p= history&m=corneille_moliere&l=rus. 40. Торосян О.М. Функціональні характеристики прислівників міри та ступеня в сучасній англійській мові: автореф. дис. на здобуття наук. ступеня канд. філол. наук / О.М. Торосян. - Режим доступу: http://disser.com.ua/contents/6712.html. 41. Туришева О.О. Порушення рамкової конструкції в сучасній німецькій мові: функціональний аспект, нормативний статус: автореф. дис. канд. філол. наук: спец. 10.02.04 / Туришева О.О. - Одеса, 2012. - 20 с. 42. Український правопис / Ін-т мовознавства ім. О.О. Потебні НАН України, Ін-т укр. мови НАН України. - К.: Наук. думка, 2007. - 288 с. 43. Федорчук А. Г. Контент-мониторинг информационных потоков [Электронный ресурс] / Б-ка Нац. акад. наук: пробл. функционирования, тенденции развития. — К., 2005. — Вып. 3. — Режим доступа: http://www.nbuv.gov.ua/articles/ 2005/05fagmip.html. — Загол. с экрана. 44. Фомичев В.С. Формальные языки, грамматики и автоматы / В.С. Фомичев. - Режим доступа: http://www.proklondike.com/books/thproch/. 45. Хомский Н. О некоторых формальных свойствах грамматик / Н. Хомский // Кибернетический сборник. - М.: Мир, 1962. - № 5. - С. 279-311. 46. Хомский Н. Формальный анализ естественных

291 языков / Н. Хомский, Дж. Миллер // Кибернетический сборник. - М.: Мир, 1965. - № 1. - С. 231-290. 47. Хомский Н. Язык и мышление / Н. Хомский // Публикации ОСИПЛ. Серия монографий. - М.: Издательство Московского университета, 1972. - № 2. - 122 с. 48. Хомский Н. Синтаксические структуры / Н. Хомский // Сборник “Новое в лингвистике”. - М.: ИЛ, 1962. - № 2. - С. 412-527. 49. Чепурна З.В. Трансформація порядку слів у простому реченні при перекладі з німецької мови українською / З.В. Чепурна // Наукові записки, серія “Філологічні науки (мовознавство)”: у 5 ч. - Кіровоград: РВВ КДПУ ім. В. Винниченка, 2010. - Вип. 89 (1). - С. 232- 236. 50. Шаров С.А. Средства компьютерного представления лингвистической информации / С.А. Шаров. - Режим доступу : http://www.ksu.ru/eng/science/ittc/vol000/002/. 51. Шестакевич Т.В. Застосування породжувальних граматик для генерування речень українською мовою / Т.В. Шестакевич, В.А. Висоцька // Східно-Європейський журнал передових технологій. - Харків, 2012. - № 3/2 (57). - C. 51-53. 52. Шульжук К. Синтаксис української мови: Підручник / К. Шульжук. - К.: Академія, 2004. - 397 с. 53. Щербина Ю.М. Предмет математичної лінгвістики / Ю.М. Щербина // Вісник НУЛП “Інформаційні системи та мережі”. - Львів, 2002. - № 464. - С. 340-349. 54. Щербина Ю.М. Науковий напрям та навчальна дисципліна “Математична лінгвістика” / Ю.М. Щербина, Т.В. Шестакевич, В.А. Висоцька // Вісник НУЛП “Інформаційні системи та мережі”. - Львів, 2010. - № 673. - С. 384-392. 55. Щербина Ю.М. Утворення українських дієприкметників за допомогою породжувальних граматик / Ю.М. Щербина, Ю.В. Нікольський, В.А. Висоцька, Т.В. Шестакевич // “Інформаційні системи та мережі”. Вісник Національного університету “Львівська політехніка”. - 2011. - № 715. - С. 354-369. 56. Chomsky N. Three models for the description of language / N. Chomsky. - I.R.E. Trans. PGIT 2, 1956. - P. 113-124. (Русский перевод: Хомский Н. Три модели для описания языка / Н. Хомский // Кибернетический сборник. - М.: ИЛ, 1961. - № 2. - С. 237-266). 57. Chomsky N. On certain formal properties of grammars, Information and Control 2 / N. Chomsky // A note on phrase structure grammars, Information ANDCONTROL 2, 1959. - Р. 137-267, 393-395. (Русский перевод: Хомский Н. Заметки o грамматиках непосредственных составляющих / Н. Хомский // Кибернетический сборник. - М.: ИЛ, 1962. - № 5. - С. 312-315). 58. Chomsky N. On the notion “Rule of Grammar” / N. Chomsky // Proc. Symp. Applied Math., 12. Amer. Math. Soc., 1961. (Русский перевод: Хомский Н. О понятии “правило грамматики” / Н. Хомский // Сб. Новое в лингвистике. - М.: Прогресс, 1965. - № 4. - С. 34-65). 59. Chomsky N. Context-free grammars and pushdown storage / N. Chomsky // Quarterly Progress Reports, № 65, Research Laboratory of Electronics, M.I.T., 1962. 60. Chomsky N. Formal properties of grammars / N. Chomsky // Handbook of Mathemati-Mathematical Psychology, 2, ch. 12, Wiley, 1963. - Р. 323-418. (Русский перевод: Хомский Н. Формальные свойства грамматик / Н. Хомский // Кибернетический сборник. - М.: ИЛ, 1966. - № 2. - С. 121-230). 61. Chomsky N. The logical basis for linguistic theory / N. Chomsky // Proc. IX-th Int. Cong. Linguists, 1962. (Русский перевод: Хомский Н. Логические основы лингвистической теории / Н. Хомский // Сб. Новое в лингвистике. - М.: Прогресс, 1965. - № 4. - С. 465-575). 62. Chomsky N. Finite state languages / N. Chomsky, G.A. Miller // Information and Control 1, 1958. - Р. 91-112. (Русский перевод: Хомский Н. Языки с конечным числом состояний. Кибернетический сборник. - М.: ИЛ, 1962. - № 4. - С. 231-255). 63. Chomsky N. Introduction to the formal analysis of natural languages / N. Chomsky, G.A. Miller // Handbook of Mathematical Psychology 2, Ch. 12, Wiley, 1963. - Р. 269-322. (Русский перевод: Хомский Н. Введение в формальный анализ естественных языков / Н. Хомский, Д. Миллер // Кибернетический сборник. - М.: Мир, 1965. - № 1. - С. 229-290). 64. Chomsky N. The algebraic theory of context-free languages / N. Chomsky, M.P. Schutzenberger // Computer programming and formal systems, North-Holland, MR152391. - Amsterdam, 1963. - Р. 118-161. (Русский перевод: Хомский Н. Алгебраическая теория контекстно-свободных языков / Н. Хомский, М. Шютценберже // Кибернетический сборник, новая серия. - М.: Мир, 1966. - № 3. - С. 195-242). 65. English Verbs (Part 1) - Basic Terms. - Режим доступу: http://sites.google.com/site/englishgrammarguide/Home/ english-verbs-part-1----basic-terms. 66. Vysotska Victoria. Web Content Processing Method for Electronic Business Systems / Victoria Vysotska, Lyubomyr Chyrun // International Journal of Computers & Technology - PP. 3211-3220. ISSN 2277-3061, Impacr factor 1,341. http://cirworld.com/index.php/ijct/article/view/3299. (Index Copernicus, NASA ADS, DOAJ, Google Scholar, Eyesource, EBSCO, CITESEER, ULRICHWEB, SCIENTIFICCOMMONS).

292