Оцінка якості машинного перекладу - Автореферат

Єдиною перешкодою на цьому шляху залишається мовний барєр, подолання якого за допомогою традиційного перекладу не розвязує проблеми повністю, оскільки обсяг перекладів у світі постійно зростає, і навіть збільшення кількості перекладачів не в змозі повністю задовольнити потреби в перекладах. Оцінка якості машинного перекладу є важливою для визначення стану речей у галузі, для встановлення пріоритетів подальшого розвитку, для пошуку можливостей удосконалення перекладів, що врешті-решт має піднести продуктивність перекладацької праці на вищий щабель і зробити ще один крок у напрямку подолання мовних барєрів. Наше дослідження спирається на праці з оцінки якості машинного перекладу (Г. Мета цього дослідження - визначити релевантні методи оцінки якості та протестувати вітчизняні системи машинного перекладу "Плай 4.4" і "Прагма 4.0" (далі "Плай", "Прагма") в межах німецько-української та російсько-української мовних пар; виявити потенційні можливості покращення якості машинного перекладу й визначити реальну користь від застосування СМП для кінцевого користувача. Обєктом дослідження є переклади, виконані за допомогою вітчизняних систем машинного перекладу "Плай" та "Прагма", що вивчаються, досліджуються й оцінюються за принципом "чорної скриньки", основне положення якого полягає у цілковитій відсутності будь-якої інформації щодо алгоритмів роботи СМП, її граматик, словників та внутрішньої побудови.Оцінка формувалася за такою шкалою: оцінка "5" виставлялася системі у разі вдалого перекладу мовного феномена та решти речення; оцінку "4" система отримувала у випадку, коли перекладала мовний феномен, що тестується, правильно або з незначними недоліками, проте робила певні помилки в іншій частині/частинах речення; оцінку "3" ми ставили у разі значних недоліків перекладу тестованого феномена, а також якщо помилки певним чином впливали на розуміння тексту перекладу, а оцінку "2" - якщо система взагалі не перекладала мовний феномен. Оцінка якості машинного перекладу систем "Плай 4.0" та "Прагма 4.4" для російсько-українського мовного напрямку відбувалася на основі порівняльного аналізу перекладів обох систем, що тестувалися. Ці помилки ми будемо характеризувати таким чином: грубі помилки - такі, що унеможливлюють розуміння тексту перекладу або коли система пропонує штучне слово, якого не існує в її лексичному складі; суттєві - помилки, що ускладнюють читабельність тексту та ті, що потребують значної за обсягом правки; дрібні - це загалом правильно перекладені речення із незначними недоліками. Остаточна оцінка обох систем складається з балансу позитивних та негативних оцінок, внаслідок чого системи можуть отримати одну з трьох оцінок: - "незадовільно" (якщо значною мірою буде переважати кількість негативних оцінок - середня оцінка за одне речення від мінус двох до мінус одного бала); Насамкінець визначається краща система, яка найякісніше виконує переклад у межах російсько-українського мовного напрямку, здійснюється пошук архітектурних недоліків систем МП як певний вид зворотного звязку для розробників з метою виправлення помилок та подальшого покращення якості перекладу вітчизняних електронних перекладачів.У дисертації запропоновано вирішення актуального наукового завдання, що полягає в оцінці мовної якості перекладів, виконаних вітчизняними СМП, та визначенні користі від їх застосування для кінцевого користувача. Отримані результати дають змогу глибше зрозуміти можливості електронних перекладачів та зясувати недоліки, виправлення яких має покращити загальну якість перекладу. Наукові дослідження оцінки якості лінгвістично-перекладацького потенціалу СМП мають будуватися в межах мікрооцінки на основі штучних тестових збірок та реальних текстів. Споживач, який дослідив лінгвістичний потенціал системи, тобто принципову можливість її покращення на основі поповнення словників або (рідше) за рахунок подальшого програмування/вдосконалення правил, може отримати достатню інформацію щодо перспективності системи машинного перекладу, яка, можливо, абсолютно не задовольняє його потреби в пакетному режимі, проте має непогані шанси на поліпшення якості перекладу за умови її тривалої експлуатації. У межах російсько-українського мовного напрямку системи МП "Плай 4.0" і "Прагма 4.4" мають значний лінгвістичний потенціал, що дає їм змогу перекладати майже всі граматичні феномени.

1. Основний зміст роботи

У дисертації запропоновано вирішення актуального наукового завдання, що полягає в оцінці мовної якості перекладів, виконаних вітчизняними СМП, та визначенні користі від їх застосування для кінцевого користувача. Отримані результати дають змогу глибше зрозуміти можливості електронних перекладачів та зясувати недоліки, виправлення яких має покращити загальну якість перекладу.

Внаслідок проведеного дослідження отримано такі наукові результати: 1. Наукові дослідження оцінки якості лінгвістично-перекладацького потенціалу СМП мають будуватися в межах мікрооцінки на основі штучних тестових збірок та реальних текстів. Експерименти з оцінки якості, спрямовані на визначення користі від застосування машинного перекладу та ефективності задоволення специфічних вимог користувача, відбуваються у межах макрооцінки, де на перший план виходить не безпосередня якість перекладу, а ступінь задоволення потреб користувачів.

2. Споживач, який дослідив лінгвістичний потенціал системи, тобто принципову можливість її покращення на основі поповнення словників або (рідше) за рахунок подальшого програмування/вдосконалення правил, може отримати достатню інформацію щодо перспективності системи машинного перекладу, яка, можливо, абсолютно не задовольняє його потреби в пакетному режимі, проте має непогані шанси на поліпшення якості перекладу за умови її тривалої експлуатації.

3. На сучасному етапі розвитку "Прагма 4.4" з німецько-українською мовною парою має досить низький лінгвістичний потенціал, а значна кількість граматичних конструкцій розробниками не опрацьована взагалі. Головним недоліком системи як інструменту для покращення продуктивності перекладацької роботи, на наш погляд, є обмежені можливості кодування словника користувача. Лексичний рівень у межах німецько-українського мовного напрямку хоч і є досить вагомим для здійснення правильного перекладу, проте значно більше ускладнюють розуміння перекладеного тексту помилки синтаксичного характеру. Контекстуальний рівень для німецько-української мовної пари також має суттєве значення. Помилки електронних перекладачів на цьому рівні нерідко ускладнюють розуміння перекладеного речення, особливо у випадках омонімії.

4. У межах російсько-українського мовного напрямку системи МП "Плай 4.0" і "Прагма 4.4" мають значний лінгвістичний потенціал, що дає їм змогу перекладати майже всі граматичні феномени. Для обох систем із цим напрямком перекладу робота "вшир" уже завершена, на часі робота "вглиб". В межах російсько-українського мовного напрямку вирішальне значення має лексичний рівень. Сурядні та підрядні звязки між реченнями в межах синтаксичного рівня не складні для систем і майже завжди перекладаються бездоганно. Контекстуальний рівень є суттєвою проблемою для цієї мовної пари лише з точки зору кількості помилок. Щодо їх впливу на розуміння перекладеного тексту, то маємо зазначити: помилки контекстуального рівня, незважаючи на їх численність, рідко спотворюють зміст першотвору і в цьому аспекті є суттєвими лише для лінгвістично орієнтованої оцінки.

5. Жодна з проаналізованих СМП не визнана кращою за всіма показниками. "Плай 4.0" має якісніший автоматичний словник і вдаліше застосовує перекладацькі трансформації, робить менше грубих помилок на всіх мовних рівнях, які суттєво впливають на розуміння перекладеного тексту. Основним чинником, завдяки якому "Прагма 4.4" все ж випереджає свою конкурентку, є її якісніший автоматичний аналіз, що має вирішальне значення для здійснення вдалого перекладу. Саме покращення якості автоматичного аналізу має стати, на нашу думку, пріоритетним напрямком подальших теоретичних та практичних розвідок розробників обох систем.

6. Використання машинного перекладу пробандами жодного разу не призвело до втрати часу. Випадки, коли редагування машинного перекладу потребувало стільки ж часу, як і виконання мануального перекладу, не численні і становлять 25%. Середній показник часу, який було заощаджено завдяки використанню систем машинного перекладу, становить 31,44%. Проведення експерименту з досвідченими пробандами, обізнаними з проблематикою машинного перекладу та особливостями функціонування конкретної системи, чіткіше окреслить картину щодо заощадження часу завдяки використанню СМП.

7. Докладний лінгвістичний аналіз, або мікрооцінка, практично завжди наштовхує користувача на певні припущення щодо причини виникнення помилки, що в поєднанні з додатковими тестовими реченнями на перевірку цієї гіпотези досить часто призводить до зясування причин її виникнення та визначення можливих шляхів усунення. Таким чином, навіть звичайні користувачі з базовою лінгвістичною освітою можуть покращувати якість машинного перекладу за умови, якщо виявлені ними помилки та їх причини враховані розробниками з метою внесення відповідних змін до системи.

1. Підвищення ефективності та якості перекладацької праці як результат використання текстових та мовленнєвих лінгвістичних процесорів // Вісник Запорізького державного університету. Серія: Філологічні науки. - Запоріжжя: ЗДУ, 2004. - № 1. - С. 20-27.

2. Система оцінки якості машинного перекладу // Вісник Сумського державного університету. Серія: Філологічні науки. - Суми: СУМДУ, 2004. - № 3. - С. 42-48.

3. Розробка методів оцінки якості машинного перекладу на основі результатів досліджень з оцінки якості перекладу традиційного // Культура народов Причерноморья. Серия: Филологические науки. - Симферополь: ТНУ, 2004. - № 55. - С. 100-105.

4. Оцінка якості вітчизняних систем машинного перекладу з українсько-російською мовною парою // Гуманітарний вісник. Серія: Іноземна філологія: Всеукр. зб. наук. праць. - Черкаси: ЧДТУ, 2005. - № 9. - С. 352-356.

5. Оцінка якості системи машинного перекладу "Прагма 4.4" з німецько-українською мовною парою // Studia Methodologica. - Тернопіль: Ред.-видавн. відділ ТНПУ, 2006. - № 18. - С. 61-64.

Размещено на .ru