Автоматическое постредактирование машинного перевода: взгляд в будущее

Именно поэтому многие бюро переводов ищут способы автоматизации того или иного этапа подготовки заказа. Порой это внедрение новых методов, порой дополнительного программного обеспечения.

Задачей автоматического постредактирования (АПР) является исправление ошибок в машинном переводе текста. Следовательно, его настоящее и будущее зависит от качества машинного перевода (MП): плохой МП требует серьезного постредактирования, в то время как МП на «человеческом» уровне вообще не нужно редактировать. Однако, с точки зрения данных и навыков, необходимых для обучения конкурентоспособных систем, хороший МП настолько дорогостоящий, что не все могут себе его позволить.

Дабы пролить свет на будущее АПР, в этой статье кратко излагаются последние достижения в области технологий АПР, а также делается попытка ответить на вопрос: «Сколько будет стоить машинный перевод, после которого не потребуется автоматическое постредактирование?»

Автоматическое постредактирование

Автоматическое постредактирование машинного перевода — это одновременное исправление и обучение исправлению ошибок в МП на примере правок, внесенных человеком. Впервые такая задача была поставлена для «одноязычного перевода» (когда правят сырой МП, создавая корректный текст в целевом языке); далее АПР эволюционировало подобно машинному переводу. На смену первой совместной обработке на основе фраз, подобной машинному переводу, пришел ультрасовременный нейронный подход. Работать в узких сферах, таких как IT, удобнее, нежели в более обширных общих областях, соответственно, там наблюдается более стабильный прогресс.

В 2018 году наиболее удачным системам удалось повысить качество сырого, основанного на фразах машинного перевода англо-немецких текстов с результатом выше 9 баллов BLEU(система двуязычной оценки). С другой стороны, если говорить о качественном нейронном машинном переводе, значительного повышения результатов не произошло (+0,8 BLEU), то есть исправлять хороший перевод куда сложнее.

И сколько же стоит хороший машинный перевод?

Автоматическое постредактирование и индустрия перевода

С точки зрения индустрии перевода, возможности АПР привлекают игроков рынка, занимающихся МП, так как те хотят перенести часть нагрузки с переводчика-человека на машину, объединив две технологии. В условиях современного автоматизированного перевода (CAT) правильно предложенный автоматический перевод может значительно облегчить и ускорить работу профессиональных переводчиков. Стоимость мощных механизмов МП складывается из стоимости необходимых учебных баз (особенно в случае с нейронными моделями, требующими больших объемов данных), а также затрат на обучение и техническое обслуживание.

Бюро переводов располагают рядом возможностей для достижения компромисса между эффективностью и затратами. Самым дешевым решением является использование универсального средства МП типа «черный ящик». Сюда относятся готовые решения, практически не предусматривающие возможности вмешательства в их систему. Им противопоставлены средства МП типа «белый ящик», чьи внутренние механизмы открыты для совершенствования при наличии достаточной информации и компетентности в области МП.

Если говорить о МП из «черного ящика», для приведения результата перевода в удобочитаемый вид требуется АПР. Что касается «белого ящика», АПР пригодится для того, чтобы на базе исправлений человека усовершенствовать механизм перевода во избежание повторяющихся ошибок. Битекст учит систему тому, что делать, а исправления человека (в порядке «исходный текст -> результат МП -> человеческие правки»), наоборот, — что не делать.

«…Я по-прежнему считаю, что некоторые формы АПР для нейронного МП обладают значительным потенциалом. В качестве примера можно привести постредактированный текст с комментариями, которые обучают НМП избегать некоторых ошибок» — Максим Халилов (директор отдела прикладного искусственного интеллекта в компании Unbabel)

Занятно, что в обоих случаях (с белым и черным ящиком) в узкоспециальных текстах АПР приносит видимый результат довольно быстро — после нескольких тысяч случаев. Для повышения качества более общего МП их требуется несколько миллионов!

Как видно, АПР обладает высоким потенциалом. Какие же разработки ведутся в этой области?

Нейронное АПР в режиме онлайн

Отдел машинного перевода при организации FondazioneBrunoKessler занимается АПР-технологиями с 2015 года. Они начали с простых инструментов на основе фраз и в дальнейшем перешли на более сложный нейронный подход, который обеспечивает успешное выполнение задач постредактирования.

Сейчас организация вплотную занимается разработкой нейронных систем, работающих в режиме онлайн, так как это позволяет совершенствовать систему всякий раз, как пользователь вручную вносит правки. 

Цель проекта состоит в том, чтобы использовать поток человеческих правок для оперативного обновления параметров нейронного АПР без необходимости останавливать его для переобучения (как это обычно делается в пакетных системах). Каждый раз, когда новый пользователь вносит правки, система обновляет свои параметры, чтобы следующие автоматические исправления были более качественными.

Это осуществляется в два этапа. Сначала, до обработки входящего предложения Х, система выбирает, на базе каких ранее отредактированных предложений, схожих с Х, работать в текущем случае. Далее система непосредственно обрабатывает предложение с помощью подстройки, которая учится на примере человеческих правок, внесенных в предложение Х.

Сколько будет стоить МП, после которого не потребуется АПР?

Мы провели оценку нейронной онлайн-системы АПР в ряде сравнительных экспериментов. Различные инструменты АПР применялись к переводам, полученным из мощных и «дорогих» нейронных систем МП (ранее оценку АПР проводили на основе более простого фразового МП). Представим разные условия, в которых пользователь, скажем, поставщик лингвистических услуг (ПЛУ), имеет доступ к различным источникам технологий МП и/или данным для обучения и адаптации. С учетом сложности последних двух параметров системы МП можно поделить следующим образом:

• Общие (G). Такая система обучается на основе огромного корпуса общей тематики (103 млн параллельных предложений). В таком случае ПЛУ полагается на полностью готовый механизм МП из «черного ящика», который нельзя дополнить или улучшить.
• Общие онлайн (GO). В этом случае общий механизм МП (G) обучается благодаря потоку человеческих правок, вносимых в машинный перевод (5,4 тыс. тестируемых единиц). В этом случае ПЛУ имеет доступ к «начинке» конкурентоспособной онлайн-системы нейронного машинного перевода.
•  Специальные (S). Такой инструмент МП строится на подстройке общего механизма G с использованием узкоспециальных данных (400 тыс.). ПЛУ имеет доступ не только к внутренним процессам системы нейронного машинного перевода, но и к массиву данных клиента.
•  Специальные онлайн (SO). Системы на основе моделей GO и S. Используются узкоспециальные данные для обучения и подстройки, а также поток правок от живого пользователя для онлайн адаптации результата. Подразумевается, что у ПЛУ есть доступ к массиву данных клиента и к «начинке» конкурентоспособной онлайн-системы нейронного машинного перевода.

На рис. 1 видно, что качество результата зависит от сложности системы: чем она сложнее, тем лучше перевод. Разница между общим инструментом МП из «черного ящика» и сложнейшей онлайн-системой узкоспециального нейронного МП составляет 14 баллов по метрике BLEU.

Во время испытаний результаты, полученные из четырех различных переводческих машин, были запущены в двух системах АПР:

•  Общая нейронная система АПР. «Стандартная» пакетная система, обучающаяся на последовательностях «исходный текст -> результат МП -> человеческие правки» (требуется 6,6 млн примеров) с использованием корпуса знаний широкой тематики eSCAPE.
•  Онлайн-система АПР. Эта система обучена с использованием многосторонней информации и продолжает обучаться на примерах человеческих правок.

Обе системы используют множество источников на основе подхода «кодер-декодер» с механизмами внимания. Их связь с оценкой BLEUпоказана на рис. 2.

Что это значит?

Во-первых, что неудивительно, пакетная система АПР с общими данными (без узкоспециальной информации) не способна улучшить качество сырого результата МП. Более того, хотя эффективность АПР повышается с ростом качества перевода, разрыв с результатами самых продвинутых систем нейронного МП увеличивается в худшую сторону (от –1,3 до –7,6 BLEU: системы G и SOсоответственно). Это подтверждает наш предыдущий вывод: требуется подстройка систем АПР для узкоспециальных сфер, а также необходимы онлайн-решения, позволяющие максимально эффективно использовать знания в тестовом периоде посредством изучения правок пользователей.

Во-вторых, онлайн-система АПР позволяет добиться значительных улучшений как с результатами обычного общего МП из «черного ящика» — G (+6,8 пункта), так и с результатами их онлайн-вариаций — GO (+2,5 пункта), и даже при редактировании результатов узкоспециальных моделей — S (+1,4 пункта). Наиболее интересно, как онлайн-системы АПР работают с текстами механизмов GO: даже когда в механизме машинного перевода и в системе автоматического постредактирования используется одинаковый специализированный массив данных для онлайн-адаптации, система автоматического постредактирования остается более восприимчивой к правкам, вносимым человеком. Для этого требуется куда меньший корпус (6,6 млн сегментов «исходный текст -> МП -> человеческие правки» против 103 млн параллельных предложений), кроме того, использование ценных человеческих правок во время тестов действительно оказывает положительное влияние на результаты.

В-третьих, необходимость использования онлайн-АПР уменьшается, когда повышается качество МП. Если речь идет об онлайн-механизме узкоспециального МП — SO, разница в метрике BLEUсоставляет всего 0,2 балла. Это подтверждает, что редактировать высококачественный перевод нейронных узкоспециализированных машин — сложная задача (даже для автоматизированных систем постредактирования в онлайн-режиме, когда система учится у пользователя, вносящего правки). При этом конечный результат становится лучше не только благодаря взаимодействию системы и пользователя во время тестирования, но и благодаря предварительной подстройке большого корпуса узкоспециальной информации (как в случае со специализированными оффлайн-машинами S).

Итак, отвечая на вопрос «Сколько будет стоить машинный перевод, после которого не потребуется автоматическое постредактирование?», стоит заметить, что обучение внутри узкой области и адаптация данных значительно улучшают эффективность МП, однако нельзя недооценивать дороговизну подобных действий. Что касается корпуса данных, сбор достаточного количества параллельных предложений по каждой узкой тематике — это фактор, который препятствует использованию нейронных механизмов в широком масштабе. Кроме того, далеко не каждый поставщик лингвистических услуг готов удовлетворять технологическим требованиям (например, открытый доступ к «начинке» механизма перевода) и нести вычислительные затраты (например, для узкой подстройки общей модели).

Вывод

Была рассмотрена передовая нейронная онлайн-система автоматического постредактирования и оценена эффективность ее применения к результатам перевода в сложных узкоспециальных нейронных машинах. Оказалось, что такая система АПР эффективна, если нужно отредактировать результат простого, общего МП из «черного ящика» (которыми чаще всего и пользуются переводчики). Также мы выяснили, что постобработка текста, полученного из подстроенной нейронной машины, обученной на огромном массиве параллельных данных — трудная задача. Однако ввиду затрат ресурсов и необходимости большого опыта немногие занимаются разработкой таких механизмов машинного перевода, после которых не потребуется использовать автоматическое постредактирование.

Материал был переведен с английского языка специалистами бюро переводов "Прима Виста". Источник: www.medium.com