От теории к продукту: как нейронный перевод Google вышел из лаборатории
Перевод и адаптация фрагмента большого материала «The Great A.I. Awakening» Gideon Lewis-Kraus из NYT Magazine (14 декабря 2016 года). Оригинал статьи https://www.nytimes.com/2016/12/14/magazine/the-great-ai-awakening.html. При работае над материалом помогли cпециалисты по английскому языку English Geeks.
Из теории в продукт
Между академической демонстрацией нейронного перевода и работающим продуктом для сотен миллионов пользователей лежит огромный технический разрыв. Доказать что нейросеть в принципе может переводить — одно; сделать так, чтобы перевод укладывался в задержку, незаметную для пользователя, выполнялся на доступной инфраструктуре, обучался на чистых данных и не «галлюцинировал» — совсем другое. Именно эту инженерную задачу команде Google Brain предстояло решить в 2016 году.
До этого момента команда нейронного перевода состояла всего из трёх человек — Шустера, Ву и Чэня, но при поддержке Хьюза более широкий коллектив начал формироваться. Они собирались под командованием Шустера по средам в 14:00 в угловой комнате здания Brain под названием «Кварцевое озеро». На совещания обычно приходило больше десятка человек, состав которых постоянно менялся.
Когда там бывали Хьюз или Коррадо, они чаще всего оказывались единственными носителями английского языка. Инженеры говорили на китайском, вьетнамском, польском, русском, арабском, немецком и японском, хотя в основном общались на своём эффективном пиджине и на языке математики. В Google не всегда совершенно ясно, кто ведёт совещание, но в случае Шустера двусмысленности не было.
Даже тогда необходимые шаги не были до конца ясны. «Эта история во многом о неопределённости — неопределённости на протяжении всего процесса, — сказал мне как-то Шустер. — Софт, данные, железо, люди. Это было похоже на» — он вытянул свои длинные изящные руки, слегка согнутые в локтях, от узких плеч — «плавание в огромном море грязи, и видишь только на такое расстояние». Он вытянул руку на двадцать сантиметров от груди. «Где-то там есть цель, и, возможно, она там».
В большинстве переговорных Google есть мониторы для видеосвязи, которые в режиме ожидания показывают фотоэкстремально высокого разрешения с перенасыщенными цветами из публичного доступа Google+ — лесные пейзажи, северное сияние или Рейхстаг. Шустер указал на одну из панелей, на которой застыл хрустально-чистый кадр с монументом Вашингтона ночью.
«Взгляд со стороны: у всех есть бинокли, и они видят далеко вперёд».
Данные, скорость и инфраструктура
Теоретическая работа, позволившая им дойти до этого момента, была уже кропотливой и затяжной, но попытка превратить её в жизнеспособный продукт — та часть, которую университетские учёные могли бы отмести как «всего лишь» инжиниринг — была не менее сложной. Во-первых, нужно было убедиться, что они обучаются на хороших данных. Миллиарды слов учебного «чтения» Google состояли в основном из полных предложений средней сложности — вроде тех, что можно найти у Хемингуэя.
Часть из них находится в открытом доступе: первоначальным «Розеттским камнем» статистического машинного перевода стали миллионы страниц полных двуязычных протоколов канадского парламента. Однако большая часть была извлечена из десяти лет накопленных данных, включая человеческие переводы, собранные методом краудсорсинга от восторженных добровольцев. В хранилище команды было около 97 миллионов уникальных английских «слов». Но после того как они удалили эмотиконы, орфографические ошибки и повторы, их рабочий словарный запас составил всего около 160 тысяч.
Затем нужно было перефокусироваться на том, что пользователи на самом деле хотят переводить, а это часто имело очень мало общего с разумным использованием языка. Google выяснил, что многие люди обращаются к сервису не для перевода полных, сложных предложений; они переводят странные маленькие осколки языка. Если вы хотели, чтобы сеть могла обрабатывать поток пользовательских запросов, вы должны были убедиться, что ориентируете её в этом направлении. Сеть была очень чувствительна к данным, на которых её обучали.
Как выразился Хьюз: «Система нейронного перевода учится всему, чему может. Она как маленький ребёнок. "Ой, папа говорит это слово, когда злится!"» Он рассмеялся. «Нужно быть осторожным».
Но важнее всего было убедиться, что всё это достаточно быстро и надёжно, чтобы пользователи этого не заметили. В феврале перевод предложения из десяти слов занимал 10 секунд. Никогда нельзя было внедрить что-то настолько медленное. Команда Translate начала проводить эксперименты с задержками на небольшом проценте пользователей в виде искусственно введённых пауз, чтобы определить их терпимость.
- Они выяснили, что перевод, занимающий в два раза больше времени или даже в пять раз больше, не будет замечен.
- А вот замедление в восемь раз — будет.
Не нужно было обеспечивать это для всех языков. В случае с высокотрафиковыми языками, такими как французский или китайский, они не могли позволить себе практически никакого замедления. Для чего-то более экзотичного они знали, что пользователей не так сильно отпугнёт небольшая задержка, если качество будет выше. Нужно было просто не допустить, чтобы люди отчаивались и переключались на чей-то сервис-конкурент.
Шустер, со своей стороны, признавал, что просто не знал, смогут ли они когда-нибудь сделать это достаточно быстро. Он помнит разговор в микрокухне, когда он повернулся к Чэню и сказал: «Должно быть что-то, чего мы не знаем, чтобы сделать это достаточно быстро, но я не знаю, что это могло бы быть».
Однако он знал, что им нужно больше компьютеров — GPU (графических процессоров, переконфигурированных для нейросетей) — для обучения.
Хьюз пришёл к Шустеру спросить, что тот думает. «Попросить тысячу GPU?»
Шустер сказал: «Почему не две тысячи?»
Десять дней спустя у них были дополнительные две тысячи процессоров.
Команда растёт, эксперименты идут параллельно
К апрелю первоначальная команда из трёх человек выросла до более чем 30 — некоторые из них, как Ле, были со стороны Brain, а многие из Translate. В мае Хьюз назначил своего рода временного ответственного за каждую языковую пару, и все они заносили свои результаты в большую общую таблицу оценки производительности.
В любой момент времени не менее 20 человек проводили собственные независимые недельные эксперименты и разбирались с неожиданными проблемами. Однажды модель ни с того ни с сего начала брать все числа, попадавшиеся ей в предложении, и выбрасывать их. Были месяцы, когда всё висело на волоске. «Люди почти кричали», — сказал Шустер.
К концу весны различные части начали складываться. Команда внедрила нечто под названием «модель словесных сегментов» (word-piece model), «штраф за покрытие» (coverage penalty), «нормализацию длины» (length normalization). Каждая часть улучшала результаты, говорит Шустер, возможно, на несколько процентных пунктов, но в совокупности они давали значительный эффект. После стандартизации модели это будет всего одна многоязычная модель, которая со временем будет улучшаться, вместо 150 различных моделей, которые Translate использовал в то время.
Тем не менее парадокс — что инструменту, построенному для дальнейшего обобщения процесса автоматизации с помощью обучающихся машин, потребовалось такое необычайное количество согласованной человеческой изобретательности и усилий — не ускользнул от них. Многое из того, что они делали, было просто интуицией. Сколько нейронов на слой вы использовали? 1024 или 512? Сколько слоёв? По сколько предложений вы прогоняли за раз? Как долго вы обучали?
«Мы провели сотни экспериментов, — сказал мне Шустер, — пока не поняли, что можем останавливать обучение через одну неделю. Ты всё время спрашиваешь: когда нам остановиться? Откуда я знаю, что я закончил? Ты никогда не знаешь, что закончил. Механизм машинного обучения никогда не совершенен. Нужно обучать, и в какой-то момент нужно остановиться. Такова очень мучительная природа всей этой системы. Некоторым людям это даётся тяжело. Это немного искусство — куда ты кладёшь кисть, чтобы сделать красиво. Это приходит с практикой. Одни люди лучше, другие хуже».
К маю команда Brain поняла, что единственный способ сделать систему достаточно быстрой для внедрения в качестве продукта — это запустить её на TPU, тех специализированных микросхемах, которые заказал Дин. Как выразился Чэнь: «Мы даже не знали, будет ли код работать. Но мы знали, что без TPU он точно работать не будет». Он помнит, как пошёл к Дину один на один и умолял: «Пожалуйста, зарезервируй для нас что-нибудь». Дин зарезервировал. Однако TPU не заработали прямо из коробки. Ву провёл два месяца, сидя рядом с кем-то из команды аппаратного обеспечения, пытаясь понять, в чём дело. Они не просто отлаживали модель; они отлаживали чип. Проект нейронного перевода должен был стать подтверждением концепции для всех этих инфраструктурных инвестиций.
В одну из сред в июне совещание в «Кварцевом озере» началось с пересудов о статье Baidu, которая недавно появилась на главном онлайн-форуме дисциплины. Шустер призвал зал к порядку. «Да, Baidu выпустили статью. Похоже на то, как если бы кто-то заглядывал нам через плечо — похожая архитектура, похожие результаты». BLEU-показатели компании были примерно такими же, каких Google достиг на внутренних испытаниях в феврале и марте. Ле, казалось, не был встревожен; он пришёл к выводу, что это знак того, что Google на правильном пути. «Она очень похожа на нашу систему», — сказал он с тихим одобрением.
Команда Google знала, что могла бы опубликовать свои результаты раньше и, возможно, опередить конкурентов, но, как выразился Шустер: «Запуск важнее публикации. Люди говорят: "О, я сделал это первым", но кому какое дело, в конце концов?»
Тихий запуск без анонса
Однако это означало, что необходимо во что бы то ни стало выпустить собственный сервис первыми и лучше. У Хьюза была фантазия, что они даже не будут уведомлять пользователей о переходе. Они просто подождут и посмотрят, взорвутся ли социальные сети подозрениями о радикальных улучшениях.
«Мы пока не хотим говорить, что это новая система», — сказал он мне в 17:36 через два дня после Дня труда, за минуту до того, как они выкатили перевод с китайского на английский на 10 процентов своих пользователей, никого не предупредив. «Мы хотим убедиться, что это работает. Идеал в том, чтобы это взорвалось в Твиттере: "Вы видели, каким офигенным стал Google Translate?"»
Опубликовано 27.05.2026 18:04