Baidu. Как китайский поисковик с помощью искусственного интеллекта обыграл Google
Шрифт:
При таком переводе объем данных должен быть огромным, иначе система окажется бесполезной. Поисковые системы, вроде Baidu или Google, могут собирать перевод из огромного количества человеческих высказываний в интернете. Только такие объемы данных способны прокормить NMT. Система сможет самостоятельно отладить механизм перевода. И результат будет лучше, чем при SMT. Особенно, если будет достаточно информации на языке перевода.
SMT использует локальную информацию. Фраза расчленяется на сегменты. Сегменты обрабатываются и переводятся. И только потом сшиваются вместе. NMT использует общую информацию. Система кодирует фразу полностью (как люди во время перевода сначала читают предложение целиком). А потом на основе закодированной информации генерирует перевод. За счет этого достигается более высокий
Например, один из важных аспектов в переводе – порядок слов. Китайцы размещают определения перед определяемым словом. А в английском определение находится после. Машины часто путают этот порядок. Преимущество NMT в его способности к обучению порядку слов в языке. Это обеспечивает плавность перевода в длинных предложениях.
Традиционные методы перевода не бесполезны. Каждый из них выполняет свою функцию. Например, при переводе идиом нельзя использовать дословный перевод. Они всегда имеют устойчивое значение. Потребности пользователей интернета разнообразны: перевод разговорного языка, резюме, новостей и прочего. Поэтому одним методом сложно удовлетворить все запросы. Baidu сочетает в себе сразу несколько традиционных методов перевода: перевод, основанный на грамматических правилах, на примерах, на статистике и на нейронных сетях.
В такой модели машинного перевода человек не ищет грамматические правила, а устанавливает математические модели и параметры, чтобы помочь компьютерной сети выявить правила самостоятельно. Когда человек вводит предложение и получает на выходе его перевод, он не думает, что происходит в середине цепочки. Это называется сквозным переводом. Этот удивительный подход называется байесовским, или скрытой марковской моделью. Для решения проблемы здесь используется теория вероятностей.
С помощью байесовского метода распределения информации можно построить модель личности по вероятностным характеристикам. Например, модель мужчины предполагает, что при чтении новостей он остановится на чтении статей, посвященных войне с вероятностью в 40 %. Женская модель – только 4 %. После того как читатель выберет военные новости, в соответствии с формулой Байеса (рис. 1-2), можно более точно рассчитать его пол и другие характеристики, используя другие поведенческие данные и комплексные расчеты. Это «волшебство» математики. Но, конечно, компьютерные нейронные сети используют не только математические методы.
Рис. 1-1. Байес и байесовская формула [2]
Метод использования искусственного интеллекта, подобный машинному переводу, предполагает использования огромных объемов информации. Интернет сейчас способен такие объемы предоставить. Раньше ученые только мечтали о них.
Интернет был создан для того, чтобы облегчить обмен информацией. В результате произошел информационный взрыв, который способствовал ускорению развития искусственного интеллекта.
2
Используется для представления условной вероятности случайных событий A и B, где P (A | B) – это вероятность того, что в случае B произойдет А.
В качестве доказательства приведу игру в шахматы. В 1952 году сир Сэмюэл написал программу для игры в шашки, чтобы повысить уровень собственного мастерства. Правила игры были относительно просты. И в этом отношении у компьютера было внушительное преимущество перед человеком. Но правила шахмат гораздо сложнее. Когда президент Baidu Чжан Яцин был директором института Microsoft, он пригласил на работу талантливого компьютерщика Сюй Фэн Сюна родом из Тайваня. Этот специалист во времена IBM (International Business Machines Corporation) разработал известного робота под названием «Шахматы втемную». В 1990-х гг. искусственный интеллект не представлял собой разновидность «Шахмат втемную». Его «мудрость» была заключена в суперкомпьютере (с использованием нескольких процессоров и параллельных вычислительных технологий), благодаря которому ИИ побеждал людей-шахматистов, а в 1997 году выиграл партию у Каспарова, чемпиона мира по шахматам. Вскоре после известной игры IBM отправила технологию «Шахматы втемную» в отставку. Чжан Яцин сказал Сюй Фэн Сюну: «Изобрети технологию для игры в Го, а потом найди меня и выиграй». Пока Чжан Яцин не покинул Microsoft, Сюй Фэн Сюн его так и не искал.
Технология «Шахматы втемную» сталкивается с некоторыми трудностями, которые на сегодняшний день не могут быть преодолены. Достичь прорыва в этом направлении так же сложно, как покорить Вселенную. Модель, которая опирается на алгоритм дерева решений, исчерпывает свои возможности и выходит за пределы пропускной способности компьютера. Алгоритм постоянно совершенствуется, но проблему в вычислениях решить пока не удается. У искусственного интеллекта есть все предпосылки для того, чтобы быть устойчивым перед лицом восточной мудрости. И новая эра уже не за горами.
Интернет-конференция
Технология «Шахматы втемную» представляла собой модель искусственного интеллекта, но, кажется, не имела ничего общего с интернетом. Но развитие облачных вычислений и возможности управления большими объемами информации наконец-то объединили ИИ и интернет в одну устойчивую технологию, которая существенно отличается от «Шахмат втемную». Распределенные вычисления в сочетании с большими объемами информации и новым алгоритмом принятия решений демонстрируют успешное сочетание человеческого и машинного интеллекта.
В 2016-2017 годах AlphaGo (программа для игры в го) всколыхнула человечество. Процесс ведения игры AlphaGo отличается и от человеческого мышления, и от «Шахмат втемную». Проще говоря, механизм питается десятками миллионов человеческих шахматных партий. Выражаясь более профессионально, успеху AlphaGo способствовали алгоритм поиска Монте-Карло и механизм распознавания образов, основанные на глубоком обучении. Однако ни его предшественники, ни «Шахматы втемную» к технологии глубоко обучения отношения не имели.
Согласно исследованиям, AlphaGo не изобретает собственный механизм игры, а изучает десятки миллионов игроков (массивы данных). Он запоминает каждый ход, каждую игру из миллионов ситуаций и использует данные для обучения с помощью нейронной сети. Все это делается для того, чтобы иметь возможность предсказать, как мастер-человек сумеет выйти из той или иной ситуации. На практике компьютер анализирует текущую ситуацию и находит ее аналоги в прошлом. Затем ищет возможные варианты развития и выбирает несколько наиболее оптимальных. Таким образом, вместо того, чтобы пробовать все возможные варианты, он останавливается на наиболее выгодных. Тем самым сокращает объем вычислений. Система не истощается и получает защиту от поражения. Этот подход похож на человеческий. Мы не пробуем все подряд, а выбираем несколько вариантов, опираясь на опыт и чувства. Но после того, как сделаем свой выбор, мы все еще должны производить подсчеты и сравнения в поисках оптимального хода. Машина же передаст эти расчеты алгоритму поиска Монте-Карло.
Ниже я использую метафору. Она не точная, но достаточно понятная.
Поиск решения по методу Монте-Карло – это оптимизация предыдущего алгоритма дерева решений. Предыдущий алгоритм, даже если он предоставлял качественный вариант решения задачи, должен был быть единственным в каждой точке для того, чтобы выбрать следующую ветвь с бесконечным множеством менее рациональных вариантов решения.
Метод Монте-Карло основывается на тонкостях теории вероятности. Представим шахматную ситуацию, где сеть глубокого обучения дает три возможных варианта на ход – А, В, С. Три точки в качестве корневого узла можно представить, как три дерева, каждое из которых имеет бесконечное число ветвей. Метод Монте-Карло не проверяет каждую из ветвей, но отправляет три миллиона муравьев по одному на каждую ветвь, чтобы те быстро поднялись на верхушку дерева (то есть, чтобы они шли до тех пор, пока не доберутся до варианта, который обеспечит победу). Некоторые из них доберутся до победной точки. Предполагается, что все муравьи ищут наиболее эффективное решение, а не вариант, в котором партия завершится поражением.