Машинное обучение на практике – от модели PyTorch до Kubeflow в облаке для BigData

Штольц Евгений

* генерация изображения по текстовому описанию: нейронная сеть Николай Иронов от студии дизайна Студии Артемия Лебедева генерит коммерческие логотипы.

* внедрены системы управления бизнес процессами на основе обучения с подкреплением (игрового принципа обучения);

* многие страны создали стратегии развития AI на государственном уровне, так в России принята стратегия указом №490 "О развитии искусственного интеллекта в Российской Федерации";

* на законодательном уровне формируется экосистема для AI: в России принят закон посвящённых AI (Закон

об искусственном интеллекте 123-ФЗ).

* обучение на малых датасетах: копирование голоса по записи длительностью в 4 часа как SaaS продукт.

* виртуальная ведущая Елена от Сбербанка эмулирует мимику во время разговора, но не очень естественно, на мой взгляд.

Достижение на 2022 год:

* Кроме OpenAI Codex (Copilot, модель GPT3 обученная на коде), есть DeepMind AlphaCode, TabNine и многие другие уже встроенные в популярные среды разработки кода.

* Голосовой собеседник LaMDA признан достаточно правдоподобным в диалоге.

Но не стоит забывать про стандартные задачи:

* Intelligent document processing – извлечение структурированных данных из неструктурированных бумажных документов;

* Process Mining – описание реальных процессов по цифровым следам, определение узких мест и зацикливаний и возможных решений.

Достижения это хорошо, но это демонстрация потенциальных возможностей. Давайте посмотрим, что добились нейронные сети в индустрии на основании отчёт об искусственном интеллекте Artificial Intelligence Index Report 2021.

Посмотрим на качественный прогресс в IMAGENET Calange. Это соревнование по распознаванию картинок нейронными сетями. Создана очень большая база изображений (датасет). В этот датасет входят разные изображения по 200 категориям. В категории TOP-1 accuracy нейронная сеть должна с одной попытки угадать категорию, например, это самолёт или туфли. В категории TOP-5 accuracy нейронная сеть должна с пятью попыток угадать категорию. Как мы увидим, прогресс постепенно выходит на плато:

год – TOP-1 – TOP-5 2013 – 65% – 85% 2014 – 74% – 87% 2015 – 79% – 92% 2016 – 83% – 95% 2017 – 84% – 97% 2018 – 85% – 97.5% 2019 – 86% – 97.6% 2020 – 86% – 97.7% 2021 – 86.5% – 97.9%

Давайте посмотрим другие показатели. Так до 2017 года дополнительные данные не давали преимущества, а лишь ухудшали результат. В 2017 году результаты сравнялись, а после с дополнительными данными результаты линейно обгоняют простого обучения на датасете. Сейчас TOP-1 = 90.2%, TOP-5 = 98.8. Возможно, именно в них и будет прогресс.

Также скорость обучения выросла: 2018 – 6.2…10 минуты, 2019 – 1.3…9 минуты, 2020 – 47 секунд до 1 минуты. Время всё же снижается кратно, хоть и по убывающей, а ресурсы увеличиваются экспоненциально, но и сложность нейронных сетей возрастает, чтобы показывать результаты более высокие. Но, хоть и ресурсов требуется гораздо больше, но в реальности нас интересует стоимость, а она постоянно снижается: 2018 – 500$, 2019 – 10$, 2020 – 8$, хоть и затухающе.

Может быть ситуация связан с утиханием интереса среди учёных к искусственному интеллекту?

Но, нет, доля публикаций в AI со времени прорыва в распознавании изображений относительно всех публикаций экспоненциально растёт:

год – % 2011 – 1.4 2012 – 1.2 2013 – 1.2 2014 – 1.3 2015 – 1.5 2016 – 1.8 2017 – 2.0 2018 – 2.5 2019 – 3.8

Общее число публикаций тоже растёт, причём экспоненциально:

2011 – 0.1 тысяч 2012 – 0.2 тысяч 2013 – 0.3 тысяч 2014 – 0.5 тысяч 2015 – 1.1 тысяч 2016 – 1.9 тысяч 2017 – 3.0 тысяч 2018 – 3.5 тысяч 2019 – 5.8 тысяч 2020 – 6.5 тысяч

Рассмотрим США, так как она занимает лидирующее место по публикациям (36,3%) в AI от других стран в совокупи, что не удивительно, ведь доля PHD полученных в США от всех стран в совокупи в AI составляет 81,8%. PHD по компьютерным наукам специализация на ML/AI лидирует с долей 25% от всех направлений по компьютерным наукам, отрываясь от Теории алгоритмов с долей 8%. При этом скорость роста популярности за год у ML/AI самая высокая: 9%. А подробнее про рост с 2019 по 2020 (остальные показывают снижение популярности):

Artificial Intelligence/Machine Learning 9% Robotics/Vision 2.6% Human-Computer Interaction 2% Security/Information Assurance 2% Computing Education 1.4% Databases/Information Retrieval < 1% High Performance Computing < 1% Theory and Algorithms < 1% Information Science < 1% Social Computing/Social Informatics/CSCW < 1%

При этом с каждым годом, получившие степень PhD (Doctor of Philosophy) в США, всё больше находят работу в частных компаниях, что подтверждает, что компании оценивают потенциал AI, который они смогут применить.:

год % 2010 – 44 2011 – 41 2012 – 50 2013 – 50 2014 – 58 2015 – 58 2016 – 60 2017 – 58 2018 – 61 2019 – 65

При этом важно заметить, что растут публикации не только издаваемые государственными учреждениями, такими как институтами и государством при написании докторских работ, но и корпоративные, то есть те, которые предполагается использовать в реальном бизнесе и тенденция показывает экспоненциальный рост:

год Китай США 2010 – 0,2 тысяч 0,7 тысяч 2011 – 0,2 тысяч 0,7 тысяч 2012 – 0,2 тысяч 0,8 тысяч 2013 – 0,3 тысяч 0,9 тысяч 2014 – 0,3 тысяч 1,0 тысяч 2015 – 0,4 тысяч 1,3 тысяч 2016 – 0,5 тысяч 1,5 тысяч 2017 – 0,7 тысяч 2,0 тысяч 2018 – 1,1 тысяч 2,7 тысяч 2019 – 1,6 тысяч 3,6 тысяч

Раз есть публикации, значит есть и исследования, а наиболее полезные обычно (зависит от страны) патентуют. При этом рост экспоненциальный числа патентов в IA и доля IA патентов постепенно растёт от общего числа патентов:

год – тысяч патентов 2009 – 39 2010 – 42 2011 – 49 2012 – 56 2013 – 60 2014 – 60 2015 – 60 2016 – 57 2017 – 61 2018 – 78 2019 – 102

Ориентируясь на сегментацию AI публикаций на сайте arXiv можно косвенно провести с общей ситуацией по росту направлений в AI. В приведённой ниже статистике они все показывают рост и при том линейный. Наибольший рост показали Computer Vision (31% от общего) и нейронные сети (32% от общего):