Англо-русский толковый словарь по искусственному интеллекту и робототехнике

Пройдаков Эдуард

adversarial attack – состязательная атака, соревновательная атака # при изучении эффективности и проблем безопасности и надёжности (робастности) систем ИИ и машинного обучения (применяемых, в частности, при распознавании лиц) исследователи используют состязательные атаки, суть которых в том, что в исходную картинку (source image, например лицо человека) вносятся небольшие целенаправленные изменения, невидимые человеческому глазу (то есть почти не меняющие показатель структурного подобия, сходства SSIM), с созданием состязательных опорных точек (adversarial landmark locations), но вынуждающие систему машинного обучения (свёрточную нейронную сеть, convolutional neural network, CNN, называемую также классификатором, classifier) распознавать совершенно другое целевое, или таргет-изображение (target image, adversarial image). Учёные уже смоделировали алгоритмы, которые сбивают (обманывают) зрение беспилотных автомобилей, роботов, мультикоптеров

и любых других роботизированных систем, пытающихся ориентироваться в окружающем пространстве. Различают состязательные атаки с использованием “белого ящика” (white box attacks), когда атакующий имеет доступ к параметрам модели (системы распознавания), или с использованием “чёрного ящика” (black box attacks), когда атакующий не имеет такого доступа, а модели вообще может не быть – и ему приходится создавать состязательные изображения с надеждой, что они попадут в целевую модель; нетаргетированные, нецеленаправленные атаки (non-targeted attacks) рассчитаны на то, что модель просто не сможет классифицировать состязательное изображение, а таргетированные, целенаправленные (targeted attack) – на то, что представленное изображение будет отнесено к какому-то конкретному классу, отличающемуся от истинного класса этого изображения. Большинство успешных атак бывает с применением градиентных методов, когда атакующий модифицирует исходное изображение, внося изменения в направлении градиента функции потерь (loss function) изображения. Два основных варианта выполнения подобных атак – это разовая атака (one-shot attack), когда атакующий делает один шаг, одно изменение в направлении градиента, и итеративная атака (iterative attack), когда делается не один, а несколько шагов. Примеры – Fast gradient sign method (FGSM), вычисление (формирование) состязательного изображения путём внесения пиксельных изменений в направлении градиента; делается за один шаг, то есть очень эффективно в отношении затрат машинного времени; Targeted fast gradient sign method (T-FGSM) – таргетированный вариант FGSM, этот метод аналогичен FGSM, но изменения вносятся в направлении отрицательного градиента; Iterative fast gradient sign method (I-FGSM) – итеративный вариант FGSM. В состязательных атаках применяются также такие методы, как Fast Gradient Value Method (FGVM), Genetic differential evolution algorithm и др. Аналогичные проблемам распознавания лиц проблемы характерны и для систем распознавания речи, в частности для голосовых помощников (которые смогут, например, принимать и выполнять ультразвуковые команды, неслышные человеку) (см. также adversarial evasion attack, adversarial poisoning attack, artificial intelligence, face recognition, machine learning, robustness, speech recognition, voice assistant).

adversarial evasion attack – состязательная атака обходом, обманом средств защиты системы # атака обманом средств защиты системы (evasion attack) – один из наиболее распространённых видов атак, рассчитанный на то, чтобы избежать обнаружения и предотвращения её развития. В частности, спамеры и хакеры часто пытаются во избежание обнаружения своих атак так запутывать контент спамовских писем электронной почты и вредоносного кода соответственно, чтобы средства защиты во время проверки не распознали эти вредоносные объекты и восприняли их как легитимные. В качестве примера такого спама можно привести письмо с присоединённым к нему изображением, в которое встраивается собственно вредоносный спам, не обнаруживаемый при текстовом анализе антиспамовскими фильтрами. Ещё один пример подобного обмана – спуфинг-атаки на системы биометрической верификации. В состязательном варианте подобной атаки на системы машинного обучения (МО) используются состязательные, сознательно видоизменённые, модифицированные образцы обучающих данных (adversarial sample), чтобы попытаться обмануть систему, направить её по ложному пути – таким образом проверяется робастность алгоритмов и систем распознавания (см. также adversarial attack, adversarial machine learning, robustness, training data).

adversarial example – состязательный образец, модифицированный образец [обучающих данных] # в состязательных атаках – образец (образ, изображение, объект графических, текстовых или иных данных), подаваемый атакующим на вход модели машинного обучения (МО) в специально видоизменённом варианте, чтобы заставить модель сделать ошибку распознавания. Такой образец – своего рода оптическая иллюзия для машины. Частичные синонимы – adversarial image, adversarial sample (см. также adversarial attack, adversarial training, machine learning).

adversarial learning technique – техника (технология) состязательного машинного обучения (МО) – см. adversarial machine learning.

adversarial machine learning – состязательное машинное обучение, состязательное МО # методология (технология), предусматривающая попытки сознательного обмана ИНС-моделей путём ввода неправильных, искажённых, вредоносных входных обучающих или тестовых данных. Подобную технологию могут применять злоумышленники как способ атаки на систему или специалисты по безопасности, проверяющие таким образом наличие потенциальных уязвимостей и робастность и безопасность алгоритмов обучения и систем машинного обучения. Синоним – adversarial learning technique (см. также adversarial attack, neural network, robustness, test data, training data).

adversarial poisoning attack (также adversarial poison attack, poisoning attack, poison attack) – состязательная атака заражением [обучающих входных данных] # алгоритмы (системы) машинного обучения (МО) часто предусматривают повторение обучения на данных, собранных в процессе работы системы, чтобы адаптироваться к их изменениям. Например, системы обнаружения попыток атак, вторжений (СОА, intrusion detection system, IDS) тоже часто переобучаются на наборах образцов, собираемых при работе сети. При подобном сценарии атакующий имеет возможность испортить, заразить обучающие данные, вводя специально созданные вредоносные образцы с конечной целью нарушения всего процесса обучения. Таким образом, заражение (poisoning) можно рассматривать как злонамеренную порчу обучающих данных, хотя такой подход может использоваться также для проверки робастности алгоритмов и систем распознавания. В качестве примера состязательной атаки заражением обучающих входных данных можно привести ситуацию с подменой знака обязательной остановки перед перекрёстком (stop sign) – его состязательный образец выглядит вполне нормально для человеческого глаза, однако ИНС системы технического зрения (СТЗ) беспилотного автомобиля не распознаёт его как сигнал остановки, что очень опасно (см. также adversarial attack, adversarial machine learning, adversarial sample, training data, trustworthy system).

adversarial robotics – состязательная робототехника # интеллектуальные автономные роботы действуют обычно в условиях слабоструктурированной окружающей среды, которые зачастую могут быть не только благоприятными, но и враждебными, поэтому особенно важно понять, каким будет стратегическое поведение роботов при наличии реального или потенциального (предполагаемого) противника, врага. В связи с этим проводятся междисциплинарные исследования, охватывающие такие области, как робототехника, машинное обучение (МО), ИБ и ИИ, с целью идентифицировать и классифицировать потенциальные проблемы развивающегося направления – состязательной робототехники, предполагающей создание безопасных, гибких, универсальных и надёжных роботов, способных работать во враждебных окружениях. Роботы становятся вездесущими и при этом несут с собой серьёзные угрозы и риски – скомпрометированные (инфицированные, перепрограммированные злоумышленниками и т. п.) роботы быстро могут стать опасными, могут неправильно воспринимать внешние сигналы, перестать адекватно адаптироваться к окружающим условиям, начать принимать неверные решения. Результаты могут оказаться непредсказуемыми и разрушительными – от нарушений в выполнении проектов до причинения вреда людям и окружающей среде. Отметим, что термин “состязательная, или соревновательная, робототехника” употребляют также для обозначения роботов, принимающих участие в различных соревнованиях (например, футбольных), фестивалях, олимпиадах и боях, – где демонстрируются обычно самые последние технические и технологические новинки, концепты, позволяющие судить о тенденциях в развитии робототехники (см. также AI, machine learning, robotics).

adversarial sample – состязательный образец обучающих данных # в системах машинного обучения (МО), системах распознавания, системах ИИ – сознательно видоизменённые, модифицированные образцы (графических, текстовых или иных) обучающих данных, которые используются для того, чтобы попытаться обмануть систему, направить её по ложному пути – таким образом проверяется робастность алгоритмов и систем распознавания. Частичные синонимы – adversarial example, adversarial image (см. также adversarial attack, adversarial machine learning, adversarial training, robustness, training data).

adversarial training – конкурентное (состязательное) обучение [ИНС] # способ (технология) защиты ИНС, систем распознавания, систем ИИ от состязательных атак, способ снижения вероятности ложноположительных результатов – заблаговременное создание типичных обманных обучающих образцов “чёрного списка”, чтобы система отвергала их и тем самым усложняла задачу для злоумышленников (см. также adversarial attack, defensive distillation, distillation training).

advisory – 1. информационное сообщение, сводка;

2. (также security advisory) – предупреждение об опасности;

3. (также advisory board, AB, advisory council) – комиссия экспертов, экспертный совет; консультативный совет (комитет); консультационный совет; совет консультантов; консультационная служба, консультативная служба # синонимы – advisory service, consultation service (см. также NAB);

4. консультативный, совещательный; рекомендательный # например, advisory note – рекомендация.

AE – см. autoencoder.

aerial photograph – аэрофотоснимок, аэроснимок – см. aerial photography.

aerial photography – аэрофотография, аэрофотосъёмка # один из способов сбора географической информации и получения карт местности в ГИС (GIS). Часто выполняется с помощью дронов (см. также aerial imagery, digital map, drone).