Опасность ИИ заключается не в том, что он восстанет против нас, как считали фантасты, а в том, что он будет делать именно то, о чем мы его попросим, предупреждает исследователь Джанел Шейн, автор книги «Ты похож на вещь, но я люблю тебя». Это может серьезно охладить пыл компаний, которые внедряют эту технологию в свой бизнес — вместо старательного помощника они получат обезьяну с гранатой, которая может распугать клиентов и обрушить все процессы.

Сильвиан Дюрантон из Boston Consulting Group (руководит BCG Gamma, командой из 800 специалистов по ИИ, внедрившей более 100 уникальных решений с использованием ИИ для крупных компаний по всему миру), ссылается на недавний опрос: три четверти из 7 тысяч его участников беспокоит влияние ИИ на рынок труда и частную жизнь. Любопытно, что сейчас бояться слишком умных программ начинают не только рядовые сотрудники, но и сами компании, столкнувшиеся с неожиданным вредом, которые незаметно приносит эта технология.

С самой безобидной глупостью оставленного без присмотра ИИ встречался каждый — когда контекстная реклама неоднократно предлагает товар отнюдь не повседневного спроса, вроде сиденья для унитаза, человеку, который только что его приобрел, рассказывает Дюрантон. Впрочем, когда покупателю погребальной урны многие месяцы после кончины близкого человека предлагают приобрести еще парочку, это уже не смешно.

В книге «Ты похож на вещь, но я люблю тебя: как работает искусственный интеллект и почему он превращает мир в странное место» Джанел Шейн приводит ряд примеров, как неуклюже выполняет ИИ большинство задач, с которыми человек легко бы справился. Например, в качестве эксперимента она поручала компьютеру придумать новые вкусы мороженого на базе существующих — и тот выдавал неаппетитные варианты «тыквенная мусорная куча» или «клубничная болезнь», а просьба придумать новые названия цветов по тому же принципу приводила к появлению расцветок «какашки Синди» и «страдание». «Я думала, что прошу его придумать красивые названия цветов, но на самом деле я попросила его просто подражать комбинациям букв, которые он видел в оригинале. И я ничего не сказала ему о значении слов или о том, что некоторые слова лучше не использовать в названиях цветов. Все, что он знает о мире, — это данные, которые я ему предоставила. Именно посредством данных мы случайно можем поручить ИИ сделать что-то неправильное», поясняет Шейн. Работа с ИИ похожа на взаимодействие не с другим человеком, а скорее, со стихией.

Случайно поставить перед ИИ неправильную задачу очень легко — и зачастую вы не узнаете об этом, пока что-то не пойдет не так. Масштаб «чего-то» может вас обескуражить. Не так давно Гарвардская школа бизнеса обвинила боты, сканирующие резюме кандидатов, ни много ни мало в поломке системы найма США — они, конечно, существенно экономят время эйчаров, но при этом формально подходят к требованиям и поэтому отсеивают подходящих кандидатов. ИИ не виноват — эйчары, составляя списки требований, не отдают себе отчет в том, как их интерпретирует машина. Например, одна из больниц в США требовала от врача наличие навыка «программирования», имея в виду всего лишь то, что доктору нужно будет вводить данные пациента в компьютер. Эйчар-бот, не найдя в резюме кандидата языков программирования, выбросит его из рассмотрения. Компания требует от менеджера по продажам в числе прочего умение полировать пол в магазине, и программа будет искать навык полировки пола в резюме продажника — разумеется, безуспешно.

Но ведь машина может учиться сама, анализируя имеющуюся информацию? Увы, умение ИИ обучаться самостоятельно на больших массивах данных тоже не панацея. Дюрантон приводит в пример систему одобрения заявок на поступление в университет, отклонявшую многих подходящих абитуриентов. Дело в том, что на основании данных предыдущих лет ИИ вычислил характеристики успешных и неуспешных студентов. Некоторые из них очевидны — например, средний балл. Но если случится так, что в прошлом не поступил ни один абитуриент с определенным почтовым индексом — чистая случайность, так вышло, — велика вероятность, что ИИ сформулирует соответствующее правило и впредь откажет всем абитуриентам с этим индексом. Проверить все правила, которыми в данный момент руководствуется машина, невозможно — ИИ постоянно учится. Претензии не предъявишь — все честно, ко всем применили один и тот же набор объективных правил. Соответствует ли результат задаче? Очевидно, нет.

Нечто похожее случилось в Amazon. Гигант-ретейлер отказался от использования алгоритма отбора резюме, который разрабатывал: выяснилось, что он дискриминирует женщин. Но не потому, что его писали программисты-женоненавистники: алгоритм обучался на выборке резюме кандидатов, которых нанимали в прошлом, до наступления эры всеобщего равенства. Поскольку женщины тогда реже шли в ИТ, да и за толерантностью никто особо не следил, на работу брали в основном мужчин — и искусственный разум решил отсеивать резюме, в которых встречались слова «женщина» или «женский». Например, «женская футбольная команда», «женский колледж». И даже «общество женщин-инженеров». Технически он сделал то, о чем его просили, просто перед ним неправильно поставили задачу. ИИ не знал, что именно такое поведение рекрутеров прошлого повторять не нужно.

ИИ может оказывать разрушительный эффект, не осознавая этого, продолжает Шейн. Например, алгоритмы ИИ, которые предлагают новый контент на Facebook и YouTube, оптимизированы для увеличения количества кликов и просмотров. Все бы ничего, но один из способов этого добиться — рекомендовать контент с теориями заговора и разного рода фанатизмом. Сами ИИ понятия не имеют ни о содержании контента, ни о последствиях его рекомендации. 

Группа исследователей обучила ИИ распознавать на фотографиях линя. Но когда они спросили, какие части изображений ИИ использовал, чтобы распознать эту рыбу, тот показал им человеческие пальцы. С какой стати ИИ ищет на изображении пальцы, пытаясь распознать рыбу? Оказывается, линь — классический трофей на рыбалке, и на множестве фотографий, которые видел ИИ в ходе обучения, рыбу держал счастливый рыбак. Искусственный разум не понял, что пальцы не относятся к рыбе.

Поэтому распознавание изображений в беспилотных автомобилях так сложно спроектировать, поясняет Шейн. В 2016 году в автокатастрофе погиб водитель Tesla, использовавший в городе автопилот, разработанный для передвижения по трассе. Перед машиной выехал грузовик, но она не затормозила. Судя по всему, ИИ был обучен распознавать грузовики при движении по шоссе, где грузовики можно увидеть, как правило, сзади, но не сбоку. И когда ИИ увидел этот грузовик, он, возможно, распознал его как дорожный знак и поэтому решил, что под ним можно безопасно проехать. Впрочем, этот инцидент не удивляет, если вспомнить, что в 2018 и 2019 годах 346 человек погибли в двух катастрофах «Боингов 737 МАХ» просто потому, что пилоты не справились с новой компьютерной системой управления, пославшей самолеты в пике без их ведома.

Поскольку при использовании ИИ именно мы должны заботиться об отсутствии проблем, все сводится к извечной проблеме коммуникации. Людям нужно научиться общаться с ИИ, говорит Шейн. «Мы должны изучить, на что ИИ способен, а что ему недоступно. Другими словами, нужно смириться с тем, что нам придется работать не с суперумным всезнающим ИИ из научной фантастики, а с тем, что у нас есть сейчас». 

И речь идет не о знании того, как машина обработает введенные данные, — от нас потребуется практически слиться в единое целое. Как пишет израильский историк и футуролог Юваль Ной Харари в книге «21 урок для XXI века». Будущее успешных бизнесов — за такими кентаврами.

Будущее успешных бизнесов — за такими кентаврами.

Путь «Человек плюс ИИ» — долгий, дорогой и сложный, признает Дюрантон. Команды сотрудников от бизнеса, ИТ и анализа данных должны работать месяцами, чтобы вручную подобрать наилучшую комбинацию из ИИ и людей. Лишь 10% всех усилий уйдет на создание алгоритмов, 20% — на технологии вокруг них, сбор данных, разработку интерфейса, интеграцию с имеющимися системами. А 70% — на то, чтобы переплести ИИ, людей и процессы для наилучшего результата. «Бизнес-лидеры должны проявить смелость, выделить людей из лучших команд ИТ, ИИ, аналитиков данных и специалистов по этике и пройти полный цикл «Человек плюс ИИ», если они хотят эффективно внедрить ИИ в свои команды и процессы. Другого способа нет. Но награда того стоит».

Человек должен решить, что правильно, а что нет, и определить, что разрешено делать ИИ. Только люди могут очертить эти границы. ИИ не найдет их в накопленных данных. А если и найдет, может интерпретировать самым неожиданным образом. И, конечно, есть еще вопросы этики: где граница между персонализацией и манипуляцией, подбором предложений и дискриминацией, целевым маркетингом и вторжением в личную жизнь? Ее тоже устанавливает человек, напоминает Шейн. Команда Дюрантона работала на агентство медицинского страхования. «Оно разработало механизм ИИ, чтобы выделить среди клиентов тех, кто мог вскоре попасть в больницу, чтобы продать им премиальную страховку. Проблема в том, что некоторых потенциальных клиентов обзванивали в тот момент, когда они еще не подозревали, что скоро им придется обратиться за медицинской помощью. Представьте себя директором этой компании. Вы бы закрыли эту программу?» — спрашивает эксперт.

Когда речь идет о менее сложных этических задачах, кентавры выигрывают с большим отрывом. Розничная сеть модной одежды благодаря им начала экономить свыше $100 млн в год, рассказывает Дюрантон. Вначале перед его командой поставили задачу создать ИИ, который превосходил бы байеров сети в предсказании будущих продаж. Команда за несколько недель обучила модель на имеющихся данных и организовала соревнование с байерами-людьми. ИИ победил, уменьшив ошибку в прогнозах на 25%. «Сторонники бесчеловечного подхода попытались бы применить эту первую модель и устроить состязание со всеми байерами-людьми, — комментирует Дюрантон, — но мы знали, что байеры-люди обладают пониманием модных трендов, которые нельзя найти в прошлых данных. Здесь начались наши 70%».

В следующей итерации людям разрешили вносить поправки в рекомендуемый объем закупок — и 75% поправок оказались неудачными. Ну теперь-то людей точно надо уволить? Нет. «Это означало, что надо переделать модель, чтобы люди не пытались угадать, где ИИ ошибся, а напротив, чтобы ИИ получал реальные входные данные от байеров-людей. Не «Эй, человек! Вот что я прогнозирую, поправь, как ты хочешь», а «Эй, люди! Я не знаю тренды на следующий год. Вы могли бы поделиться своими самыми креативными догадками?», «Эй, люди! Вы могли бы помочь мне с количеством этих вещей размера XL? Я не могу найти для них хорошего соответствия в прошлых данных». Через год байеры-кентавры сократили количество ошибок в прогнозах на 50%.

«Человек плюс ИИ» — наш единственный способ принести пользу ИИ в реальный мир, уверен Дюрантон. Чтобы стать победителем, сегодня надо инвестировать в человеческие знания, а не только в ИИ и данные — в найм, обучение и поощрение людей-экспертов. «Говорят, что данные — это новая нефть, но поверьте мне, человеческие знания играют решающую роль, потому что это единственная буровая вышка, которая позволит выкачать нефть, сокрытую в данных», — убежден он. 

К слову, Илон Маск не собирается заменять роботами сотрудников на производстве Tesla. Роботу-гуманоиду, прототип которого компания собирается выпустить в 2022 году, поручат разве что скучные рутинные дела вроде закупки продуктов, уверяет предприниматель.