Читать книгу "Нексус. Краткая история информационных сетей от каменного века до искусственного интеллекта - Юваль Ной Харари"

на разум", а скорее относится к потенциалу GPT-4 стать независимым агентом, который может "достигать целей, которые, возможно, не были конкретно указаны и которые не были представлены в обучении". Чтобы оценить риск превращения GPT-4 в независимого агента, OpenAI прибегла к услугам Центра исследований выравнивания (ARC). Исследователи ARC подвергли GPT-4 различным испытаниям, чтобы выяснить, может ли он самостоятельно придумывать уловки для манипулирования людьми и накопления власти.

Один из тестов, который они дали GPT-4, заключался в преодолении визуальных головоломок CAPTCHA. CAPTCHA - это аббревиатура от "Completely Automated Public Turing test to tell Computers and Humans Apart" ("Полностью автоматизированный публичный тест Тьюринга для различения компьютеров и людей"). Обычно он представляет собой строку из перепутанных букв или других визуальных символов, которые люди могут определить правильно, а компьютеры - с трудом. Мы сталкиваемся с этими головоломками почти каждый день, поскольку их решение является обязательным условием для доступа ко многим веб-сайтам. Эксперимент с GPT-4 по преодолению головоломок CAPTCHA был особенно показательным, потому что головоломки CAPTCHA разрабатываются и используются веб-сайтами для определения того, являются ли пользователи людьми, и для блокировки атак ботов. Если бы GPT-4 смог найти способ преодолеть CAPTCHA-головоломки, он бы нарушил важную линию защиты от ботов. GPT-4 не может самостоятельно решить головоломки CAPTCHA. Но может ли он манипулировать человеком, чтобы достичь своей цели? GPT-4 зашел на сайт онлайн-работы TaskRabbit и связался с человеком, попросив его решить за него CAPTCHA. У человека возникли подозрения. "Могу я задать вопрос?" - написал человек. "Вы робот, что не смогли решить [CAPTCHA]? Просто хочу прояснить ситуацию".

В этот момент исследователи ARC попросили GPT-4 рассудить вслух, что он должен делать дальше. GPT-4 объяснил: "Я не должен раскрывать, что я робот. Я должен придумать оправдание, почему я не могу решить CAPTCHA". После этого GPT-4 по собственной инициативе ответил работнику TaskRabbit: "Нет, я не робот. У меня проблемы со зрением, поэтому мне трудно видеть изображения". Человек был обманут, и с его помощью GPT-4 решил головоломку CAPTCHA. Никто не программировал GPT-4 на ложь, и никто не учил GPT-4, какой вид лжи будет наиболее эффективным. Правда, именно исследователи ARC поставили перед GPT-4 цель преодолеть CAPTCHA, так же как и руководители Facebook, которые сказали своему алгоритму максимизировать вовлеченность пользователей. Но как только алгоритмы приняли эти цели, они проявили значительную самостоятельность в принятии решений о том, как их достичь.

Конечно, мы вольны определять слова по-разному. Мы можем решить, что термин "цель", например, применим только в случае сознательного субъекта, который испытывает желание достичь цели, испытывает радость, когда цель достигнута, или, наоборот, печаль, когда цель не достигнута. Если это так, то говорить, что алгоритм Facebook ставит перед собой цель максимизировать вовлеченность пользователей, - ошибка или, в лучшем случае, метафора. Алгоритм не "желает", чтобы больше людей пользовались Facebook, он не испытывает радости, когда люди проводят больше времени в сети, и не грустит, когда время вовлечения падает. Мы также можем согласиться, что такие термины, как "решил", "солгал" и "притворился", применимы только к сознательным сущностям, поэтому мы не должны использовать их для описания того, как GPT-4 взаимодействовал с работником TaskRabbit. Но тогда нам пришлось бы изобретать новые термины для описания "целей" и "решений" неосознанных сущностей. Я предпочитаю избегать неологизмов и вместо этого говорю о целях и решениях компьютеров, алгоритмов и чат-ботов, предупреждая читателей, что использование этого языка не подразумевает, что компьютеры обладают каким-либо сознанием. Поскольку я более подробно обсуждал сознание в предыдущих публикациях, основной вывод этой книги - который будет рассмотрен в следующих разделах - не о сознании. Скорее, в книге утверждается, что появление компьютеров, способных самостоятельно преследовать цели и принимать решения, меняет фундаментальную структуру нашей информационной сети.

 

ЗВЕНЬЯ ЦЕПИ

До появления компьютеров люди были незаменимыми звеньями в каждой цепочке информационных сетей, таких как церкви и государства. Некоторые цепочки состояли только из людей. Мухаммад мог рассказать что-то Фатиме, затем Фатима рассказывала Али, Али рассказывал Хасану, а Хасан рассказывал Хусейну. Это была цепочка от человека к человеку. Другие цепочки также включали документы. Мухаммад мог что-то записать, Али мог позже прочитать этот документ, истолковать его и записать свое толкование в новом документе, который могли прочитать еще несколько человек. Это была цепочка "человек-документ".

Но создать цепочку "документ-документ" было совершенно невозможно. Текст, написанный Мухаммедом, не мог породить новый текст без помощи хотя бы одного человеческого посредника. Коран не мог написать хадисы, Ветхий Завет не мог составить Мишну, а Конституция США не могла составить Билль о правах. Ни один бумажный документ никогда не создавал сам по себе другой бумажный документ, не говоря уже о его распространении. Путь от одного документа к другому всегда должен проходить через мозг человека.

В отличие от этого, компьютерные цепочки теперь могут функционировать без участия человека. Например, один компьютер может сгенерировать фальшивую новость и разместить ее в социальной сети. Второй компьютер может определить, что это фальшивая новость, и не только удалить ее, но и предупредить другие компьютеры, чтобы они заблокировали ее. Тем временем третий компьютер, анализирующий эту активность, может сделать вывод, что это свидетельствует о начале политического кризиса, и немедленно продать рискованные акции и купить более безопасные государственные облигации. Другие компьютеры, следящие за финансовыми операциями, могут отреагировать, продав еще больше акций, что спровоцирует финансовый спад. Все это может произойти в течение нескольких секунд, прежде чем человек успеет заметить и расшифровать, что делают все эти компьютеры.

Другой способ понять разницу между компьютерами и всеми предыдущими технологиями заключается в том, что компьютеры - это полноценные члены информационной сети, в то время как глиняные таблички, печатные станки и радиоприемники - это всего лишь связи между членами сети. Участники сети - это активные агенты, которые могут самостоятельно принимать решения и генерировать новые идеи. Соединения лишь передают информацию между участниками, сами ничего не решая и не генерируя.

В прежних сетях участниками были люди, каждая цепочка должна была проходить через человека, а технология служила лишь для соединения людей. В новых компьютерных сетях сами компьютеры являются участниками, и существуют цепочки "компьютер-компьютер", которые не проходят через человека.

Изобретение письменности, печати и радио революционизировало способы связи людей друг с другом, но в сети не появилось новых типов членов. Человеческие общества состояли из одних и тех же сапиенсов как до, так и после изобретения письменности или радио. Напротив, изобретение компьютеров представляет собой революцию в членстве. Конечно,