Читать книгу "Идеальная ставка - Адам Кучарски"

Вот почему теория игр плохо приложима к покеру: коалиции не всегда бывают преднамеренными. Они могут оказаться всего лишь следствием избранной игроками стратегии. В жизни зачастую нет единственно верного пути достижения равновесия Нэша. Возьмем, к примеру, правила дорожного движения. За рулем вам доступны две стратегии получения равновесия. Если все едут по левой стороне, вы проиграете, единолично решив ехать по правой, и наоборот: если все дружно двигаются по правой, вам нечего делать на левой.

Одно из этих равновесий покажется вам предпочтительнее в зависимости от того, где в вашем автомобиле расположено водительское кресло. Если у вас леворульная машина, вы, скорее всего, захотите, чтобы все двигались по правой стороне. Разумеется, неудобство из-за «не там» расположенного руля не заставит вас выехать на встречную полосу. Вы все равно не отделаетесь от ощущения, будто остальные водители сговорились против вас (особенно если вы мизантроп), но тут уж ничего не поделаешь – придется смириться.

Подобная проблема возникает и в покере. Но здесь она причиняет людям не только неудобство, но и денежный ущерб. Допустим, три игрока выбирают стратегии, ведущие к равновесию Нэша, но по ходу партии выясняется, что стратегии двух игроков направлены против третьего. Вот почему к покеру на троих трудно применить теорию игр – его сложнее анализировать, и в нем не всегда срабатывает равновесие Нэша. «Даже если вы просчитаете равновесие Нэша, – заявлял Майкл Джонсон, – нет гарантии, что это вам поможет».

Существуют и другие трудности. Теория игр показывает вам, как минимизировать свои потери в схватке с идеальным противником. Но если ваш противник допускает промахи – или если в игре участвуют более двух игроков, – возникает соблазн отклониться от «оптимальной» стратегии равновесия Нэша и воспользоваться слабостями соперников. Например, начать со стратегии равновесия, а затем постепенно менять тактику в зависимости от того, что удалось узнать о противнике. Впрочем, такой подход сопряжен с риском. Туомас Сандхольм из Университета Карнеги – Меллона отмечает, что игрокам необходимо найти баланс между возможностью эксплуатировать оппонента и оказаться жертвой эксплуатации с его стороны. Каждому хочется использовать слабые стороны противника к своей выгоде, но никто не хочет, чтобы его самого использовали более сильные игроки. Защитные стратегии, такие как равновесие Нэша и тактика, применяемая ботом Даля, способны защитить вас от сильных соперников, но не позволяют эксплуатировать чужие ошибки и дают слабым соперникам отделаться легким испугом. Следовательно, более разумно варьировать стратегию в зависимости от поведения противника. Как учит старая пословица: «Играй не с картами, а с человеком».

К сожалению, пытаясь использовать других, игрок иногда сам попадает в ловушку. Сандхольм называет это «проблемой обучения и эксплуатации». Представим себе, что ваш оппонент демонстрирует агрессивный стиль игры, – заметив это, вы меняете тактику, чтобы извлечь выгоду из его темперамента. Но ваш соперник внезапно переключается на более консервативный стиль и выигрывает на том, что вы поверили (ошибочно!) в его боевой настрой.

Исследователи оценивают воздействие проблемы обучения и эксплуатации на игру, измеряя подверженность своих ботов эксплуатации, то есть максимальные ожидаемые потери в случае, если программа неверно спрогнозирует поведение противника. Совместно с аспирантом Сэмом Гензфридом Сандхольм разрабатывает «гибридных» ботов, которые комбинировали бы стратегию равновесия с моделированием поведения оппонента. «Мы хотим научиться использовать слабых соперников, а в игре против сильных – стремиться к равновесию», – объясняют ученые.

Покерные программы стремительно развиваются. Боты – участники покерного первенства для компьютеров – умнеют с каждым годом, и Лас-Вегас уже наводнен покерными автоматами, способными переиграть практически любого. Но действительно ли компьютеры превзошли людей? Неужели самые продвинутые боты играют лучше человека?

По мнению Сандхольма, говорить о том, что мы миновали некую критическую точку, пока рано, и тому есть несколько причин. Для начала нужно определить лучших покеристов-людей. К сожалению, в покере трудно назвать чемпионов – здесь нет своих Гарри Каспарова или Мариона Тинсли. «Мы, по правде говоря, не знаем, кто играет в покер лучше всех», – замечает Сандхольм. Кроме того, в покере трудно организовывать игру людей против машин. Между собой боты соревнуются ежегодно, однако смешанные матчи проходят намного реже. По словам Сандхольма, заманить на такие матчи покерных профи почти невозможно.

Но иногда подобные мероприятия все же проводятся. В 2007 году профессиональные покеристы Фил Лаак и Али Эслами сошлись один на один с ботом Polaris, созданным командой из Университета Альберты. Переиграть Polaris было непросто – бот не пытался использовать слабости оппонентов, но применял стратегию, близкую к равновесию Нэша.

Выбор кандидатов удивил покерное сообщество. Лаак был знаменит своим гиперактивным поведением: во время игры он вскакивал из-за стола, прыгал, катался по полу, отжимался. Эслами был едва известен публике по нескольким телевизионным турнирам. Но оба игрока обладали именно теми навыками, которые были нужны ученым. Хорошие покеристы, они не стеснялись выражать свои мысли и чувства, и их не смущала необычная обстановка, в которой протекал поединок человека с машиной.

Соревнование организовали в рамках проходившей в Ванкувере конференции по проблемам искусственного интеллекта. Соперникам предстояло играть в лимитный техасский холдем – ту самую разновидность покера, в которую позже будет играть в Лас-Вегасе бот Даля. Хотя и Лаак, и Эслами играли с Polaris по отдельности, в конце каждой сессии их очки суммировались. Это был поединок «машина против людей», где Лаак и Эслами сражались с Polaris единым фронтом. Чтобы минимизировать фактор случайности, карты раздавали по зеркальному принципу: те, что доставались Polaris, в следующей игре получали люди, и наоборот. Кроме того, организаторы четко определили условия выигрыша: для победы необходимо набрать на 250 долларов больше фишек, чем противник.

В первый день разыгрывалось две сессии, в каждой из которых было сдано по 500 рук. Первая сессия закончилась ничьей (Polaris добился преимущества в 70 долларов, что было недостаточно для победы). Во второй сессии во время раздачи Лаак получил хорошие карты. Это означало, что в игре против Эслами компьютер получит такие же сильные карты. Polaris капитализировал свое преимущество эффективнее, чем Лаак. В результате бот одержал над людьми чистую победу.

Вечером Лаак и Эслами встретились, чтобы обсудить разыгранные комбинации. Команда Университета Альберты выдала им протокол игры, куда входил перечень всех сданных рук. Это помогло покеристам разобраться в ситуации. К следующему дню у людей созрел план борьбы с Polaris, и они выиграли две финальные сессии. Однако своей победой они не гордились. «Это не было триумфом, – признавался Эслами. – Задача была просто выжить. Я играл хорошо как никогда, и все же мы едва-едва избежали поражения».

Год спустя состоялось второе соревнование «машина против людей» с новым составом участников. В этот раз семь человек сражались с ботом Университета Альберты в Лас-Вегасе. Команда людей состояла из первоклассных покеристов, в том числе тех, кто успел заработать на картах более миллиона долларов. Но и Polaris был уже не тот, что в прошлом году. Это был усовершенствованный Polaris 2.0. После игры с Лааком и Эслами он сыграл сам с собой более восьми миллиардов игр. Бот научился эффективнее работать с комбинациями ходов, и в его стратегии стало меньше слабых звеньев, которыми могли бы воспользоваться оппоненты.