1997-ben az IBM 20 millió dollárból fejlesztett Deep Blue számítógépe a világon elsőként legyőzte a regnáló sakk világbajnokot, Kaszparovot. 18 évvel később a kanadai Alberta Egyetem kutatói bejelentették, hogy létrehozták a Cepheust, a szoftvert, ami képes legyőzni a pókerben minden emberi játékost. De tényleg elérkezett a gépek kora?
Sok pókerjátékos úgy tartja, hogy a pókerben a jobb képességű játékos nyer, hogy a póker a tudás játéka. Aki képes jó stratégiát választani és megtéveszteni a másik játékost, győzött. A Cepheus pont ezt csinálja. A kérdés, hogy mennyire jól és, hogy ez mit jelent az online póker számára. Vajon kell félniük a pókerjátékosoknak egy tökéletes és legyőzhetetlen algoritmustól?
Fixed Limit Hold’em
Az egyetem kutatóinak választása a fix limites Texas Hold’Em-re esett. Ez a játék jóval komplexebb a sakknál, ami egy olyan játék, ahol minden információ elérhető minden játékos számára – úgynevezett teljes információs játék. Ez a körülmény lehetővé teszi, hogy viszonylag egyszerű algoritmus alapján és csupán nagy számítási kapacitással, legyőzze egy szoftver az embert. Ezt tette a Deep Blue is, semmi különöset nem csinált, csak megvizsgálta a lehető legtöbb kimenetelt, amihez másodpercenként 200 millió játékállást futtatott át mesterséges agyán. Ez még mindig nem jelenti azt, hogy a sakkot “megoldották” volna a gyakorlatban. A sakkban ugyanis 10120 variáció lehetséges, amit még a mai számítási kapacitással sem tudunk gyorsan kezelni, ahhoz kvantumszámítógépekre lenne szükség. Gépeink arra viszont elég jók, hogy bármilyen sakkjátékost biztonsággal megverjenek.
A Texas Hold’Em esetében viszont nem tudjuk milyen lapok fognak jönni és nem ismerjük a többi játékos lapjait sem, emellett még tétekről, stratégiáról is döntenünk kell, az alapján, hogy mit olvasunk ki az opponensek viselkedéséből. Hogy ezzel a bizonytalansággal és információ-hiánnyal egy gép megküzdjön, máig várni kellett. Számok nélkül is érezhető, hogy komplex a probléma és ez még mindig nem a No Limit Hold’Em, ahol a választható tét exponenciálisan bonyolultabbá tenné a tökéletes stratégia megalkotását. Más összehasonlításban a sakk tiszta matematika sok kimenetellel, a Limit Hold’Em szintén tiszta matematika – a megoldások száma 100 billió (1014) -, de valószínűségekkel, a No-Limit Hold’Em viszont sokszor teljesen kihagyja a számításból a könnyen leírható és számolható képleteket, a játékvariációk száma itt 10140. Emberi nyelven több ösztönt és nem feltétlenül matematikai képességeket igényel.
Cepheus
A Cepheus az első szoftver, ami gyakorlatilag tökéletes stratégiával rendelkezik a Limit Hold’Em-et illetően. Ahogy egy mai mesterséges intelligenciától illik, saját maga tanult meg játszani, döntési mechanizmusait két hónapig csiszolta önmaga ellen. C nyelven írt programsorait 4000 db 2,1GHz-es processzoron futtatta, darabonként 32 GB fizikai memóriával megtámogatva, melyek egyenként minden másodpercben 6 milliárd kezet – leosztást – vizsgáltak meg. Ez több, mint amennyit az egész emberiség a történetében pókerezett.
Forrás: poker.srv.ualberta.ca
A PokerStars el is játszotta a Cepheus teljes akvizícióját. Brilliáns üzleti stratégiájuk szerint végre kivezethetik a rake-et a fix limites pókerasztalokról – hiszen a Cepheus legyőzhetetlen -, és maximalizálva nyereségüket, ezzel megtarthatják vezető pozíciójukat az online póker piacán. Természetesen vicceltek, nem is lehetett volna máshogy, ez látható, ha megértjük a Cepheus működését.
Működés és stratégia
A Cepheus nem a legjobb No-Limit Hold’Em játékos a világon, mégis legyőzhetetlen. Ennek a látszólagos ellentmondásnak a feloldásához a “győzelem” fogalmát kell értelmeznünk. Tekintve, hogy a legfontosabb információ nem áll a rendelkezésünkre – Milyenek az ellenfél lapjai? – csak a matematikai valószínűség lehet döntéseink racionális alapja, ebben viszont benne van az is, hogy a Cepheus elveszít egy-egy leosztást. Hosszú távon viszont a legjobb döntéseket hozza a csillagképről elnevezett pókerbot, azaz statisztikailag legyőzhetetlen, csak eleget kell ellene játszani. Itt jön be a “hátránya” is, képtelen maximalizálni a nyereségét a gyenge játékosok ellen, amiben az emberek viszont kiválóak. Egy profi pókeres pillanatok alatt magas fölénnyel nyerne egy gyenge játékos ellen. A Cepheus erre nem képes, de ha végtelen, mondjuk egy emberöltőnyit – úgy hatvan évet – játszana bárki ellen, bizonyosan nyerne, tehát nem létezik statisztikai értelmében nála jobb játékos, maximum elméletileg ugyanolyan jó. A Cepheus nem téved és mindig a tudható legprofitábilisabb döntést hozza.
Forrás: Flickr, Space Ritual
“Ha a komputer egy rossz játékos ellen játszik, nyerni fog, de nem olyan gyorsan, mint egy emberi játékos egy rossz játékos ellen. Én sokkal hatékonyabban elpusztítok egy kezdő játékost, mint ez a komputer szoftver tenné.” – David Skalnsky, professzionális pókerjátékos, matematikus
A kanadai mesterséges pókerstratéga lejátszott meccsei alatt minden döntését kiértékelte és ezek mellé egy “megbánási” értéket rendelt a pénzveszteség függvényében. A célja az volt, hogy minimalizálja azoknak a lépéseknek az alkalmazását, amik veszteséghez vezetnek, ezzel más, potenciálisan nyereségre vezető döntéseknek teret adva.
Vége az online pókernek?
Egyáltalán nem. A Cepheus csak heads-up játékokban remekel és abban is csak a Limit Hold’Em játékok guruja. A póker ezen típusa messze nem olyan népszerű, mint régen, így a legyőzhetetlen algoritmus hatása a póker világára minimális. A No-Limit játékosoknak, pedig egy ideig biztosan nem kell tartaniuk a mesterséges intelligánciák egyeduralmától a zöld posztó felett.
A Cepheus egy mérföldkő a mesterséges intelligencia és a játékelmélet kutatásában. A projektnek 10 év kellett, hogy elérje jelenlegi állapotát. Dr. Michael Bowling a fejlesztőcsapat vezetője szerint a Cepheus nem csak játék és a pókeren kívül más területeken is alkalmazható lenne a képessége, hogy bizonyos fokú bizonytalanság esetén – amikor ismeretlen tényezők is beleszólnak egy döntés meghozatalába – kifejezetten jó tanácsokat tud adni. A jövőben ilyen algoritmusok segíthetnek beállítani a cukorbetegeknek, hogy mennyi inzulint adjanak be maguknak, őrjáratok útvonalát tervezhetik meg – például, hogy segítsék a partiőrség munkáját a drog elleni harcban -, a reptéri biztonság stratégiai tervezésében lehetnek hasznosak vagy részt vehetnek a terroristák elleni háborúban is.
Forrás: Flickr, theglobalpanorama
A Cepheus-t mi magunk is kipróbálhatjuk az egyetem hivatalos weboldalán. Sok szerencsét hozzá!
