德州扑克跟我学
亚洲最大德州扑克学习平台

博狗扑克:时代发展下的现代扑克扑克软件

计算机程序和应用(app)已经统治现代社会。你可能发现应用无所不能,游戏、社交媒体、联谊、健康、瑜伽、冥想、烹饪、学习新语言、播放音乐和视频,甚至约会!无论你需要什么,你都很可能可以找到一款满足你需要的应用,如果你找不到,你可以肯定某人正在世界上的某个地方开发这种应用。

我们生活的世界已经改变,我们认识的扑克也是如此。随着科技的进步,牌手用来分析和研究游戏的工具也变得越来越先进。在本章我们将分析一些牌手用来改进策略的最重要程序和应用。

时代发展下的现代扑克扑克软件

胜率计算器

扑克胜率计算器(Equity Calculator)在扑克圈长期存在,而且它们无疑是任何正统牌手武器库中的最基本武器。理解底牌对抗底牌、底牌对抗范围和范围对抗范围的胜率互动是成为一名成功牌手的第一步。

胜率计算器自2008年首次发布PokerStove以来已经取得了很大的发展。在当时,胜率计算器非常粗糙,而且提供的功能非常有限。而现在,像Power Equilab这样的胜率计算器提供各种各样的功能,包括胜率图表、热点图、范围分析等等。

优点

l 输入范围和计算胜率的过程非常直观,容易使用。

l 多人底池胜率计算

l 能够创建自定义的可玩性配置

l 快速胜率计算

缺点

l 计算受限于胜率和简单的数学

l 不提供EV或任何策略建议

l 有限的翻后范围分析

范围分析工具

具有一种范围分析工具(比如Flopzilla)的牌手能够输入底牌范围,确定范围在任何可能翻牌面如何互动。范围分析工具把底牌范围划分成顶对、暗三条、同花听牌、后门顺子听牌等各种类型。

优点

l 根据底牌组合显示胜率

l 可用于分析底牌排除效应

l 根据转牌圈和河牌圈的牌型翻后过滤

l 快速计算

l 容易使用

缺点

l 不提供EV或任何类型的策略建议

l 无法用于建立复杂的决策树

l 对于单挑分析最有用

l 有限的翻前实用性

EV决策树

具有一种诸如Card RunnersEV的EV决策树工具你可以创建代表牌手行动和决策树,并计算每个决策点的EV。

优点

l 展示不同行动的EQ和EV。

l 对于SNG和MTT决赛桌很有用的ICM计算

l 创建复杂树的能力和脚本功能(利用一种编程语言自动完成一系列任务)

l 多人底池计算

l 有用的翻前及翻后范围分析

l 能够把赏金和抽水融入到计算中

l 说明底牌排除效应和聚集效应

缺点

l 需要很大程度的输入,包括牌手在每个决策点的范围、底池大小、下注尺度、加注尺度和筹码深度

l 树的创建和策略分析可能非常费时

l 计算EV需要知道对手的完整策略或需要使用一些假定

l 陡峭的学习曲线

翻前纳什计算器

在现代GTO Solver软件出现之前,像Holdem Resouces Calculator这样的纳什计算器是MTT牌手和SNG牌手的工具选择。它们非常擅长计算翻前全压/弃牌策略,特别是牌手没有跟注范围的浅筹码场合。

但是,它们不支持翻后玩法,如果你试图为深到无全压下注尺度的筹码量计算范围,你将被迫应用行动抽象(action abstraction)。你可以要么完全排除牌手的跟注非全压加注选择,要么允许跟注,但假定翻牌发出后不会发生更多下注,让两个牌手一直check下去。两种抽象将产生不正确的翻前策略。排除跟注选择通过迫使防守的牌手采用更紧的范围伤害了他们,因此计算器建议用比最优范围更宽的率先加注范围,这个范围倾向于具有良好阻断牌,同时忽略翻后可玩性。翻后一直check有利于翻前跟注的牌手,因为他们的所有边缘牌都将实现100%底池权益,这导致了比最优范围更宽的跟注范围。两种选择限制了纳什计算器在深筹码扑克的应用,使得它们只适合全压/弃牌场景。

优点

l 特别擅长计算不可剥削全压

l 快速计算

l 翻前MES策略计算

l 展示翻前策略和EV

l 支持锦标赛的赏金计算

l 决赛桌计算

缺点

l 不支持翻后玩法

l 不考虑底牌排除效应或聚集效应

GTO Solver和人工智能(AI)

1997年,世界上最好的国际象棋棋手卡斯帕罗夫被IBM的超级电脑深蓝打败。他的失败被当作人工智能将在某一天赶超人类智慧的信号。

自深蓝的获胜后,AI已经朝人类最终失败的方向迈出了巨大的步伐。2015年,由Deep Mind开发的AI阿尔法狗(AlphaGo)成为首个在19×19棋盘打人类职业围棋手的电脑围棋程序。2017年5月,阿尔法狗击败当时世界排名第一的棋手柯洁。围棋是一种具有10170种变化的游戏。同年晚些时候,Deep Mind发布了AlphaZero,一个震惊世界的国际象棋和将棋AI,达到超人的游戏水平,打败了世界冠军程序Stockfish和Elmo。国际象棋具有1047种变化,而将棋具有1071种变化。然而,打败最好的人类牌手并不意味着解决游戏。一种AI可以好到足够打败最好的人类选手,但另一种AI可以开发出更好的策略,打败之前的AI。这个循环可以永远持续。解决一种游戏牵涉到计算出一种在公平游戏中不可能输的GTO解决方案。

目前为止,每一种在人类之间竞争的完美信息游戏(比如国际象棋或跳棋)都已解决。像扑克这样的非完美信息游戏中,牌手不能看到其他牌手的牌。解决这类游戏呈现出一种额外级别的难度。

具有5 x 1020种可能行动的跳棋已经在2007年被Jonathan Schaeffer教授完全解决。单挑限注德州扑克(HULHE)是德州扑克的最小变种,它具有3.19 x 1014个决策点。虽然这个数字小于跳棋,但HULHE的非完美信息特征使得它对于计算机而言是一种更难游戏和解决的挑战性游戏。

首个被全面解决的扑克游戏是HULHE,由Alberta Cepheus扑克项目在2015年解决。他们的CFR+算法由一个由200个计算机节点组成计算机集群执行,每个计算机节点配置了24个2.1G赫兹的AMD芯片,32G内存和1TB的本地磁盘。

2017年1月30日,卡耐基梅伦大学开发的人工智能Libratus在12万手牌的挑战中打败了多名顶级单挑无限德州扑克高手。

单挑无限德州扑克存在10160种情况,超过了宇宙中所有原子的数量(1080)。这种AI需要一组由600个节点组成的超级电脑,每个节点具有28核处理能力,完成任务和打败人类牌手总共需要处理2.7拍字节(1拍字节 = 250字节)的数据。

虽然扑克机器人每天都在变聪明,但由于当前的算力,它们能做的事情仍然有一些限制,特别是对于无限德州扑克和PLO的多人底池局面。虽然HULHE已经完全解决,而且Libratus已经好到足够打败单挑无限德州扑克的人类牌手,但包括锦标赛、6人桌和满员桌扑克在内的其他扑克变体远非完全解决。

即使超过两名牌手的德州扑克游戏的完整解决方案尚未找到,但复杂的游戏可以拆解成小的、容易解决的部分。利用现代Solver软件、超级电脑、有限的下注尺度和策略抽象的正确应用,无限德州扑克的近似GTO玩法可以被计算出来。

商业人工智能软件

基于人工智能的无限德州扑克软件,是通过和自身对抗数十亿手牌研究这种游戏的工具。它们最初采用完全随机的策略,在每手牌结束后,成功的玩法被加强,不成功的玩法被减少,导致它们的策略随着时间推进不断改善。

优点

l 快速且容易使用

l 极少需要用户输入

l 没有很大的硬件要求

l 提供导入来自网络扑克的历史牌局以及根据AI策略评估它们的能力。

l 提供翻前和底牌范围建议

l 用户可以挑战人工智能,得到统计数据和错误评估

缺点

l 不真正求解GTO策略,AI输出的只是软件认为在和自身对抗时较好的策略

l 有限的或固定的下注尺度

l 人工智能无法解释为何它那样做,且结果无法验证

l 无法计算对抗弱手的剥削性策略,程序只提供其核心策略

l 策略随着时间而变化,这使得难以通过它学习

l 无法保证不可剥削

GTO Solver软件

Solver软件是翻前和翻后玩法的纳什均衡计算器。市场上可买到的Solver软件有好几种,它们提供各种不同的功能集。写作本书的时候,大多数商业Solver软件能够用特定的范围和下注尺度计算任何单挑场合的纳什均衡策略,而且有很高的准确度(低可剥削性)。

一些Solver软件可以计算多人底池局面的翻前及翻后纳什均衡,一些Solver甚至能解决更复杂的游戏,比如底池限注奥马哈。

声称一种策略是GTO策略或非常接近GTO策略必须以某种方式证实。如之前的陈述,无限德州扑克的完整解决方案尚未发现,如果某人声称具有某个扑克场合在给定抽象内的GTO解决方案,必定有一种科学和数学的方式来验证这种主张,否则任何人都可以说已经解决了这种游戏并且在采用真正的GTO玩法。

纳什距离(Nash Distance)

E-Nash均衡或Epsilon均衡是接近纳什均衡的策略组合,它近似满足纳什均衡的条件。纳什均衡策略最大化对抗它们克星(最糟糕情况下的对手)的效用,这意味着它在零和游戏中不可能输。纳什均衡在复杂游戏中通常无法实现。相反,术语E-Nash均衡被用来表示只在最糟糕情况下输给对手价值的策略。

E有时也指纳什距离(Nash Distance),因为它可用来验证任何策略与纳什均衡策略多接近,即使不知道真正的均衡看起来是什么样子。

计算纳什距离

一旦你有一个自认为是GTO的策略对(strategy pair),计算纳什距离的过程非常简单。首先,你计算两个牌手的EV,然后你计算牌手1对抗牌手2的MES策略,看看EV提高了多少,并把牌手1的EV增益叫做E1,然后你为牌手2做同样的事情。计算牌手2对抗牌手1的MES策略,看看EV提高了多少,并把这个EV增益叫做E2。E1和E2之间的最大数字就是纳什距离。如果这个数字是0,那么你是恰好纳什均衡的,你的策略对是真正GTO的。如果这个数字很大,那么你离GTO很远,如果你接近GTO,这个数字将比较小。

大多数现代GTO Solver软件报告它们解决方案的纳什距离。例如,PioSolver以底池百分比的形式报告纳什距离,而且它可用来设置一个Solver完成计算所需要的精度。通常而言,任何GTO解决方案运行的时间越长,得到的E(纳什距离)就越小。遗憾的是,一旦E变得非常小,大多数GTO Solver将反复迭代,因为它们不可能得出完美的GTO玩法。一旦E变得非常小,指望任何对手能够在那种程度上剥削你是不切实际的,因为这首先需要你对每一个底牌组合在每一节点采用和Solver完全一致的玩法,然后允许对手知道你在每个简单决策点的确切策略并计算对抗你的E-GTO策略的MES策略。除此之外,对手也需要完美执行他们的MES策略,从而能够从你那儿榨取尽可能多的EV。因此,可以安全地假定任何剥削你到E是不可能的,你不应该为此担心。实际上,当E很小时,对于一名人类牌手来说E-GTO与完美GTO没有任何差异。

就个人而言,我喜欢把我的翻牌圈GTO解决方案运行到0.35%底池大小的精度。随着范围变宽,筹码底池比增加,策略树复杂度上升,要达到一个较小的纳什距离更困难,完成计算花费的时间也越久。至于PioSolver的翻前仿真计算,翻前范围的收敛比翻后范围收敛快很多。大多数仿真的剥削性(exploitability)来自河牌圈玩法,因此阀值(threshold)可以小一点,而且剥削性可以用bb/100来衡量。我喜欢的PioSolver翻前仿真阀值是3.5bb/100。

这些阀值是完全武断的,但牌手们似乎一致认同它们足够好,因为策略在纳什距离较小时没有太多改变。

在其他Solver软件中(比如MonkerSolver),大多数剥削性来自因为翻后抽象导致的次优(suboptimal)翻后玩法。这对于翻前范围的影响是不明确的,因此翻前范围的可剥削性有多高这个问题是不可能回答的。我设置了几个基准,并比较来自Monker、Pio和我个人团队正在开发的私有GTO Solver的翻前和翻后仿真,发现使用高抽象设置时策略非常接近。在PioSolver成为主流之前,我也设置了许多基准,测试使用其他工具的结果,发现结果与之前的知识和理论相符。

总之,即使德州扑克这种游戏尚未完全解决,我相信来自GTO Solver软件的策略是非常精确的,可以用来提高我们对这种游戏的理解,帮助我们在牌桌上做出更好的决策。

博狗扑克(www.bogoupoker.com),亚洲最大的德州扑克线上现金平台!
今天注册Bodog博狗账户,您可以享受双份迎新奖金60元新手奖励+1000美金奖金

本文由德州扑克跟我学整理发布

赞(0)
未经允许不得转载:博狗扑克 蜗牛扑克 德州扑克跟我学 » 博狗扑克:时代发展下的现代扑克扑克软件

最快的在线德州扑克游戏平台

大发体育EV扑克(GG扑克)

大发娱乐正式上线现在注册送2000