图解强化学习：怎么让ChatGPT们变得更智能？

Afunby的 AI Lab©05-09

在系列的前两篇文章中，主要介绍了强化学习的基础概念：《图解强化学习——基础概念 1》《图解强化学习——基础概念 2》。本文是《图解强化学习》系列的第三篇文章，主要介绍强化学习流行的解决方案，对这些方案进行分类，并着重阐述了贝尔曼方程。贝尔曼方法是所有强化学习算法的基础，从贝尔曼方程出发，更容易理解后续各种强化学习算法的原理。一、RL 问题解决方案分类我们已经知道，解决一个 RL 问题即是找到最优...

网页链接

免责声明：本文观点仅代表作者个人观点，不构成本平台的投资建议，本平台不对文章信息准确性、完整性和及时性做出任何保证，亦不对因使用或信赖文章信息引发的任何损失承担责任。

精彩评论

我们需要你的真知灼见来填补这片空白

发表看法

{"i18n":{"language":"zh_CN"},"isChannel":false,"data":{"share":"https://www.laohu8.com/m/news/2434757063?lang=zh_CN&edition=full","thumbnail":"https://img.huxiucdn.com/article/cover/202405/09/155953155936.jpg?imageView2/1/w/720/h/405/|imageMogr2/strip/interlace/1/quality/85/format/jpg","is_english":false,"pubTime":"2024-05-09 16:41","share_image_url":"https://static.laohu8.com/e9f99090a1c2ed51c021029395664489","id":"2434757063","market":"hk","top_or_hot":-1,"title":"图解强化学习：怎么让ChatGPT们变得更智能？","media":"Afunby的 AI Lab©","content":"<div>\n<p>在系列的前两篇文章中，主要介绍了强化学习的基础概念：《图解强化学习——基础概念 1》《图解强化学习——基础概念 2》。本文是《图解强化学习》系列的第三篇文章，主要介绍强化学习流行的解决方案，对这些方案进行分类，并着重阐述了贝尔曼方程。贝尔曼方法是所有强化学习算法的基础，从贝尔曼方程出发，更容易理解后续各种强化学习算法的原理。一、RL 问题解决方案分类我们已经知道，解决一个 RL 问题即是找到最优...</p>\n\n<a href=\"https://www.huxiu.com/article/3005274.html\">网页链接</a>\n\n</div>\n","source":"highlight_huxiu","html":"<!DOCTYPE html>\n<html>\n<head>\n<meta http-equiv=\"Content-Type\" content=\"text/html; charset=utf-8\" />\n<meta name=\"viewport\" content=\"width=device-width,initial-scale=1.0,minimum-scale=1.0,maximum-scale=1.0,user-scalable=no\"/>\n<meta name=\"format-detection\" content=\"telephone=no,email=no,address=no\" />\n<title>图解强化学习：怎么让ChatGPT们变得更智能？</title>\n<style type=\"text/css\">\na,abbr,acronym,address,applet,article,aside,audio,b,big,blockquote,body,canvas,caption,center,cite,code,dd,del,details,dfn,div,dl,dt,\nem,embed,fieldset,figcaption,figure,footer,form,h1,h2,h3,h4,h5,h6,header,hgroup,html,i,iframe,img,ins,kbd,label,legend,li,mark,menu,nav,\nobject,ol,output,p,pre,q,ruby,s,samp,section,small,span,strike,strong,sub,summary,sup,table,tbody,td,tfoot,th,thead,time,tr,tt,u,ul,var,video{ font:inherit;margin:0;padding:0;vertical-align:baseline;border:0 }\nbody{ font-size:16px; line-height:1.5; color:#999; background:transparent; }\n.wrapper{ overflow:hidden;word-break:break-all;padding:10px; }\nh1,h2{ font-weight:normal; line-height:1.35; margin-bottom:.6em; }\nh3,h4,h5,h6{ line-height:1.35; margin-bottom:1em; }\nh1{ font-size:24px; }\nh2{ font-size:20px; }\nh3{ font-size:18px; }\nh4{ font-size:16px; }\nh5{ font-size:14px; }\nh6{ font-size:12px; }\np,ul,ol,blockquote,dl,table{ margin:1.2em 0; }\nul,ol{ margin-left:2em; }\nul{ list-style:disc; }\nol{ list-style:decimal; }\nli,li p{ margin:10px 0;}\nimg{ max-width:100%;display:block;margin:0 auto 1em; }\nblockquote{ color:#B5B2B1; border-left:3px solid #aaa; padding:1em; }\nstrong,b{font-weight:bold;}\nem,i{font-style:italic;}\ntable{ width:100%;border-collapse:collapse;border-spacing:1px;margin:1em 0;font-size:.9em; }\nth,td{ padding:5px;text-align:left;border:1px solid #aaa; }\nth{ font-weight:bold;background:#5d5d5d; }\n.symbol-link{font-weight:bold;}\n/* header{ border-bottom:1px solid #494756; } */\n.title{ margin:0 0 8px;line-height:1.3;color:#ddd; }\n.meta {color:#5e5c6d;font-size:13px;margin:0 0 .5em; }\na{text-decoration:none; color:#2a4b87;}\n.meta .head { display: inline-block; overflow: hidden}\n.head .h-thumb { width: 30px; height: 30px; margin: 0; padding: 0; border-radius: 50%; float: left;}\n.head .h-content { margin: 0; padding: 0 0 0 9px; float: left;}\n.head .h-name {font-size: 13px; color: #eee; margin: 0;}\n.head .h-time {font-size: 11px; color: #7E829C; margin: 0;line-height: 11px;}\n.small {font-size: 12.5px; display: inline-block; transform: scale(0.9); -webkit-transform: scale(0.9); transform-origin: left; -webkit-transform-origin: left;}\n.smaller {font-size: 12.5px; display: inline-block; transform: scale(0.8); -webkit-transform: scale(0.8); transform-origin: left; -webkit-transform-origin: left;}\n.bt-text {font-size: 12px;margin: 1.5em 0 0 0}\n.bt-text p {margin: 0}\n</style>\n</head>\n<body>\n<div class=\"wrapper\">\n<header>\n<h2 class=\"title\">\n图解强化学习：怎么让ChatGPT们变得更智能？\n</h2>\n\n<h4 class=\"meta\">\n\n\n2024-05-09 16:41 北京时间&nbsp;&nbsp;&nbsp;<a href=https://www.huxiu.com/article/3005274.html><strong>Afunby的 AI Lab©</strong></a>\n\n\n</h4>\n\n</header>\n<article>\n<div>\n<p>在系列的前两篇文章中，主要介绍了强化学习的基础概念：《图解强化学习——基础概念 1》《图解强化学习——基础概念 2》。本文是《图解强化学习》系列的第三篇文章，主要介绍强化学习流行的解决方案，对这些方案进行分类，并着重阐述了贝尔曼方程。贝尔曼方法是所有强化学习算法的基础，从贝尔曼方程出发，更容易理解后续各种强化学习算法的原理。一、RL 问题解决方案分类我们已经知道，解决一个 RL 问题即是找到最优...</p>\n\n<a href=\"https://www.huxiu.com/article/3005274.html\">网页链接</a>\n\n</div>\n\n\n</article>\n</div>\n</body>\n</html>\n","isBrief":false,"type":0,"news_type":1,"symbol":"BK4202","symbol_name":"服装、服饰与奢侈品","start_time":0,"source_url":"https://www.huxiu.com/article/3005274.html","article_id":"2434757063","we_media_id":null,"thumbnails":["https://img.huxiucdn.com/article/cover/202405/09/155953155936.jpg?imageView2/1/w/720/h/405/|imageMogr2/strip/interlace/1/quality/85/format/jpg"],"rights":null,"url":"https://stock-news.laohu8.com/highlight/detail?id=2434757063","pubTimestamp":1715244061,"sourceInfo":{"source_id":"highlight_huxiu","name":"虎嗅网"},"weMediaInfo":null,"summary":"算法分类及贝尔曼方程","collect":0,"end_time":0,"defaultTopTitle":"huxiu.com","property":[],"viewcount":null,"language":"zh","relate_stocks":{"BK4202":"服装、服饰与奢侈品","BK4585":"ETF&股票定投概念","RL":"拉夫劳伦","BK4588":"碎股","LU0006061336.USD":"Blackrock US Small and MidCap Opportunities A2 USD"},"translate_title":"Graphical reinforcement learning: How to make ChatGPT smarter?","themeId":null,"isJumpTheme":false,"ttsUrl":null,"symbols_score_info":{"RL":1},"content_text":"在系列的前两篇文章中，主要介绍了强化学习的基础概念：《图解强化学习——基础概念 1》《图解强化学习——基础概念 2》。本文是《图解强化学习》系列的第三篇文章，主要介绍强化学习流行的解决方案，对这些方案进行分类，并着重阐述了贝尔曼方程。贝尔曼方法是所有强化学习算法的基础，从贝尔曼方程出发，更容易理解后续各种强化学习算法的原理。一、RL 问题解决方案分类我们已经知道，解决一个 RL 问题即是找到最优策略（Optimal Policy）或最优值（Optimal Value）。找到 Optimal Policy 有许多算法，这些算法可以根据不同的原理和应用场景进行分类。1. 通过“基于模型的 VS 无模型“进行分类：广义上讲，寻找最优策略的算法可以分为两大类：基于模型的解决方案——Model-based approaches无模型的解决方案——Model-free approachesModel-based 方法适用于已知环境内部运行情况的场景。换句话说，当从某个当前状态开始执行某个操作时，我们可以准确判断，环境给出的下一个状态（Next State）和奖励（Raward）是怎样的。Model-free 方法适用于环境非常复杂，且其内部动态不为人知的情况。这种方法将环境视为一个“黑盒”，不尝试去理解里面的具体运作机制，而是直接观察输入和输出间的关系。2. 通过”预测 VS 控制“进行分类另一种较高维度的区分方法是通过预测（Prediction）和控制（Control）。预测问题-Prediction problem：在这类问题中，我们的目标是给定一个策略，预测使用此策略能得到的累积回报，也即价值函数。此处的策略可以是任何策略，并不限于最优策略。控制问题-Control problem：控制问题不提前给定策略，而是通过不断尝试与探索，在所有可能策略中找到能够获得最大回报的最优策略。大多数实际问题都是 Control problems，因为我们的目标是找到最优策略 Optimal Policy。3. RL 算法分类根据以上的分类方法，常见的 RL 算法分类如下：现实世界中，大部分的 RL 问题都属于 Model-free 的控制问题。因此，本系列内容将主要聚焦于这一类问题，对基于模型的解决方案只做简略讨论。二、Model-based Approaches（基于模型的方法）基于模型的方法可以得出每个状态和行动交互的精确结果，因此可以通过分析找到解决方案，而无需与环境进行实际交互。例如，在使用基于模型的方法下棋时，你需要将所有棋局的规则和策略编码在程序中。与之相对，无模型算法对棋局规则一无所知，它通过观察动作和获得的奖励来抽象地学习游戏。由于现实环境的复杂性，构建一个完整的模型往往是不可行的，这就是为什么大多数现实问题采用Model-free的方法。三、Model-free Approache（无模型方法）Model-free 方法依赖于与环境的直接互动来学习。这种方法不预设环境的内部机制，而是通过一系列的试错，观察每一次动作后环境的反馈（状态变化和奖励），从而学习如何在这个环境中取得最佳表现。1. 与环境互动在 Model-free 的学习过程中，由于环境的内部机制对我们来说是不可见的，算法必须通过直接互动来“观察”环境的行为。算法扮演 Agent 的角色，每执行一个动作，就记录下其后环境的反应（即下一个状态和相应的奖励），并根据这些信息不断调整策略，是一个持续学习与适应过程。这一学习过程，类似于人类通过尝试和错误获得经验一样，算法通过执行动作并根据反馈（正面或负面）来逐步调整其行为。2. 互动的轨迹即为 Agent 的 training data在与环境互动时，Agent 每个时间步的动作都构成了一条特定的路径，即所谓的“轨迹”。Agent 的轨迹就形成了算法学习和训练的基础数据。四、Bellman方程：强化学习的数学基础在了解用于解决 RL 问题的算法之前，我们需要学习一点数学知识，以便更准确地理解这些概念。Bellman方程基于一个简单而直观的数学关系，是所有强化学习算法的核心。虽然这个方程有不同的变形，但它们都源于一个共同的基本概念。通过逐步解析，我们可以更好地理解这一概念。1. 从终止状态回溯Work back from a Terminal State考虑这样一个场景：Agent 从某一状态出发，只采取了一个行动，就到达了终止状态。这种情况下，该状态下的回报与采取该行动获得的奖励相同。即：G7 = R7。现在考虑之前的状态 S6。S6 的回报 =为达到 S7 采取行动获得的奖励+从 G7 到达终止状态的折扣回报。即：G6  = R6+γR7 = R6+γG7。2. 回报的 Bellman 收益方程总体上，任何状态的回报都可以被拆解为两个部分：一是从当前状态到下一个状态的即时奖励；二是从下一个状态开始，按照特定策略行动，未来的折扣回报。这种递归关系被称为 Bellman 方程。3. 状态价值函数的 Bellman 方程如果说“回报”关注的是单一路径上的累积奖励，那么“状态价值（State Value）”则是考虑了在多条路径上，平均情况下的预期回报。换言之，状态价值综合考量了从某状态出发，采取各种可能动作所能获得的回报的平均水平。因此，状态价值（State Value）同样可以被分解为两部分：一部分是从当前状态出发，执行下一个动作所获得的即时奖励；另一部分是考虑时间折扣后的，从下一状态继续遵循策略所能带来的价值。3. 状态-动作对价值函数的贝尔曼期望方程同样，“状态-动作价值（State-Action Value）”也可分解为两部分：达到下一状态的行动所带来的即时奖励，以及在所有后续步骤中遵循该策略所获得的下一状态的折扣价值。五、Bellman方程为什么有用？从贝尔曼方程中，我们可以得出两个重要结论。1. 递归计算回报第一点，为了计算回报，我们不必走完一个回合。一个回合可能很长，或遍历成本很高，也可能永无止境。我们可以利用这种递归关系。如果知道下一步的回报，就可以使用它。在 RL 过程中，只需要迈出第一步，观察到这一步的回报，然后使用后续时间步的回报，而无需遍历之后的整个回合。2. 基于估算而非精确值第二点，涉及计算同一目标的两种方法：一种方法是基于当前状态直接计算的回报（Return）；另一种方法是将单步的奖励（reward）与下一状态的回报相加。要直接测量从某个状态开始直至整个回合结束的实际回报，计算代价很高，我们通常采用回报的估计值。通过这两种不同的方法来计算这些估计值，并通过对比两个结果来验证估计的准确性。考虑到这些仅是估计值而非精确值，两种计算方法得出的结果可能会有所不同。这即是估计中的误差。误差可以帮助我们改进估算结果，以减少误差的方式修正估算结果。请牢记这两个概念，因为所有强化学习算法都会用到它们。总结现在，我们对强化学习（RL）问题及其解决方案有了初步认识，是时候深入探讨解决这些问题所采用的技术了。鉴于在实际问题中最常采用的是 model-free 方法，我们将聚焦于此。这将是下一篇文章的讨论焦点。本文来自微信公众号：Afunby的 AI Lab（ID：AI_Lab_of_Afunby），作者：Afunby","kind":null,"is_publish_news":true,"is_publish_highlight":false,"is_publish_live":null,"is_publish_wemedia":null,"editions":null,"column":"","sentiment":"0","news_tag":"","news_rank":0,"symbols":[],"gpt_button":1},"commentList":[],"isCommentEnd":true,"newsSizeData":{"likeSize":0,"commentSize":0,"repostSize":0,"favoriteSize":0,"likeStatus":false,"favoriteStatus":false},"APP":{"userAgent":"Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)","isDev":false,"isTTM":false,"deviceId":"web-server-community-laohu8-v3","version":"4.25.1","shortVersion":"4.25.1","platform":"web","vendor":"web","appName":"laohu8","isIOS":false,"isAndroid":false,"isTiger":false,"isTHS":false,"isWeiXin":false,"isWeiXinMini":false,"isWeiBo":false,"isQQ":false,"isBaiduSwan":false,"isBaiduBox":false,"isDingTalk":false,"isToutiao":false,"isOnePlus":false,"isHuaWei":false,"isXiaomi":false,"isXiaomiWebView":false,"isOppo":false,"isVivo":false,"isSamsung":false,"isMobile":false},"href":"/m/news/2434757063"}