无模型深度强化学习算法
admin
2024-03-21 01:58:13
0次
  • 无模型深度强化学习算法：直接训练类神经网络模型来表示策略{\displaystyle \pi (a|s)}。这里的“无模型”指的是不建立环境模型，而非不建立任何机器学习模型。这样的策略模型可以直接用策略梯度（policy gradient）[3]训练，但是策略梯度的变异性太大，很难有效率地进行训练。更进阶的训练方法尝试解决这个稳定性的问题：可信区域策略最佳化（Trust Region Policy Optimization，TRPO）[4]、近端策略最佳化（Proximal Policy Optimization，PPO）[5]。另一系列的无模型深度强化学习算法则是训练类神经网络模型来预测未来的奖励总和{\displaystyle V^{\pi }(s)}或{\displaystyle Q^{\pi }(s,a)}[6]，这类算法包括时序差分学习 TD、深度Q学习 DQN、SARSA。如果动作空间是离散的，那么策略{\displaystyle \pi (a|s)}可以用枚举所有的动作来找出{\displaystyle Q}函数的最大值。如果动作空间是连续的，这样的{\displaystyle Q}函数无法直接建立策略{\displaystyle \pi (a|s)}，因此需要同时训练一个策略模型[7][8][9]，也就变成一种“演员－评论家actor-critic”算法。

以上来自wikipedia。

无模型深度强化学习算法可分为两类：

一类是直接根据策略梯度更新策略，获得最优策略；

一类是通过奖励函数V或Q来评价策略的好坏，在当前状态下选择动作的策略能使agent/actor获得最大的累计奖励就是最好的策略，actor-critic中actor是根据状态选择动作的策略网络，critic是根据状态/状态+动作评价当前策略优劣的评价网络。

词库加载错误:未能找到文件“E:\highferrum_mysql\Configuration\Dict_Stopwords.txt”。

上一篇：Spring Cache

下一篇：springboot项目nacos作为配置中心

相关内容

热门资讯

【MySQL】锁 锁 文章目录锁全局锁表级锁表锁元数据锁（MDL）意向锁AUTO-INC锁...
【内网安全】 隧道搭建穿透上线... 文章目录内网穿透-Ngrok-入门-上线1、服务端配置：2、客户端连接服务端ÿ...
GCN的几种模型复现笔记 引言 本篇笔记紧接上文，主要是上一篇看写了快2w字，再去接入代码感觉有点...
数据分页展示逻辑 import java.util.Arrays;import java.util.List;impo...
Redis为什么选择单线程？R... 目录专栏导读一、Redis版本迭代二、Redis4.0之前为什么一直采用单线程？三、R...
【已解决】ERROR: Cou... 正确指令： pip install pyyaml
关于测试，我发现了哪些新大陆 关于测试 平常也只是听说过一些关于测试的术语，但并没有使用过测试工具。偶然看到编程老师...
Lock 接口解读 前置知识点Synchronized synchronized 是 Java 中的关键字，...
Win7 专业版安装中文包、汉... 参考资料：http://www.metsky.com/archives/350.htm...
3 ROS1通讯编程提高(1) 3 ROS1通讯编程提高3.1 使用VS Code编译ROS13.1.1 VS Code的安装和配置...
大模型未来趋势 大模型是人工智能领域的重要发展趋势之一，未来有着广阔的应用前景和发展空间。以下是大模型未来的趋势和展...
python实战应用讲解-【n... 目录 如何在Python中计算残余的平方和 方法1：使用其Base公式 方法2：使用statsmod...
学习u-boot 需要了解的m... 一、常用函数 1. origin 函数 origin 函数的返回值就是变量来源。使用格式如下...
常用python爬虫库介绍与简... 通用 urllib -网络库(stdlib)。 requests -网络库。 grab – 网络库&...
药品批准文号查询|药融云-中国... 药品批文是国家食品药品监督管理局（NMPA）对药品的审评和批准的证明文件...
【2023-03-22】SRS... 【2023-03-22】SRS推流搭配FFmpeg实现目标检测 说明： 外侧测试使用SRS播放器测...
有限元三角形单元的等效节点力 文章目录前言一、重新复习一下有限元三角形单元的理论1、三角形单元的形函数（Nÿ...
初级算法-哈希表 主要记录算法和数据结构学习笔记，新的一年更上一层楼！ 初级算法-哈希表...
进程间通信【Linux】 1. 进程间通信 1.1 什么是进程间通信 在 Linux 系统中，进程间通信...
【Docker】P3 Dock... Docker数据卷、宿主机与挂载数据卷的概念及作用挂载宿主机配置数据卷挂载操作示例一个容器挂载多个目...