三级真人牲交-亚洲做性视频在线观看-激情AV-伊人成人在线视频
首页 科技 正文

每秒处理240万帧游戏画面,AI训练成本降低80%,谷歌开源SEED RL

晓查 只想说 凹非寺量子位 报导 | 微信公众号 QbitAI

对富豪而言最痛楚的是啥,就是说有一大堆硬件配置却不可以保持1 1=2的实际效果。

AI训练中的并行处理就是说这般,纵然你有一豆腐皮GPU,也没法保持单机版训练一千倍的实际效果。

近期,不缺钱的Google,开源系统了一种SEED RL架构,能够更非常容易地将AI训练放到好几千台设备上运作,实际效果比以前的方式最大提高近4倍。

当你也不缺钱,云端上开展规模性并行处理,那麼能够节省80%的训练成本费。充分考虑如今一个大中型AI模型动则几百万的训练花费,真的是十分丰厚了。

在训练AI玩足球游戏那件事儿上,SEED RL的响应速度能够做到每秒钟240万帧。假如以60fps测算,等于每秒钟可解决11钟头的游戏画面

SEED RL管理体系架构

上一代的分布式系统增强学习智能体IMPALA,其管理体系架构中包括Actor和Learner两一部分。

Actor一般在CPU上运作,而且在自然环境中采用的流程与对模型开展推论中间开展迭代更新,以预测分析下一个动作。

Actor常常会升级推理模型的主要参数,而且在搜集到充足总数的观察結果后,会将观察結果和动作的运动轨迹发给Learner,进而对Learner开展提升。

在这类架构中,Learner应用来源于数百台设备上的分布式系统推理键入在GPU上训练模型。

但IMPALA存有着很多缺陷:

1、应用CPU开展神经元网络推理,高效率不高。并且伴随着模型增大、与运算质量互变规律大,难题会越来越严重。

2、Actor和Learner中间模型主要参数的网络带宽变成特性的短板。

3、資源利用率低,Actor在自然环境和推理2个每日任务中间更替开展,而这两个每日任务的测算规定不一样,没办法在同一台设备上灵活运用資源。

SEED RL管理体系架构解决了之上这种缺陷。Actor能够在GPU、TPU这类AI硬件加速器上进行推理,根据保证将模型主要参数和情况维持在当地来加速推理速率,并防止传输数据短板。

与IMPALA系统架构反过来,SEED RL中的Actor仅在自然环境中实行实际操作。Learner在硬件加速器上应用来源于好几个Actor的批量数据信息来集中化实行推理。

SEED RL在每一自然环境流程将观察結果发给Learner的另外,应用gPRC架构的互联网库,将延迟时间维持在较适度性。这使SEED RL在一台设备上每秒钟数最多能够保持一百万个查寻。

Learner能够拓展到几百个关键上,Actor的总数能够拓展到好几千台设备,进而保持每秒钟上百万帧的训练速率。

SEED RL采用了二种最优秀的优化算法:V-trace和R3D2。

V-trace承担从取样的动作中预测分析动作的遍布,R3D2承担依据动作的预知值挑选一个动作。

V-trace是根据对策系数的方式,最开始被IMPALA选用。因为Actor和Learner是多线程实行,而V-trace在多线程管理体系架构中的实际效果非常好

第二种优化算法是R3D2,它是一种Q学习的方法,DeepMind曾用这类优化算法将增强学习智能体在Atari手机游戏上的水准提升了4倍,并在52款手机游戏上超出了人们水准。

这类方式容许Q学习培训优化算法规模性硬件配置上运作的另外依然能够应用RNN。

试验結果

Google在DeepMind近期科学研究的开源系统足球游戏新项目Google Research Football中开展了标准检测。

应用64个Cloud TPU关键保持了每秒钟240万帧的数据信息传输速率,与以前的全新分布式系统IMPALA对比,提升了80倍。

IMPALA要想做到同样的速率,必须14000个CPU,而SEED RL仅用了4160个CPU。针对同样的速率,IMPALA必须的CPU是SEED RL的3~4倍。

根据对并行处理的硬件加速器开展提升,人们就可以安安心心地提升模型的尺寸。

在上面的足球游戏每日任务中,根据提升模型尺寸和键入像素,能够处理过去无法处理的一些艰难,让训练模型的高效率大幅度提高。

毕业论文详细地址:https://arxiv.org/abs/1910.06591

GitHub详细地址:https://github.com/google-research/seed_rl

非特殊说明,本文由原创资讯网原创或收集发布。

转载请注明本文地址:http://www.macqim.com/kj/66.html

三级真人牲交-亚洲做性视频在线观看-激情AV-伊人成人在线视频 香港赛马会最新消息| 香港赛马会最新消息| 澳门彩库网2020开奖记录完整版下载-澳门彩库网2020开奖记录| 香港赛马会最新消息| 香港马会最新消息新闻| 2020年香港马会恢复时间| 香港马会最新通知| 1997香港官方彩票网| 2020年09期什么时候开奖| 香港什么时候恢复开奖| 香港赛马会最新消息| 2020年香港马会恢复时间| 香港什么时候恢复开奖| 香港马会最新消息新闻| 香港现聚令最新消息| 2020香港开奖记录结果 小说| 香港马会最新报道| 香港马会搅珠最新通知| 09期马会通知开奖日| 香港赛马会最新消息| 2020年香港马会恢复时间| 4847王中王铁算开奖结果小说| 2020香港开奖记录结果 小说| 香港什么时候恢复开奖| 二四六天天好彩免费资料精选| 香港2020年09期开奖时间| 澳门十二生肖买马资料| 420888澳门论坛六肖六码| 澳门名都论坛www688068cm| 澳门每天一期彩票资料| 2020澳门特料码特| 澳门论坛精选资料| 澳门2020开奖结果+开奖记录| 2020澳门码资料| 澳门福彩开奖结果| 澳门精选免费资料大全亮点| 澳门精选免费资料特点| 2020澳门特料码特| 澳门2020开奖结果+开奖记录| 420888澳门论坛六肖六码| 澳门码开奖结果| 澳门十二生肖买马资料| 澳门天天彩开奖结果| 中国福利彩票高级软件| 2020澳门码资料| 澳门精选免费资料大全| 澳门牛魔王四肖选一肖| 420888澳门论坛六肖六码| 澳门名都论坛四不像论坛| 2020澳门特料码特| 澳门每天一期彩票资料| 在哪里可以看澳门的买马资料| 澳门2020开奖结果+开奖记录| 香港澳门开奖免费资料| 4847王中王铁算开奖结果小说| 澳门精选免费资料大全| 澳门免费资料大全| 420888澳门论坛六肖六码| 2020澳门特料码特| 澳门名都论坛www688068cm| 澳门十二生肖买马资料| 澳门论坛841995| 2020澳门码资料| 420888澳门论坛六肖六码| 澳门每天一期彩票资料| 澳门名都论坛www688068cm| 澳门十二生肖买马资料| 澳门2020开奖结果+开奖记录| 澳门精选免费资料大全| 2020澳门码资料| 澳门牛魔王四肖选一肖| 澳门名都论坛四不像论坛| 420888澳门论坛六肖六码| 澳门每天一期彩票资料| 澳门名都论坛www688068cm| 澳门十二生肖买马资料| 澳门2020开奖结果+开奖记录| 澳门精选免费资料大全| 2020澳门码资料| 澳门牛魔王四肖选一肖| 澳门名都论坛四不像论坛| 澳门赛马会主页mjc.mo| 420888澳门论坛六肖六码| 奥门赛马会| 2020澳门码资料| 澳门赛马排位表+资料| 2020澳门特料码特| 澳门十二生肖买马资料| 澳门每天一期彩票资料| 澳门精选免费资料大全| 澳门牛魔王四肖选一肖| 澳门名都论坛四不像论坛| 澳门精选免费资料大全| 420888澳门论坛六肖六码| 2020澳门特料码特| 澳门每天一期彩票资料| 香港赛马会最新消息| 淮澳门六心水论坛司|