科技云报道:AI大模型背后,竟是惊人的碳排放
创始人
2024-05-29 12:04:38
0

科技云报道原创。

自从ChatGPT这样的大型语言模型在全球引起轰动以来,很少有人注意到,训练和运行大型语言模型正在产生惊人的碳排放量。

虽然OpenAI和谷歌都没有说过他们各自产品的计算成本是多少,但据第三方研究人员分析,ChatGPT部分训练消耗了1287兆瓦时,并导致了超过550吨的二氧化碳排放量,这相当于一个人在纽约和旧金山之间往返550次。

事实上,这只是训练时的排放量,当AI大模型运行时还将排出更多的二氧化碳。

加拿大数据中心公司QScale联合创始人Martin Bouchard认为,微软和谷歌为了满足搜索引擎用户日益增长的需求,在搜索中加入ChatGPT这类生成式AI,会导致每次搜索至少增加4到5倍的计算量。

如果还要经常重新训练模型,并添加更多的参数,计算量的规模就完全不同了。

根据国际能源署(International Energy Agency)的数据,数据中心的温室气体排放量已经占到全球温室气体排放量的1%左右。

随着AI大模型和对云计算需求的增长,这一数字预计还会上升。

AI大模型,正在成为碳排放的一个重要来源。

降低AI大模型的碳排放

AI模型的训练和运营过程需要消耗大量能源,但关键问题是,如何知道及测算单个机器学习实验正在产生多少温室气体排放,以及可以减少多少?

目前数据科学家们仍无法简单可靠地获取该领域的测量结果,这也妨碍着进一步制定可行的应对策略。

针对这一问题,谷歌发表了一项研究,详细介绍了最先进的语言模型的能源成本,包括早期和更大版本的LaMDA。

研究结果表明,将高效的模型、处理器和数据中心与清洁能源相结合,可以将机器学习系统的碳足迹减少1000倍。

该团队提出了四种基本方法,可显着减少机器学习工作负载的碳(和能源)足迹,这些方法目前在Google中使用,任何使用Google Cloud服务的人都可以使用。

Google能源和碳足迹减少最佳实践(4Ms)如下:

模型:研究人员表示,选择高效的ML模型架构至关重要,因为它有可能提高ML质量,同时将计算时间缩短一半。
机器:与通用处理器相比,使用专门用于ML训练的处理器和系统可以将性能和能效提高2倍至5倍。
机械化:大多数情况下,本地数据中心更老、更小。因此,新的节能冷却和配电系统的费用无法摊销。
基于云的数据中心是全新的、定制设计的仓库,具有可容纳50000台服务器的能效特性。它们提供异常高效的电源利用率 (PUE)。

因此,在云端而不是在本地进行计算,可以节省1.4-2倍的能源并减少污染。

优化:云允许客户选择具有最清洁能源的区域,从而将总碳足迹减少5到10倍。基于4Ms改进的模型、特定于机器学习的硬件和高效的数据中心,大大抵消了这种负载增加。
谷歌的数据表明,机器学习训练和推理在过去三年中仅占谷歌整体能源使用量的10%至15%,其中每年有35%用于推理,25%用于训练。

为了找到改进的机器学习模型,谷歌采用了神经架构搜索 (NAS)。

每个问题域/搜索空间组合通常只执行一次NAS,然后可以将生成的模型重复用于数百个应用程序,NAS的一次性成本通常被持续使用的减排量所抵消。

研究人员进行了一项研究来训练Transformer模型。

为此,他们在典型的数据中心中使用了Nvidia P100 GPU,其能源组合与全球平均水平相似,而使用TPUv4等新一代ML硬件,性能比P100提升了14倍。

同时,高效的云数据中心比普通数据中心节省1.4倍的能源,从而使总能耗降低83倍。

此外,由低碳能源驱动的数据中心可以将碳排放量再减少9倍,从而在四年内总共减少747倍。

谷歌团队认为,在信息技术领域,制造各种类型和规模的计算设备的生命周期成本,比机器学习的运营成本要高得多。

排放估算的制造成本包括制造所有相关组件(从芯片到数据中心建筑)所排放的嵌入碳。

当然,除了使用4Ms方法,服务提供商和用户还可以采取简单的措施来提高他们的碳足迹绩效,例如:

客户应通过让数据中心提供商报告数据中心效率和每个位置的能源供应清洁度,来分析和减少他们的能源使用和碳足迹。

工程师应该在最环保的数据中心中最快的处理器上训练模型,这些数据中心越来越多地在云上。

机器学习的研究人员应该专注于设计更有效的模型,如:利用稀疏性或包括检索来减少模型。

此外,他们应该报告他们的能源消耗和碳影响。这不仅会鼓励超越模型质量的竞争,而且还可以确保对他们的工作进行正确的核算。

AI助力降低碳排放

尽管AI大模型是碳排放大户,但以AI为代表的前沿科技也正在为降碳减排做出贡献。

百度与咨询机构IDC(International Data Corporation)联合进行的研究显示:与AI相关的技术减碳贡献占比会逐年提升,到2060年将至少达到70%,减碳总量预计超过350亿吨。

以交通行业为例,2020年中国交通行业的碳排放估测量为10.4亿吨,占全国总体排放的9%。

而在驱动交通行业降碳减排过程中,使用以智能信控为主的缓堵型智能交通技术,可以有效提升城市主要道路交叉口的通行效率,千万级人口城市因此每年可至少减碳4.16万吨——这相当于1.4万辆私家车行驶一年的碳排量。

从目前的实践来看,理解和实现减排的关键是对减排的效果进行预测和监控,而AI在节能减排中具有预测排放、监测排放、减少排放三个关键应用。

据《碳中和产业发展白皮书》显示,在预测排放方面,AI 能够根据当前减排工作和需求,预测未来的碳排放量,同时为碳排放定下排放量指引。

在监测排放方面,AI 能实时跟踪碳足迹数据,从采购、生产、销售、运维、物流等全环节收集数据,提升监测准确性。

在减少排放方面,AI 收集各环节数据后,能够以全局视角对各环节工作流程做出优化调整。

事实上,在AI助力碳减排方面,目前国内多个领域已有应用。

在新能源领域,突出问题在于其具有波动性、随机性、间歇性特点。

通过AI技术结合仿真计算,对风光电的不稳定情况做场景预测,如:结合风速、风向、光照强度等自然气象特征对未来的发电量进行合理的预测,向电网输出更精准的发电计划,将新能源的不确定性、不稳定屏蔽在技术层之下。

再比如,水务集团的管辖范围包括原水、制水、供水、排水、污水、节水等。

以居民供水为例,水压过大,所需能耗大,管网漏损率高,可能会引起爆管事件;而水压过小,可能会造成居民用水不便。

为了解决这一问题,水务集团在地下部署硬件传感器监测水压、建设水务大脑,在保证安全、稳定供水的前提下,通过AI技术可以实现智能化调压控制、能耗优化。

不仅如此,AI降碳技术也应用在电厂、园区、数据中心等能源消耗较高的业务场景中,对其生产用电需求进行精确预测和控制,进行耗电设备、碳足迹的优化。

结语

AI技术的进步给人类带来了诸多便利,但也必须在发展中关注环境问题。

未来AI如何实现可持续发展,以及AI如何更好地支撑双碳领域的变革,仍是亟需各行业共同解决的问题。

【关于科技云报道】

专注于原创的企业级内容行家——科技云报道。成立于2015年,是前沿企业级IT领域Top10媒体。获工信部权威认可,可信云、全球云计算大会官方指定传播媒体之一。深入原创报道云计算、大数据、人工智能、区块链等领域。

相关内容

热门资讯

安卓机改双系统,体验双重魅力 你有没有想过,你的安卓手机其实可以变身成双系统战士呢?没错,就是那种可以同时运行两个不同操作系统的神...
小米9安卓10.0系统,智能升... 你有没有发现,最近小米9的安卓10.0系统更新真的是让人眼前一亮呢?这不,我就迫不及待地来和你分享一...
安卓如何升级黑莓系统,黑莓系统... 你有没有发现,你的安卓黑莓手机最近有点儿慢吞吞的,是不是也想给它来个焕然一新的升级呢?别急,今天就来...
安卓系统垃圾手动清理,手动优化... 手机里的安卓系统是不是越来越慢了?是不是觉得垃圾文件越来越多,清理起来麻烦又费时?别急,今天就来给你...
安卓怎么转成苹果系统,跨平台迁... 你是不是也和我一样,手里拿着一台安卓手机,突然之间对苹果的生态系统产生了浓厚的兴趣?想要体验一下那个...
安卓手机升级系统蓝屏,安卓手机... 你有没有遇到过这种情况?手机升级系统后,屏幕突然变成了蓝屏,心里那个慌啊!别急,今天就来和你聊聊安卓...
安卓系统变ios系统教程视频,... 你是不是也和我一样,对手机系统转换充满了好奇?想要从安卓系统切换到iOS系统,但又觉得操作复杂,不知...
哪种汽车是安卓系统,探索安卓系... 你有没有想过,在我们这个智能化的时代,汽车竟然也能装上安卓系统呢?没错,你没听错,就是那个我们日常使...
完美返利系统下载安卓,轻松赚取... 你有没有听说过那个超级给力的“完美返利系统”呀?最近在朋友圈里可是火得一塌糊涂呢!今天,我就要来给你...
安卓系统传文件app,轻松实现... 你是不是也和我一样,手机里存了超多好用的安卓系统传文件app?今天就来聊聊这些小宝贝,看看它们是如何...
车载导航安卓系统大全,全面解析... 你有没有想过,开车出门的时候,如果没有了导航,那可真是寸步难行啊!现在,车载导航安卓系统可是越来越流...
部落冲突关联安卓系统,安卓系统... 亲爱的玩家们,你是否曾在《部落冲突》的世界里,挥舞着你的战旗,与成千上万的玩家并肩作战?今天,就让我...
安卓手机系统好评推荐,这些热门... 你有没有发现,现在手机市场上安卓手机真的是越来越受欢迎了呢?这不,最近我可是深入研究了各种安卓手机系...
诺基亚925刷安卓系统,深度解... 你手中的诺基亚925是不是已经有点儿老气横秋了?别急,今天就来给你来点新鲜的!咱们聊聊如何给这款经典...
安卓系统应用这么关闭,安卓应用... 手机里的安卓系统应用这么多,有时候用完一个就想赶紧关闭,免得占用太多内存。但是,你知道怎么高效地关闭...
手机wp系统怎么刷安卓系统,轻... 你有没有想过,你的手机WP系统突然变得有点儿老气横秋,想要给它来个焕然一新的变身呢?没错,就是刷上安...
安卓原生系统进程锁,守护系统稳... 你知道吗?在安卓手机的世界里,有一个神秘的守护者,它就是安卓原生系统进程锁。今天,就让我带你一探究竟...
删除安卓系统的缓存,释放手机空... 手机用久了是不是感觉越来越卡?别急,今天就来教你怎么给安卓手机来个大扫除,把那些该死的缓存通通清理掉...
安卓系统的所有游戏,尽享千款精... 你有没有发现,手机里的游戏越来越丰富了呢?尤其是安卓系统,简直就是游戏爱好者的天堂!今天,就让我带你...
安卓系统流畅度测评,深度解析各... 你有没有发现,手机用久了,有时候就像老牛拉车一样,慢吞吞的,让人心里直发慌?这不,最近我闲来无事,就...