科技云报道:AI大模型背后,竟是惊人的碳排放
创始人
2024-05-29 12:04:38
0

科技云报道原创。

自从ChatGPT这样的大型语言模型在全球引起轰动以来,很少有人注意到,训练和运行大型语言模型正在产生惊人的碳排放量。

虽然OpenAI和谷歌都没有说过他们各自产品的计算成本是多少,但据第三方研究人员分析,ChatGPT部分训练消耗了1287兆瓦时,并导致了超过550吨的二氧化碳排放量,这相当于一个人在纽约和旧金山之间往返550次。

事实上,这只是训练时的排放量,当AI大模型运行时还将排出更多的二氧化碳。

加拿大数据中心公司QScale联合创始人Martin Bouchard认为,微软和谷歌为了满足搜索引擎用户日益增长的需求,在搜索中加入ChatGPT这类生成式AI,会导致每次搜索至少增加4到5倍的计算量。

如果还要经常重新训练模型,并添加更多的参数,计算量的规模就完全不同了。

根据国际能源署(International Energy Agency)的数据,数据中心的温室气体排放量已经占到全球温室气体排放量的1%左右。

随着AI大模型和对云计算需求的增长,这一数字预计还会上升。

AI大模型,正在成为碳排放的一个重要来源。

降低AI大模型的碳排放

AI模型的训练和运营过程需要消耗大量能源,但关键问题是,如何知道及测算单个机器学习实验正在产生多少温室气体排放,以及可以减少多少?

目前数据科学家们仍无法简单可靠地获取该领域的测量结果,这也妨碍着进一步制定可行的应对策略。

针对这一问题,谷歌发表了一项研究,详细介绍了最先进的语言模型的能源成本,包括早期和更大版本的LaMDA。

研究结果表明,将高效的模型、处理器和数据中心与清洁能源相结合,可以将机器学习系统的碳足迹减少1000倍。

该团队提出了四种基本方法,可显着减少机器学习工作负载的碳(和能源)足迹,这些方法目前在Google中使用,任何使用Google Cloud服务的人都可以使用。

Google能源和碳足迹减少最佳实践(4Ms)如下:

模型:研究人员表示,选择高效的ML模型架构至关重要,因为它有可能提高ML质量,同时将计算时间缩短一半。
机器:与通用处理器相比,使用专门用于ML训练的处理器和系统可以将性能和能效提高2倍至5倍。
机械化:大多数情况下,本地数据中心更老、更小。因此,新的节能冷却和配电系统的费用无法摊销。
基于云的数据中心是全新的、定制设计的仓库,具有可容纳50000台服务器的能效特性。它们提供异常高效的电源利用率 (PUE)。

因此,在云端而不是在本地进行计算,可以节省1.4-2倍的能源并减少污染。

优化:云允许客户选择具有最清洁能源的区域,从而将总碳足迹减少5到10倍。基于4Ms改进的模型、特定于机器学习的硬件和高效的数据中心,大大抵消了这种负载增加。
谷歌的数据表明,机器学习训练和推理在过去三年中仅占谷歌整体能源使用量的10%至15%,其中每年有35%用于推理,25%用于训练。

为了找到改进的机器学习模型,谷歌采用了神经架构搜索 (NAS)。

每个问题域/搜索空间组合通常只执行一次NAS,然后可以将生成的模型重复用于数百个应用程序,NAS的一次性成本通常被持续使用的减排量所抵消。

研究人员进行了一项研究来训练Transformer模型。

为此,他们在典型的数据中心中使用了Nvidia P100 GPU,其能源组合与全球平均水平相似,而使用TPUv4等新一代ML硬件,性能比P100提升了14倍。

同时,高效的云数据中心比普通数据中心节省1.4倍的能源,从而使总能耗降低83倍。

此外,由低碳能源驱动的数据中心可以将碳排放量再减少9倍,从而在四年内总共减少747倍。

谷歌团队认为,在信息技术领域,制造各种类型和规模的计算设备的生命周期成本,比机器学习的运营成本要高得多。

排放估算的制造成本包括制造所有相关组件(从芯片到数据中心建筑)所排放的嵌入碳。

当然,除了使用4Ms方法,服务提供商和用户还可以采取简单的措施来提高他们的碳足迹绩效,例如:

客户应通过让数据中心提供商报告数据中心效率和每个位置的能源供应清洁度,来分析和减少他们的能源使用和碳足迹。

工程师应该在最环保的数据中心中最快的处理器上训练模型,这些数据中心越来越多地在云上。

机器学习的研究人员应该专注于设计更有效的模型,如:利用稀疏性或包括检索来减少模型。

此外,他们应该报告他们的能源消耗和碳影响。这不仅会鼓励超越模型质量的竞争,而且还可以确保对他们的工作进行正确的核算。

AI助力降低碳排放

尽管AI大模型是碳排放大户,但以AI为代表的前沿科技也正在为降碳减排做出贡献。

百度与咨询机构IDC(International Data Corporation)联合进行的研究显示:与AI相关的技术减碳贡献占比会逐年提升,到2060年将至少达到70%,减碳总量预计超过350亿吨。

以交通行业为例,2020年中国交通行业的碳排放估测量为10.4亿吨,占全国总体排放的9%。

而在驱动交通行业降碳减排过程中,使用以智能信控为主的缓堵型智能交通技术,可以有效提升城市主要道路交叉口的通行效率,千万级人口城市因此每年可至少减碳4.16万吨——这相当于1.4万辆私家车行驶一年的碳排量。

从目前的实践来看,理解和实现减排的关键是对减排的效果进行预测和监控,而AI在节能减排中具有预测排放、监测排放、减少排放三个关键应用。

据《碳中和产业发展白皮书》显示,在预测排放方面,AI 能够根据当前减排工作和需求,预测未来的碳排放量,同时为碳排放定下排放量指引。

在监测排放方面,AI 能实时跟踪碳足迹数据,从采购、生产、销售、运维、物流等全环节收集数据,提升监测准确性。

在减少排放方面,AI 收集各环节数据后,能够以全局视角对各环节工作流程做出优化调整。

事实上,在AI助力碳减排方面,目前国内多个领域已有应用。

在新能源领域,突出问题在于其具有波动性、随机性、间歇性特点。

通过AI技术结合仿真计算,对风光电的不稳定情况做场景预测,如:结合风速、风向、光照强度等自然气象特征对未来的发电量进行合理的预测,向电网输出更精准的发电计划,将新能源的不确定性、不稳定屏蔽在技术层之下。

再比如,水务集团的管辖范围包括原水、制水、供水、排水、污水、节水等。

以居民供水为例,水压过大,所需能耗大,管网漏损率高,可能会引起爆管事件;而水压过小,可能会造成居民用水不便。

为了解决这一问题,水务集团在地下部署硬件传感器监测水压、建设水务大脑,在保证安全、稳定供水的前提下,通过AI技术可以实现智能化调压控制、能耗优化。

不仅如此,AI降碳技术也应用在电厂、园区、数据中心等能源消耗较高的业务场景中,对其生产用电需求进行精确预测和控制,进行耗电设备、碳足迹的优化。

结语

AI技术的进步给人类带来了诸多便利,但也必须在发展中关注环境问题。

未来AI如何实现可持续发展,以及AI如何更好地支撑双碳领域的变革,仍是亟需各行业共同解决的问题。

【关于科技云报道】

专注于原创的企业级内容行家——科技云报道。成立于2015年,是前沿企业级IT领域Top10媒体。获工信部权威认可,可信云、全球云计算大会官方指定传播媒体之一。深入原创报道云计算、大数据、人工智能、区块链等领域。

相关内容

热门资讯

电视安卓系统哪个品牌好,哪家品... 你有没有想过,家里的电视是不是该升级换代了呢?现在市面上电视品牌琳琅满目,各种操作系统也是让人眼花缭...
安卓会员管理系统怎么用,提升服... 你有没有想过,手机里那些你爱不释手的APP,背后其实有个强大的会员管理系统在默默支持呢?没错,就是那...
安卓系统软件使用技巧,解锁软件... 你有没有发现,用安卓手机的时候,总有一些小技巧能让你玩得更溜?别小看了这些小细节,它们可是能让你的手...
安卓系统提示音替换 你知道吗?手机里那个时不时响起的提示音,有时候真的能让人心情大好,有时候又让人抓狂不已。今天,就让我...
安卓开机不了系统更新 手机突然开不了机,系统更新还卡在那里,这可真是让人头疼的问题啊!你是不是也遇到了这种情况?别急,今天...
安卓系统中微信视频,安卓系统下... 你有没有发现,现在用手机聊天,视频通话简直成了标配!尤其是咱们安卓系统的小伙伴们,微信视频功能更是用...
安卓系统是服务器,服务器端的智... 你知道吗?在科技的世界里,安卓系统可是个超级明星呢!它不仅仅是个手机操作系统,竟然还能成为服务器的得...
pc电脑安卓系统下载软件,轻松... 你有没有想过,你的PC电脑上安装了安卓系统,是不是瞬间觉得世界都大不一样了呢?没错,就是那种“一机在...
电影院购票系统安卓,便捷观影新... 你有没有想过,在繁忙的生活中,一部好电影就像是一剂强心针,能瞬间让你放松心情?而我今天要和你分享的,...
安卓系统可以写程序? 你有没有想过,安卓系统竟然也能写程序呢?没错,你没听错!这个我们日常使用的智能手机操作系统,竟然有着...
安卓系统架构书籍推荐,权威书籍... 你有没有想过,想要深入了解安卓系统架构,却不知道从何下手?别急,今天我就要给你推荐几本超级实用的书籍...
安卓系统看到的炸弹,技术解析与... 安卓系统看到的炸弹——揭秘手机中的隐形威胁在数字化时代,智能手机已经成为我们生活中不可或缺的一部分。...
鸿蒙系统有安卓文件,畅享多平台... 你知道吗?最近在科技圈里,有个大新闻可是闹得沸沸扬扬的,那就是鸿蒙系统竟然有了安卓文件!是不是觉得有...
宝马安卓车机系统切换,驾驭未来... 你有没有发现,现在的汽车越来越智能了?尤其是那些豪华品牌,比如宝马,它们的内饰里那个大屏幕,简直就像...
p30退回安卓系统 你有没有听说最近P30的用户们都在忙活一件大事?没错,就是他们的手机要退回安卓系统啦!这可不是一个简...
oppoa57安卓原生系统,原... 你有没有发现,最近OPPO A57这款手机在安卓原生系统上的表现真是让人眼前一亮呢?今天,就让我带你...
安卓系统输入法联想,安卓系统输... 你有没有发现,手机上的输入法真的是个神奇的小助手呢?尤其是安卓系统的输入法,简直就是智能生活的点睛之...
怎么进入安卓刷机系统,安卓刷机... 亲爱的手机控们,你是否曾对安卓手机的刷机系统充满好奇?想要解锁手机潜能,体验全新的系统魅力?别急,今...
安卓系统程序有病毒 你知道吗?在这个数字化时代,手机已经成了我们生活中不可或缺的好伙伴。但是,你知道吗?即使是安卓系统,...
奥迪中控安卓系统下载,畅享智能... 你有没有发现,现在汽车的中控系统越来越智能了?尤其是奥迪这种豪华品牌,他们的中控系统简直就是科技与艺...