距离ChatGPT推动的生成式人工智能爆发仅一年多,我们似乎都忘记了没有这些突破性工具的日子。然而,如此惊人的变化速度是否给了我们足够的时间来充分评估生成人工智能对地球的真正影响还有待观察,接下来一起来聊聊人工智能的可持续性问题吧。
人工智能的影响(数据方面)
首先也是最重要的是,现在已经确定生成式人工智能需要比标准计算更多的计算能力。造成这种情况的一个关键原因是生成式 AI 模型训练需要 GPU 而不是 CPU。前者通常需要比后者多四倍左右的能源 (例如:Ampere 的 AI CPU 消耗的能源比同等 NVIDIA 机器少 3-5 倍)。
此外,由于AI GPU 产生的热量往往是 CPU 的 2.5 倍 (云计算中使用的标准 CPU 在 250-350W TDP 范围内,而 GPU 在 750-800W 范围内,参见Intel、AMD x2和NVIDIA)),它们需要那么多额外的冷却能力。因此,生成式人工智能训练和推理所需的处理器比预生成式人工智能模型更耗电。
然后是训练和推理之间的区别。看看前者,或者通过提供尽可能多的数据来“教育”生成式人工智能模型所需的过程,训练产生的排放量根据模型的不同而有很大差异:
- 552 tCO2e – GPT3.5、1.3、6 和 1750 亿参数(来源)
- 284 tCO2e – 中等规模的法学硕士,213m 参数(来源)
- 30 tCO2e – BLOOM,一个节俭的法学硕士,1750 亿个参数(来源)
(tCO2e = 吨二氧化碳当量,即二氧化碳 + 其他 3 种最有效的温室气体)
这意味着训练生成式 AI 模型可以生成相当于 3 个法国人的年排放量 (10 tCO2e) 到 50 吨二氧化碳当量的任何数据。
但当然,培训是一次性的。推理或模型的日常使用有其自身的影响,据估计其影响比训练高 200 倍 。根据法国科技协会Data for Good 的数据,考虑到 ChatGPT每周有 1 亿用户,对于 GPT-3.5 来说,这相当于每年 100,000 吨二氧化碳当量。
换句话说,根据Hugging Face 气候主管兼人工智能研究员 Sasha Luccioni 共同撰写的最新白皮书,利用生成式人工智能生成一张图像所消耗的能量相当于给智能手机充满电所需的能量。然而,正如 The Verge指出的那样,考虑到现有的 GenAI 模型种类繁多,“可以”是这里的关键词。
然后是水 。同样与推理相关的是,已经确定,就数据中心所需的冷却资源而言,与 ChatGPT 的一次对话使用了半升水(参见上面 GPU 产生的大量热量)。更不用说GPT-3的训练,需要540万升水(同一来源)。这相当于每个训练小时一升多一点(根据…… ChatGPT 的数据,训练 GPT-3 需要 460 万个 GPU 小时!)
考虑到这些因素,人工智能能源需求将超过供应也就不足为奇了。
研究人员亚历克斯·德·弗里斯 (Alex de Vries) 表示,如果谷歌每天要使用人工智能进行约 90 亿次搜索(它很可能会这么做),那么每年将需要 29.2 太瓦时 (TWh) 的电力。因此,正如德弗里斯去年告诉欧洲新闻台的那样,到 2027 年,人工智能消耗的电力可能与荷兰这样的中等国家消耗的电力一样多 。
IEA(国际能源协会)最近发布了类似的警告:在人工智能和加密货币的推动下,数据中心的能源消耗到 2026 年可能会增加一倍以上,达到 1,000TWh 。
AI 最有影响力的领导者之一自然预见到了这一点:2024 年 1 月的达沃斯,OpenAI 首席执行官 Sam Altman 表示,AI 肯定需要比最初想象的更多的能源 。据路透社报道,他在一次小组讨论中表示,“如果没有能源方面的突破(例如核聚变),就不可能实现这一目标” 。 TechRadar Pro表示,这很可能就是为什么 OpenAI 最著名的投资者微软刚刚聘请了一位新的核开发加速总监:“帮助推动自己的人工智能革命” 。
虽然与目前的裂变方法相比,我们距离核聚变还有很长的路要走,但核动力数据中心的趋势肯定正在兴起。
AMD首席执行官苏姿丰表示,大约十年后我们可能会看到zettaflop级超级计算机,其对500MW设施的需求将远远超过今天的20-50MW设施。这种需求只能由当地的专用资源来满足,例如核SMR(小型模块化反应堆)。
这就是为什么报道称, Cumulus Data去年开设了一座 65MW 核数据中心,并声称最终容量将达到 950MW。此外,Green Energy Partners/IP3(美国弗吉尼亚州)和 Bahnhof(瑞典)目前正在对 SMR 供电的设施进行调查。
考虑到我们目前对化石燃料的依赖(例如,美国 80% 的能源仍然依赖化石燃料),核动力零排放数据中心是否会比当前的解决方案成为地球更好的选择?时间会证明一切,尤其是对于子孙后代……
如何减少这种影响
任何可持续发展战略的首要规则,尤其是在科技领域,应该是问“我真的需要这个吗?”
事实上,生成式人工智能既不是不可避免的,也不是适合所有用例的。正如我们已经在这里解释的那样,象征性的或“老式的”人工智能可以做的事情比我们许多人预期的要多得多,而且影响要小得多 。法国初创公司 Golem.ai 已明确表示,他们的一种电子邮件分类符号 AI 模型的二氧化碳排放量比 GPT-3 少 1000。
也就是说,如果你确实决定必须使用生成式人工智能,它是否必须达到 ChatGPT 的规模?它必须收集世界上所有的数据,还是只能专注于专门的数据集,例如法律文件?
您是否必须使用超级计算机进行训练,还是使用较小的单个H100 GPU就可以解决问题?您能否通过使用老一代 GPU 来延长旧硬件的使用寿命并节省资金?
作为推断,像 Ampere 这样耗能较少的 CPU 能否满足您的需求 (参见上文)?
接下来,研究当今使用生成式人工智能来积极促进可持续发展的多种方式可能会令人鼓舞;潜在的程度可能远远超过其影响。
事实上,麦肯锡的一份报告曾估计,基于人工智能的技术可以帮助企业减少高达 10% 的排放量,并将能源成本降低 10-20%。
科技领域的一个明显例子是谷歌的人工智能子公司 DeepMind,该公司早在 2016 年就宣称,机器学习在 GCP 数据中心的应用使上述设施的能源消耗减少了 40%。如何?通过过去的温度、功率、泵速和设定值等训练数据,提高对关键内部因素(例如不同类型的机械如何相互作用)以及外部因素(例如天气)的预期。
通过使用替代冷却系统也可以减少人工智能对数据中心的影响。这是 DC5 数据中心的情况,Scaleway 的 AI 机器就坐落在那里,由于不使用空调,因此比标准设施消耗的能源少 30-40% 。相反,它在一年中的大部分时间都依赖于自然冷却,在温暖的夏季,则依赖于绝热冷却,这是一种通过使外部空气穿过潮湿的膜来冷却外部空气的过程。再加上法国能源的低碳强度,使得DC5 成为世界上影响最小的人工智能装置之一 。
人工智能造福人类:我们才刚刚开始
尽管当今许多基于法学硕士的解决方案更多地基于预测而非生成人工智能,但机器学习也可以在更广泛的背景下提供帮助。例如,利用过去的数据来预测未来的电力需求,从而优化智能电网;预测道路交通,这可以提高出行和运输效率,从而减少污染(谷歌声称其与谷歌地图的绿灯计划可以将十字路口的排放量减少 10%);通过温度预测微调建筑物的能耗;以及极端天气事件或事件的预测,例如Pyronear,它使用配备人工智能的塔来检测森林火灾。
所有这些例子以及更多——还涵盖社会影响、公共政策分析、教育和金融——都已经通过生成人工智能而发生了。这份由顶尖学者和 Google 思想领袖撰写的白皮书展示了这些多样化的活动如何从整体上加速可持续发展。
生成式人工智能还可以促进获取有关可持续发展的关键信息。法国国家生态机构(和 Scaleway 客户)ADEME目前正在试验一种基于文本的模型,该模型是在该机构广泛的文档数据库上进行训练的,目的是更快、更容易地提取关键数据。如果实验成功,该模型就可以向公众开放。该项目由Ekimetrics 的“AI for Sustainability”团队牵头,类似于“ ClimateQ&A ”,这是一种根据 IPCC 报告训练的模型,本质上是一个用于可持续发展的 ChatGPT (而且不是唯一的一个,参见这个 ChatGPT 插件,“ IPCC解释者”)。
还有一些挥舞旗帜的应用程序,它们警告我们潜在的可持续发展紧急情况。 Data for Good 显着帮助海洋保护 ONG Bloom使用人工智能检测非法捕鱼,并使用人工智能为其Carbonbombs.org网站提供支持,该网站标记了煤矿等世界上污染最严重的项目,目前正在影响全球政策。最后,Climatetrace.org使用人工智能来突出显示那些脱碳速度没有他们所说的那么快的国家。
不要忘记人工智能模型本身:它们越小,消耗的能源就越少,这对包括地球在内的每个人都更好。正如Mistral AI 首席执行官兼联合创始人 Arthur Mensch去年 11 月 告诉 ai-PULSE 的那样,“在变形金刚的‘香草注意力’版本中,你需要将代币保留在内存中。 “借助 Mistral AI 的‘滑动窗口注意力’模型,内存中的令牌数量减少了四倍,减少了内存压力,从而节省了资金。目前,生成式人工智能使用了太多的内存 ”。这就是为什么该公司的最新型号 Mistral-7B 可以在(最新的)智能手机上本地运行的原因。
展望未来,这种效率第一的方法也将适用于人工智能解决方案。Scaleway 的目标是在 2024 年中期之前发布测试版推理服务,该服务将为连接到客户私人或敏感数据的法学硕士提供服务 。基于 Llama 等法学硕士或 Mistral AI 的法学硕士,此类服务具有成本效益和能源效率,因为:
用户可以根据使用高峰调整计算资源的大小
使用现有的预训练和开源模型可以避免从头开始训练新模型所产生的排放。
结论:现在说还为时过早
如果我们认为人工智能解决方案的数量与影响一样多,那么陪审团充其量是没有结果的。大多数专家都认为,在生成式人工智能革命中,现在衡量其对地球的真正影响还为时过早。
但有好消息!首先,在选择适合您需求的人工智能模型之前完全可以评估影响,即:
使用机器学习排放计算器等工具,其排放影响是什么
无论您是否可以重复使用或微调现有模型 – Hugging Face等存储库中提供了近 500,000 个不同的模型- 因为这比从头开始创建新模型消耗的能量要少得多
是否由致力于减少能源消耗的云提供商托管,以及其数据中心位于低碳强度国家。
此外,绿色 IT的原则同样适用于人工智能和“传统”计算:
数据中心 应该使用可再生能源——并且尽可能少地使用——同时从根本上限制用水量。他们还应该使用空调的替代品,以大大减少人工智能对环境的影响(见上文)
硬件 应进行优化,以使用尽可能少的能源,并尽可能长时间地持续使用
软件 解决方案——在这种情况下想想人工智能模型,或者像推理即服务这样的选项——应该被设计成消耗尽可能少的计算资源,从而消耗尽可能少的能源。
最后但并非最不重要的一点是,人工智能数据集、模型和机器的大小和功能应该根据需要而定。否则,技术陷入反弹效应的永恒风险,或者杰文悖论——随着服务效率的提高,更多而不是更少地使用服务——可能会产生可怕的后果。
正如 Ekimetrics 可持续发展人工智能负责人 Theo Alves Da Costa所说,“如果我们使用人工智能推土机将一颗钉子敲进墙上,钉子会进去,但我们也面临着把整堵墙推倒的风险。在这种情况下,最好只使用锤子”。