火星网校
最新调查:AI大模型的两大难题，要靠“绿色计算”来解决?
发布时间：2024-01-26 19:51:21 浏览量：111次
大数据文摘受权转载自学术头条
作者：闫一米
编辑：学术君
当前，人工智能（AI）已广泛应用于众多领域，包括计算机视觉、自然语言处理、时间序列分析和语音合成等。
在深度学习时代，尤其是随着大型语言模型（LLMs）的出现，大多数研究人员的注意力都集中在追求新的最先进（SOTA）结果上，使得模型规模和计算复杂性不断增加。
对高计算能力的需求带来了更高的碳排放，也阻碍了资金有限的中小型公司和研究机构的参与，从而破坏了研究的公平性。
为了应对 AI 在计算资源和环境影响方面的挑战，绿色计算（Green Computing）已成为一个热门研究课题。
近日，蚂蚁集团携手国内众多高校和研究机构共同发布一项调查报告，系统地概述了绿色计算所使用的技术，并提出了一个绿色计算框架，其中包括以下四个关键组成部分：
绿色衡量指标（Measures of Greenness）：衡量智能系统所需计算资源的关键因素和方法。常见的测量指标包括直接指标，如运行时间、电力消耗和模型大小，也包括间接指标，如碳排放。 节能 AI（Energy-Efficient AI）：优化 AI 模型整个生命周期的节能方法，包括模型设计、训练、推理，还包括针对大型语言模型的优化技术，从而减少训练和推理的功耗。 节能计算系统（Energy-Efficient Computing Systems）：优化计算系统资源消耗的技术，包括集群资源调度、分区和数据管理优化。 可持续性 AI 应用（AI for Sustainability）：采用 AI 来提高可持续性的应用，包括用于环境效益（用于环境的绿色计算）和提高工程效率（用于工程的绿色计算）的应用。环境绿色计算包括利用卫星成像 CV 监测空气污染排放和碳封存估计等应用，工程绿色计算包括优化数据库安全加密等。
该研究指出，“这一新的研究方向有可能解决资源限制和 AI 发展之间的冲突。”
相关研究论文以“On the Opportunities of Green Computing: A Survey”为题，已发表在预印本网站 arXiv 上。
https://arxiv.org/abs/2311.00447
从众多 AI 算法的训练和推理案例中，模型大小、参数调优和训练数据成为影响计算资源的三大主要因素。在这基础上，该研究总结了六种常见的“环保性”测量方法，包括运行时间、模型大小、FPO/FLOPS（浮点运算操作数）、硬件功耗、能源消耗以及碳排放。
用于跟踪“环保性”测量的工具包括 tfprof、绿色算法、CodeCarbon、Carbontracker 以及自动 AI 模型环保性跟踪工具包。
在图像分类、目标检测和其他 AI 任务中，一些传统的深度学习神经网络模型，如 LeNet、VGG、GoogleNet 等，虽然取得了不错的性能，但却需要过多的计算资源。因此，该研究提出使用 Depth-wise Separable Convolution、Fire Convolution、Flattened Convolution 以及Shrinked Convolution 等方法来解决这一问题。
此外，在开发基于图数据的神经网络方面，该研究还提出了 ImprovedGCN，其中包含 GCN 的主要必要组成部分。另外，该研究还推荐了另外一种神经网络——SeHGNN，用于汇总预先计算的邻近表示，降低了复杂性，避免了在每个训练周期中重复聚合邻近顶点的冗余操作。
在时间序列分类方面，目前常用的集成学习方法需要大量计算资源。为此，研究建议使用LightTS 和 LightCTS 两种方法来解决这个问题。
另外，Transformer 是一个强大的序列模型，但随着序列长度的增加，其需要的时间和内存呈指数级增长。自注意力（Self-Attention）类型的网络在处理长序列时需要大量内存和计算资源。为此，研究建议使用 Effective Attention 以及 EdgeBERT 和 R2D2 两种模型来应对这一挑战。
除了特定神经网络组件的设计，还有一些通用策略可以用于高效的神经网络结构设计，例如低秩模块策略、静态参数共享、动态网络和超级网络等策略。这些策略可以无缝地集成到任何参数化结构中。
在模型训练方面，研究总结了有效训练范式、训练数据效率以及超参数优化三个方面的方法。为了实现绿色 AI，降低神经网络的能源消耗，可以采用模型剪枝、低秩分解、量化和蒸馏等有效方法。
在节能计算系统方面，研究简要介绍了包括优化云数据库资源利用、硬件和软件协同设计等多方面的解决方案，这些原则也同样适用于数据分析领域，包括利用混合查询优化和机器学习等技术，以提高处理过程的能源效率。
值得注意的是，绿色计算强调的是 AI 不仅在其自身的开发和运行中应具备能源效率，还应积极参与各种绿色应用领域，以解决环境和可持续性挑战。
研究指出，AI 能够有效地从监测数据、遥感数据和气象数据中提取有用信息，其中涵盖了空气污染监测、碳封存估算、碳价格预测等众多领域，从而为决策和行动提供指导。
目前，尽管绿色计算已经在能源效率和碳减排方面取得成功，但计算资源仍然成为产业增长的瓶颈。为此，该研究提出了一些未来研究方向，包括在模型评估中加入“绿色度”测量，制定广泛接受的绿色度评估框架，探索更小但更高效的语言模型，以及鼓励更多工业应用以降低对环境的影响。
另外，研究指出，绿色计算的未来将依赖于学术界、产业界和政府的共同努力，以实现环境可持续性和 AI 效率的平衡发展。政策支持、创新合作和最佳实践分享将是推动这一领域进一步发展的关键。
热门课程推荐
热门资讯
-
想将照片变成漫画效果？这篇文章分享了4个方法，包括Photoshop、聪明灵犀、VanceAI Toongineer、醒图，简单操作就能实现，快来尝试一下吧！
-
2. 华为手机神奇“AI修图”功能，一键消除衣服！原图变身大V领深V！
最近华为手机Pura70推出的“AI修图”功能引发热议，通过简单操作可以让照片中的人物换装。想了解更多这款神奇功能的使用方法吗？点击查看！
-
近年来,人工智能逐渐走入公众视野,其中的AI图像生成技术尤为引人注目。只需在特定软件中输入关键词描述语以及上传参考图就能智能高效生成符合要求的...
-
4. AI视频制作神器Viggle：让静态人物动起来，创意无限！
Viggle AI是一款免费制作视频的AI工具，能让静态人物图片动起来，快来了解Viggle AI的功能和优势吧！
-
5. Logo Diffusion——基于sd绘画模型的AI LOGO 生成器
这下LOGO设计彻底不用求人了。接下来详细演示一遍操作流程首先进入Logo D... 想学习更多AI技能,比如说关于怎么样利用AI来提高生产效率、还能做什么AI...
-
6. 零基础10分钟生成漫画，教大家如何用AI生成自己的漫画
接下来,我将亲自引导你,使用AI工具,创作一本既有趣又能带来盈利的漫画。我们将一起探索如何利用这个工具,发挥你的创意,制作出令人惊叹的漫画作品。让...
-
以下是一些免费的AI视频制作网站或工具,帮助您制作各种类型的视频。 1. Lumen5:Lumen5是一个基于AI的视频制作工具,可将文本转换为视频。 用户可以使...
-
8. AI显卡绘画排行榜:4090无悬念，最具性价比出人意料
在AI绘图领域，Stable Diffusion的显卡绘图性能备受关注。本文整理了Stable Diffusion显卡的硬件要求和性能表现，以及2023年3月显卡AI绘图效率排行榜和性价比排行榜。欢迎查看最新的AI显卡算力排行榜。
-
9. 一款免费无限制的AI视频生成工具火了!国内无障碍访问!附教程
人人都可以动手制作AI视频! 打开网址https://pixverse.ai/,用邮箱注册后,点击右上角Create,就可以开始创作了。 PixVerse目前有文案生成视频,和图片生...
-
就能快速生成一幅极具艺术效果的作品,让现实中不懂绘画的人也能参与其中创作!真的超赞哒~趣趣分享几款超厉害的AI绘画软件,提供详细操作!有需要的快来...
