火星网校
AI技术助力3D场景重建，实现自动驾驶系统训练新突破
发布时间：2024-08-21 10:46:20 浏览量：111次
场景的保真度，对于自动驾驶仿真和合成数据生成至关重要，场景重建保真度不足，将极大地制约高阶自动驾驶系统的训练效果。同时，在用于训练大模型和具身智能的合成数据领域，同样对低成本的高保真场景有巨大的需求。
在此背景下，凭借多年的技术积累，51WORLD旗下AI合成数据及仿真平台公司51Sim基于AI算法，将3D Gaussian Splatting与传统图形渲染技术创新融合，不仅攻克了3DGS技术泛化能力不足等“卡脖子”难题，实现了在拟真度方面的突破性进展，还显著提高了自动驾驶系统的训练质量及仿真的置信度。
▍“端到端”自动驾驶对高保真场景需求迫切
目前已量产的智能驾驶，大多数采用的都是模块化架构，而端到端架构则是通过一个模型来实现，因此能够更加高效和低成本地聚焦核心功能，也让端到端解决方案正逐渐成为主流。
端到端方案对于高保真场景的需求更加迫切，由于端到端系统需要能够在各种复杂场景中自如应对，需要将大量标注有自动驾驶行为的视频投入自动驾驶训练。然而传统的3D场景仿真技术因为场景的真实感不足、多样性欠缺和成本高等问题，已无法完整满足端到端落地的需求。
▍3D Gaussian Splatting 技术
3D高斯泼溅（3D Gaussian Splatting, 简称3DGS）是用于实时辐射场渲染的3D 高斯分布描述的一种渲染技术，通过将多视角图像表示的三维场景转化为各向异性3D高斯点云表示的场景，并能通过参数优化和密度控制来提高重建质量。
3DGS在渲染速度、图像质量、定位精度等方面呈现出了非常优异的表现，全面补足了NeRF的短板。基于3DGS的重建场景能够1:1复刻在真实智驾上发现的边缘场景，通过动态场景泛化，提升端到端智驾系统应对Corner Case的能力。
▍51Sim融合方案突破3DGS技术局限
针对3DGS在实际应用上的短板，51Sim凭借多年在仿真领域的技术积累，将3DGS通过AI算法驱动与传统图形渲染技术融合，突破了单一技术的局限。
在通过3DGS点云建模的基础上，通过优化的AI融合算法，将静态3DGS场景与51Sim此前积累的静态场景库、动态的交通场景库和各类传感器仿真进行了自然融合，确保了整体场景的连贯性和视觉真实感，实现了场景丰富度指数级增加。同时，利用先进的全局渲染技术，生成高质量视图，确保多相机视角的一致性和高保真度，实现了逼真的渲染效果。
▍应用场景覆盖各类具身/非具身智能领域
51Sim融合方案具有高质量和实时渲染的能力，高保真的模拟场景不仅提高了自动驾驶系统的训练质量，还显著提升了仿真的真实性，使其几乎可以达到肉眼难辨的程度，大幅提升了仿真的置信度，并弥补了3DGS在细节和泛化能力的不足，这也是目前行业内首例真正可用于自动驾驶仿真的3DGS解决方案。
Future
高保真场景重建，将仿真置信度提升到了新的高度，对于端到端自动驾驶的进化与落地具有关键意义。未来，51Sim将持续迭代3DGS融合技术，为AI训练提供充足的数据燃料，赋能更广泛的行业应用。
热门课程推荐
热门资讯
-
想将照片变成漫画效果？这篇文章分享了4个方法，包括Photoshop、聪明灵犀、VanceAI Toongineer、醒图，简单操作就能实现，快来尝试一下吧！
-
2. 华为手机神奇“AI修图”功能，一键消除衣服！原图变身大V领深V！
最近华为手机Pura70推出的“AI修图”功能引发热议，通过简单操作可以让照片中的人物换装。想了解更多这款神奇功能的使用方法吗？点击查看！
-
近年来,人工智能逐渐走入公众视野,其中的AI图像生成技术尤为引人注目。只需在特定软件中输入关键词描述语以及上传参考图就能智能高效生成符合要求的...
-
4. AI视频制作神器Viggle：让静态人物动起来，创意无限！
Viggle AI是一款免费制作视频的AI工具，能让静态人物图片动起来，快来了解Viggle AI的功能和优势吧！
-
5. Logo Diffusion——基于sd绘画模型的AI LOGO 生成器
这下LOGO设计彻底不用求人了。接下来详细演示一遍操作流程首先进入Logo D... 想学习更多AI技能,比如说关于怎么样利用AI来提高生产效率、还能做什么AI...
-
6. 零基础10分钟生成漫画，教大家如何用AI生成自己的漫画
接下来,我将亲自引导你,使用AI工具,创作一本既有趣又能带来盈利的漫画。我们将一起探索如何利用这个工具,发挥你的创意,制作出令人惊叹的漫画作品。让...
-
以下是一些免费的AI视频制作网站或工具,帮助您制作各种类型的视频。 1. Lumen5:Lumen5是一个基于AI的视频制作工具,可将文本转换为视频。 用户可以使...
-
8. AI显卡绘画排行榜:4090无悬念，最具性价比出人意料
在AI绘图领域，Stable Diffusion的显卡绘图性能备受关注。本文整理了Stable Diffusion显卡的硬件要求和性能表现，以及2023年3月显卡AI绘图效率排行榜和性价比排行榜。欢迎查看最新的AI显卡算力排行榜。
-
9. 一款免费无限制的AI视频生成工具火了!国内无障碍访问!附教程
人人都可以动手制作AI视频! 打开网址https://pixverse.ai/,用邮箱注册后,点击右上角Create,就可以开始创作了。 PixVerse目前有文案生成视频,和图片生...
-
就能快速生成一幅极具艺术效果的作品,让现实中不懂绘画的人也能参与其中创作!真的超赞哒~趣趣分享几款超厉害的AI绘画软件,提供详细操作!有需要的快来...
