火星网校
Stable Diffusion翻新现实世界：墙上直接冒出小猫咪，手机也能来玩 - 火星时代教育
发布时间：2024-08-13 09:53:40 浏览量：117次
注意看，你面前是一堵平平无奇的墙。
现在，你可以按照自己的意愿，让它直接凭空长出点东西来。
比如……一只小猫咪？
没错，Stable Diffusion又可以搞新花活了！
这一次的重点在于，Stable Diffusion的触手扩展到现实世界——和WebAR相结合。
作者是个软件工程师小哥Stijn Spanhove，经常在推特主页发些关于WebAR或XR的视频。
目前，这条凭空长猫的视频热度还挺不错。
新世界的大门打开，有网友对AR+SD的兴趣更浓了。
还有人说：
这简直就是《反恐精英》一个酷毙了的新版本啊！
一起来看看这个有点酷的新东西吧～
Stable Diffusion翻新现实世界
首先，拿起手机，然后随意选择一堵墙，透过屏幕界面锁定它：
选定一块心仪区域，把它圈起来，全部涂黑。
输入提示词：
一只可可爱爱的小猫咪，涂鸦风格，数字艺术
接着点击输入框下方的Diffusion按钮，直接快进到见证奇迹的时刻。
此时，无论从哪个角度看，墙上都有一幅《喵娜丽莎》在微笑地看着你了。
这个视频，是小哥利用火到没边、门槛又低的Stable Diffusion，结合WebAR，搞出的第一个实验产品。
他在评论区和围观网友讨论了具体的工作流程。
第一步，冻结帧，把它作为生成图像的表面纹理，并让它拥有世界定位和设备跟踪相机。
第二步，向服务器发送API请求，并附上冻结帧（图像）和文本提示（Stable Diffusion）。
整个工作中，将Stable Diffusion嵌入现实世界是利用AR完成的。
关于绘制纹理，小哥则使用了Raycast（一款完全可扩展的快捷启动器）。
整个过程简单利落，引发了网友新的思考。
目前有很多有趣的NPU（嵌入式神经网络处理器）硬件，手机的共享内存也超过12GB。
在这个前提下，如果Stable Diffusion和AR一起玩这个工作能在本地运行，并且能够快到在类似的请求时间内，完成整个512x512图像生成，并在更快的AI上运行升级，一定非常有趣。
小哥自己也说，这个工作只是初尝试，一切只是Stable Diffusion和AR结合的开始。
但大多数网友觉得这已经是个很有趣的工作了，甚至想在上面“乱涂乱画”好几个小时。
AIGC打破次元壁
Stable Diffusion的风吹进现实世界，绝不是小哥一个人的想法。
具体的操作流程，基本都是在原基础上用AR加持。
就在这几天，另一位小哥用Stable Diffusion，搞了个视频透视式光学透视式眼镜。
具体来说，就是小哥用Stable Diffusion做了个虚拟的AR眼镜，然后在手机屏幕上透过眼镜镜片，实现AR效果。
生成的虚拟AR眼睛不仅有电量提示，透过它看现实，能呈现西部世界、丛林、异形等多种画面风格。
此外，还有人结合Meta旗下的AR创作工具Spark AR，利用Stable Diffusion，假装自己手握了一个方块小卡片。
就是上面还能播放动画的那种。
为了达到逼真效果，作者还在卡片表面叠了一个反光图层，让卡片呈现的光泽“像玻璃杯一样”。
不过，这次的Stable Diffusion产出的图像不是实时生成，而是事先录制的，因为当下的Spark AR版本还不支持AI和ML。
“Very Nice，通过Stable Diffusion，AI和AR再一次紧密相连了。”
不管怎么说，Stable Diffusion这么火，不仅靠的是跑出来的惊人结果，触及文本生成图像以外的领域时，实力也很强劲呀～
— 完 —
关注我们，第一时间获知前沿科技动态
热门课程推荐
热门资讯
-
想将照片变成漫画效果？这篇文章分享了4个方法，包括Photoshop、聪明灵犀、VanceAI Toongineer、醒图，简单操作就能实现，快来尝试一下吧！
-
2. 华为手机神奇“AI修图”功能，一键消除衣服！原图变身大V领深V！
最近华为手机Pura70推出的“AI修图”功能引发热议，通过简单操作可以让照片中的人物换装。想了解更多这款神奇功能的使用方法吗？点击查看！
-
近年来,人工智能逐渐走入公众视野,其中的AI图像生成技术尤为引人注目。只需在特定软件中输入关键词描述语以及上传参考图就能智能高效生成符合要求的...
-
4. AI视频制作神器Viggle：让静态人物动起来，创意无限！
Viggle AI是一款免费制作视频的AI工具，能让静态人物图片动起来，快来了解Viggle AI的功能和优势吧！
-
5. Logo Diffusion——基于sd绘画模型的AI LOGO 生成器
这下LOGO设计彻底不用求人了。接下来详细演示一遍操作流程首先进入Logo D... 想学习更多AI技能,比如说关于怎么样利用AI来提高生产效率、还能做什么AI...
-
6. 零基础10分钟生成漫画，教大家如何用AI生成自己的漫画
接下来,我将亲自引导你,使用AI工具,创作一本既有趣又能带来盈利的漫画。我们将一起探索如何利用这个工具,发挥你的创意,制作出令人惊叹的漫画作品。让...
-
以下是一些免费的AI视频制作网站或工具,帮助您制作各种类型的视频。 1. Lumen5:Lumen5是一个基于AI的视频制作工具,可将文本转换为视频。 用户可以使...
-
8. AI显卡绘画排行榜:4090无悬念，最具性价比出人意料
在AI绘图领域，Stable Diffusion的显卡绘图性能备受关注。本文整理了Stable Diffusion显卡的硬件要求和性能表现，以及2023年3月显卡AI绘图效率排行榜和性价比排行榜。欢迎查看最新的AI显卡算力排行榜。
-
9. 一款免费无限制的AI视频生成工具火了!国内无障碍访问!附教程
人人都可以动手制作AI视频! 打开网址https://pixverse.ai/,用邮箱注册后,点击右上角Create,就可以开始创作了。 PixVerse目前有文案生成视频,和图片生...
-
就能快速生成一幅极具艺术效果的作品,让现实中不懂绘画的人也能参与其中创作!真的超赞哒~趣趣分享几款超厉害的AI绘画软件,提供详细操作!有需要的快来...
