火星网校
只需 2 ~ 3 分钟从图像重建详细纹理的 3D 模型
发布时间：2024-04-01 13:10:27 浏览量：273次
大家好，又见面了，我是 GitHub 精选君！
背景介绍
在虚拟实境（VR）、增强实境（AR）和计算机图形领域，3D 模型是重要的元素。但制作质量高、细节丰富的 3D 模型需要专业知识和大量时间。对于那些希望快速、方便地生成 3D 模型的个人或团队，这就成了挑战。我们需要一个解决方案，可以基于单一视图图像快速生成高质量的 3D 模型。
今天要给大家推荐一个 GitHub 开源项目 Wonder3D，该项目在 GitHub 有超过 3.5k Star，用一句话介绍该项目就是：“Single Image to 3D using Cross-Domain Diffusion”。以下是一些生成的示例：
项目介绍
Wonder3D 在只需 2 ~ 3 分钟的时间内，项目可以从单视图图像重建具有高度详细纹理的 3D 网格模型。Wonder3D 首先利用跨域扩散模型生成一致的多视图法线图与对应的颜色图像，然后使用创新的法线融合方法实现快速、高质量的重建。它简化了 3D 模型的创建过程，满足了高效快速的需求。
以下是对应的论文链接：https://arxiv.org/abs/2310.15008
如何使用
首先，你需要下载并安装 Wonder3D 的源代码。源代码里的用法详细写出了如何使用 Wonder3D。这是一个典型的使用案例:
# First clone the repo, and use the commands in the repo
import torch
import requests
from PIL import Image
import numpy as np
from torchvision.utils import make_grid, save_image
from diffusers import DiffusionPipeline # only tested on diffusers[torch]==0.19.3, may have conflicts with newer versions of diffusers
def load_wonder3d_pipeline():
pipeline = DiffusionPipeline.from_pretrained(
'flamehaze1115/wonder3d-v1.0', # or use local checkpoint './ckpts'
custom_pipeline='flamehaze1115/wonder3d-pipeline',
torch_dtype=torch.float16
)
# enable xformers
pipeline.unet.enable_xformers_memory_efficient_attention()
if torch.cuda.is_available():
pipeline.to('cuda:0')
return pipeline
pipeline = load_wonder3d_pipeline()
# Download an example image.
cond = Image.open(requests.get("https://d.skis.ltd/nrp/sample-data/lysol.png", stream=True).raw)
# The object should be located in the center and resized to 80% of image height.
cond = Image.fromarray(np.array(cond)[:, :, :3])
# Run the pipeline!
images = pipeline(cond, num_inference_steps=20, output_type='pt', guidance_scale=1.0).images
result = make_grid(images, nrow=6, ncol=2, padding=0, value_range=(0, 1))
save_image(result, 'result.png')项目推介
该项目目前在 Github 上活跃开发，作者 xxlong0 一直在更新和优化项目，例如近期添加了 GUI 演示和 Windows 支持。根据我们的了解，作者同时也是香港大学的研究者，有着丰富的机器学习、计算机图形学和 3D 重建的经验。
以下是该项目 Star 趋势图（代表项目的活跃程度）：
更多项目详情请查看如下链接。
开源项目地址：https://github.com/xxlong0/Wonder3D
开源项目作者：xxlong0
以下是参与项目建设的所有成员：
关注我们，一起探索有意思的开源项目。
热门课程推荐
热门资讯
-
探讨游戏引擎的文章，介绍了10款游戏引擎及其代表作品，涵盖了RAGE Engine、Naughty Dog Game Engine、The Dead Engine、Cry Engine、Avalanche Engine、Anvil Engine、IW Engine、Frostbite Engine、Creation引擎、Unreal Engine等引擎。借此分析引出了游戏设计领域和数字艺术教育的重要性，欢迎点击咨询报名。
-
2. B站视频剪辑软件「必剪」：免费、炫酷特效，小白必备工具
B站视频剪辑软件「必剪」，完全免费、一键制作炫酷特效，适合新手小白。快来试试！
-
3. 手机游戏如何开发(如何制作传奇手游，都需要准备些什么？)
如何制作传奇手游，都需要准备些什么？提到传奇手游相信大家都不陌生，他是许多80、90后的回忆；从起初的端游到现在的手游，说明时代在进步游戏在更新，更趋于方便化移动化。而如果我们想要制作一款传奇手游的
-
三昧动漫对于著名ARPG游戏《巫师》系列，最近CD Projekt 的高层回应并不会推出《巫师4》。因为《巫师》系列在策划的时候一直定位在“三部曲”的故事框架，所以在游戏的出品上不可能出现《巫师4》
-
深入探讨《梦幻西游》游戏经济系统中的独特之处与风险，探讨系统设计中的应对方法，带你了解游戏背后的经济运行机制。
-
探讨美式RPG与日式RPG之间的区别，从人设、角色塑造、自由度以及游戏系统等方面进行比较，揭示两种类型RPG的特点和优劣。
-
游戏中玩家将面临武侠人生的挣扎抉择,战或降?杀或放?每个抉定都将触发更多爱恨纠葛的精彩奇遇。《天命奇御》具有多线剧情多结局,不限主线发展,高自由...
-
想让你的3D打印模型更坚固？不妨尝试一下Cura参数设置和设计技巧，让你轻松掌握！
-
美漫原著漫画背后丰富的世界观，探究真人版动画制作过程中的3D建模技术。通过真人进行3D建模打造动画人物形象，呈现更加真实和流畅的画面
-
10. 3D动画软件你知道几个?3ds Max、Blender、Maya、Houdini大比拼
当提到3D动画软件或动画工具时,指的是数字内容创建工具。它是用于造型、建模以及绘制3D美术动画的软件程序。但是,在3D动画软件中还包含了其他类型的...
最新文章
