A凭借神经新生机烘托技能为物理AI开发场景注入

DiffusionRenderer 引入了一种神经烘托技能,凭借可用于 。神经生机构思 。烘托范畴的技能景注内容生成和修改 ,也可用于  。为物智能。发场轿车和。入新机器人。凭借开发的神经生机组成数据生成  。

NVIDIA Research开发了一种。烘托视频。技能景注AI。为物光源开关,发场可将白日场景转为夜景,入新将阳光明媚的凭借下午转为阴天,并可将扎眼的荧光灯调低为柔软天然照明 。

这项名为 DiffusionRenderer 的技能是一项新式神经烘托技能,运用 AI。 模仿。实际世界光线改变。DiffusionRenderer 将两个传统上天壤之别的进程(逆烘托和前向烘托)整合到一个共同的神经烘托引擎中 ,其功能优于最先进的办法  。

DiffusionRenderer 供给了一个用于视频光照操控  、修改和组成数据增强的结构 ,成为构思职业和物理 AI 开发的强壮东西。

广告、电影和游戏开发范畴的创造者能够运用根据 DiffusionRenderer 的运用,在实际世界或 AI 生成的视频中增加、删去并修改光照。物理 AI 。 开发者 。能够运用它在更多样化的照明条件下增强组成数据集 ,以练习机器人和智能轿车(AV)模型 。

DiffusionRenderer 是 NVIDIA 发表于世界。核算机视觉。与模式识别会议(CVPR)的 60 多篇论文之一,本届大会于当地时刻 6 月 11 日至 15 日在美国田纳西州举办。

打造令人愉悦的 AI。

DiffusionRenderer 处理了仅运用 2D 视频数据对场景进行去光照和从头打光的应战 。

去光照是一个处理图画并消除其光照作用的进程,然后仅保存底层目标的几许图形和原料特点 。从头打光则恰恰相反 ,该进程能够在场景中增加或修改光线 ,一起坚持物体透明度和镜面反射(外表反射光线的办法)等杂乱特点的真实性。

经典的 、根据物理学的烘托工作流需求 3D 几许数据来核算场景中的光线 ,以进行去光照和从头打光 。而 DiffusionRenderer 运用 AI 来预算单个 2D 视频的特点,包含法线、金属度和粗糙度 。

经过这些核算,DiffusionRenderer 能够生成新的暗影和反射 、更改光源、修改原料并将新目标刺进场景 ,所有这些都能坚持传神的照明条件。

运用由 DiffusionRenderer 驱动的运用,智能轿车开发者能够获取大部分是白日驾驭镜头的数据集 ,并随机对每个视频片段的光照进行调整 ,以创立更多具有阴天或雨天 、具有扎眼照明和暗影的夜晚以及夜间场景的视频片段 。凭借这些增强数据 ,开发者能够优化其开发工作流 ,对智能轿车模型进行练习、测验和验证 ,这些模型更具有应对严苛照明条件的才能 。

假如创造者需求捕捉用于数字人物创造或特效制造的内容,能够运用 DiffusionRenderer 增强用于前期构思和模型的东西,然后在选用贵重的专用光照舞台体系捕捉制造质量的资料之前,探究并重复实验各种光照选项 。

运用 NVIDIA Cosmos增强 DiffusionRenderer 。

自完结原始论文以来 ,DiffusionRenderer 的暗地研讨团队已将他们的办法与 Cosmos Predict-1 进行了集成,后者是一套用于生成传神  、物理感知型未来世界状况的世界根底模型。

这样一来,研讨人员观察到一种扩展效应 ,其间运用 Cosmos Predict 更大、更强的视频分散模型相应进步了 DiffusionRenderer 的去光照和从头打光质量 ,完结了更明晰、更精确和时刻上更共同的效果。

Cosmos Predict 是 NVIDIA Cosmos 的一部分,NVIDIA Cosmos 是一个由世界根底模型、Tokenizer 、护栏和加快数据处理和办理工作流组成的渠道,可加快用于物理 AI 开发的组成数据生成。

CVPR 上的 NVIDIA Research。

在 CVPR 上,NVIDIA 研讨人员展现了数十篇论文,主题包括轿车 、医疗、机器人等范畴 。三篇 NVIDIA 论文荣获本年最佳论文奖提名:

FoundationStereo :该根底模型经过匹配立体图画中的像素,从 2D 图画中重建 3D 信息 。该模型已在超越 100 万张图画的数据集进步行了练习,可处理实际世界数据 ,功能优于现有办法,并可跨范畴通用。

Zero-Shot Monocular Scene Flow Es。ti。mation in the Wild :本论文是 NVIDIA 和布朗大学的研讨人员通力合作的效果 ,介绍了一个用于猜测场景流的通用模型 ,即 3D 环境中点的运动场。

Difix3D+:这篇论文由 NVIDIA 空间智能实验室的研讨人员完结,介绍了一种图画分散模型 ,可删去重建 3D 场景中新角度的伪影,然后进步 3D 出现的全体质量。

NVIDIA 还在 CVPR 上荣获辅佐驾驭世界应战赛冠军,这标志着 NVIDIA 接连两年登顶端到端范畴排行榜 ,而且接连三年在大会上荣获辅佐驾驭世界应战奖  。

NVIDIA Research 在全球具有数百名科学家和 。工程师 。,专心于 AI、核算机图形学、核算机视觉  、智能轿车和机器人等范畴的研讨  。

发表留言