对于谷歌日前介绍的Dreamfusion,只需输入简单的文本提示,这个利用2D数据训练出来的模型可以为你生成相应的3D图像。
Dreamfusion是生成性3D人工智能系统Dream Fields的进化。对于Dream Fields,它利用了NeRF生成3D视图的能力,并将其与CLIP评估图像内容的能力相结合。文本输入后,未经训练的NeRF模型从单个视点生成随机视图,并通过CLIP进行评估。反馈用作NeRF模型的校正信号。这个过程从不同的视角重复多达20000次,直到生成与文本描述匹配的三维模型。
DreamFusion与DreamFields之间最大的不同是计算损失的方法。最新的DreamFusion采用了谷歌预训练的2D文本图像扩散模型Imagen来计算损失。
研究人员引入一个新的图像采样方法SDS,它是在参数空间而不是像素空间中进行采样。在生成图像的过程中,里面的参数会经过优化,成为扩散模型的一个训练样本,而经过扩散模型训练之后的参数具备多尺度特性,更利于后续的图像生成。
另外,扩散模型不需要反向传播,这是因为扩散模型能够直接预测更新的方向。所以,三维生成不需要三维数据进行培训。相反,Dreamfusion使用Imagen从不同角度生成的对象的2D图像学习3D表示。
与DreamFields相比,Dreamfusion可以基于文本输入创建更高质量、深度和法线的可重照明3D对象。同时,使用Dreamfusion创建的多个3D模型可以合并到一个场景中。
谷歌研究团队写道:“我们的方法不需要3D训练数据,同时不需要对图像扩散模型进行修改,这证明了预处理图像扩散模型的有效性。”
文章内容仅供阅读,不构成投资建议,请谨慎对待。投资者据此操作,风险自担。
OPPO K12 近日现身 GeekBench 跑分库,型号为 PJR110,6.2.2 版本单核成绩为 1134 分,多核测试成绩为 2975 分。
近日,中国家电及消费电子博览会(AWE 2024)隆重开幕。全球领先的智能终端企业TCL实业携多款创新技术和新品亮相,以敢为精神勇闯技术无人区,斩获四项AWE 2024艾普兰大奖。
“以前都要去窗口办,一套流程下来都要半个月了,现在方便多了!”打开“重庆公积金”微信小程序,按照提示流程提交相关材料,仅几秒钟,重庆市民曾某的账户就打进了21600元。
由世界人工智能大会组委会、上海市经信委、徐汇区政府、临港新片区管委会共同指导,由上海市人工智能行业协会联合上海人工智能实验室、上海临港经济发展(集团)有限公司、开放原子开源基金会主办的“2024全球开发者先锋大会”,将于2024年3月23日至24日举办。