逼人去学挖掘机!朱俊彦团队新AI模型发布:设计圈看了心慌慌

CV大佬朱俊彦的新论文,让设计师们感觉危了。

事情是这样的:

量子位在微博上搬运了朱俊彦团队的新成果,一个能将2D草图一键变成3D模型的新算法,却意外引发设计圈盆友们的热烈转发讨论。

配文全是“沃日”、“???”……

逼人去学挖掘机!朱俊彦团队新AI模型发布:设计圈看了心慌慌

简单来说,这个模型能让非常粗糙的简笔画,一键变成逼真3D模型

还支持实时编辑,不满意的地方擦掉重画,立马生成一个新的:

逼人去学挖掘机!朱俊彦团队新AI模型发布:设计圈看了心慌慌

要知道之前的“图转图”模型,基本都是停留在2D层面,这回直接变3D真是一个突破。

也确实是生产力利器。

但没想到,是设计圈先感到了危机。有圈内博主就觉得又要被AI抢饭碗了,随后也有很多人跟转了这一条。

逼人去学挖掘机!朱俊彦团队新AI模型发布:设计圈看了心慌慌

所以论文成果到底说了啥?一起来看。

可从任意角度实时编辑

现在有很多图-图的转换模型,但基本上都是2D-2D。

这是因为从2D到3D,在训练和测试过程中都有很大挑战。

训练方面,想要把2D输入图像和3D输出图像配对,需要庞大数据集,成本会很高。

测试方面,为了得到不同角度的3D模型,需要输入图像的多个视角,但是二者之间可能存在不一致的情况,导致生成效果不好。

为了解决这些问题,朱俊彦团队提出了使用3D神经场景表示(3D neural scene representations)的条件生成模型。

逼人去学挖掘机!朱俊彦团队新AI模型发布:设计圈看了心慌慌

它只需要给定一个2D标签图(如语义分割图和勾线图),能为每个3D点匹配标签、颜色和密度等。实现在渲染图像的同时,像素对齐标签图像。

逼人去学挖掘机!朱俊彦团队新AI模型发布:设计圈看了心慌慌

(责任编辑:AK007)