CV大佬朱俊彦的新论文,让设计师们感觉危了。
事情是这样的:
量子位在微博上搬运了朱俊彦团队的新成果,一个能将2D草图一键变成3D模型的新算法,却意外引发设计圈盆友们的热烈转发讨论。
配文全是“沃日”、“???”……
简单来说,这个模型能让非常粗糙的简笔画,一键变成逼真3D模型。
还支持实时编辑,不满意的地方擦掉重画,立马生成一个新的:
要知道之前的“图转图”模型,基本都是停留在2D层面,这回直接变3D真是一个突破。
也确实是生产力利器。
但没想到,是设计圈先感到了危机。有圈内博主就觉得又要被AI抢饭碗了,随后也有很多人跟转了这一条。
所以论文成果到底说了啥?一起来看。
可从任意角度实时编辑
现在有很多图-图的转换模型,但基本上都是2D-2D。
这是因为从2D到3D,在训练和测试过程中都有很大挑战。
训练方面,想要把2D输入图像和3D输出图像配对,需要庞大数据集,成本会很高。
测试方面,为了得到不同角度的3D模型,需要输入图像的多个视角,但是二者之间可能存在不一致的情况,导致生成效果不好。
为了解决这些问题,朱俊彦团队提出了使用3D神经场景表示(3D neural scene representations)的条件生成模型。
它只需要给定一个2D标签图(如语义分割图和勾线图),能为每个3D点匹配标签、颜色和密度等。实现在渲染图像的同时,像素对齐标签图像。