萧箫 发自 凹非寺
量子位 | 公众号 QbitAI
只用一部手机,现实中的2D照片就能渲染出3D模型?
没错,无需再手动上传电脑或安装激光雷达,苹果手机自带APP就能生成3D模型。
这个名叫Luma AI的“NeRF APP”,正式上架App Store后爆火:
小如3D装饰模型,兼具灯光和形状细节:
大到整个墓园的3D场景渲染版,都能被很好捕捉:
这样无论是风景、3D物体还是人物,都可以被很好地保存进手机,并快速生成对应的3D模型。
所以这个APP究竟包含什么功能,它又具体要如何使用?
NeRF手机APP是什么?
Luma AI是一个基于NeRF打造的APP,目前能在苹果商店中搜到:
NeRF是少量2D照片生成3D场景的经典AI模型,最初版本由UC伯克利和谷歌开发,只需要输入少量静态图片,就能做到多视角的逼真3D效果。
最初NeRF需要专业相机拍几百张照片,并在拍照时严格遵守参数坐标,但由于它的代码数据开源,目前已经有不少简化版模型被开发出来。
不仅照片数量有所下降,从几百张到几十张甚至几张,对拍照位置和照相机的要求也有所降低。
但能直接通过APP导引、随时随地可用的NeRF,几乎还没出现过。
现在,Luma AI团队基于云服务器,实现了这个可以实时渲染3D物体、产品或风景和场景的APP。
它包含自动调整焦距、视角和画面比例调整等不同功能,捕捉到的3D场景则包含复杂形状、反射和照明等细节。
同时,制作得到的3D模型既可以直接分享到网上,比2D照片更全方位地展示细节:
也可以放进Blender等游戏引擎中,让它“动起来”: