生成任意视角图像模型来了相机参数秒变图片
能看懂相机参数,并且生成相应视角图片的多模态模型来了。
来自S-Lab、新加坡南洋理工大学、商汤科技、美国密歇根大学、德国马普所的研究员提出了Puffin统一多模态模型。它能整合理解相机参数(如角度、视野)与按相机参数生成对应视角图片的能力。
通过用相机思考(将参数转摄影术语、分析空间线索)和400万组数据训练,解决了此前模型两者分离的问题,统一了以相机为中心的多模态理解与生成,支持空间想象,并实现灵活的跨视角应用如世界探索等。
生成任意视角图像模型来了相机参数秒变图片
能看懂相机参数,并且生成相应视角图片的多模态模型来了。
来自S-Lab、新加坡南洋理工大学、商汤科技、美国密歇根大学、德国马普所的研究员提出了Puffin统一多模态模型。它能整合理解相机参数(如角度、视野)与按相机参数生成对应视角图片的能力。
通过用相机思考(将参数转摄影术语、分析空间线索)和400万组数据训练,解决了此前模型两者分离的问题,统一了以相机为中心的多模态理解与生成,支持空间想象,并实现灵活的跨视角应用如世界探索等。
猜你喜欢
【5评论】【480点赞】
【14评论】【15点赞】
【12评论】【46点赞】
【8评论】【32点赞】
作者最新文章
热门分类
科技TOP
科技最新文章