从视频片段中推断楼层平面图 新AI研究令人大开眼界
平面布置图对于可视化空间、规划路线和沟通建筑设计非常有用。例如，一个进入新建筑的机器人可以使用从视平面图快速感知总体布局。创建平面图通常需要一个完整的布局，这样3D传感器和摄像机就可以捕捉到整个空频片间。
1月11日消息，据外媒报道，近日，来自Facebook、德克萨斯大学奥斯汀分校和卡内基梅隆段中大学的研究人员正在探索一种人工智能技术，利用视觉和音频，从一个短视频剪辑中重建一个平面图。
研究人员断言推断，音频提供了空间和语义信号，补充了图像的映射能力。他们说，这是因为声音天生是由物体的几何形状所楼层驱动的。声音从表面反射回来，揭示了房间的形状，远远超出了相机的视野。从远处听到的声音，甚至是多个房间之外平面的声音，可以揭示自由空间的存在，声音物体可能存在。此外，从不同方向听到的声音暴露了基于这些声音所代图 表的活动或事物的布局。例如，淋浴的声音可能暗示着浴室的方向，而微波炉的声音则暗示着厨房的方向。
研究新A人员的方法被称为AV-Map，旨在将带有多通道音频的短视频转换成2D楼层平面图。机器学习模型利用音频I研和视觉数据序列来推理楼层平面图的结构和语义，最终使用解码组件融合音频和视频信息。AV-Map生究令成的平面图大大超出了视频中直接可见的区域，显示了划分为离散语义房间标签(如家庭房间和厨房)的自由空间和被人大占用区域。
该团队在来自Matternet3D和SoundSpaces数据集的数字环境中试验了两种开眼设置，即主动和被动。在第一个实验中，使用一个虚拟摄像机在模型房屋的房间内移动时发出一种已知的声音。在第从视二种情况下，只依赖家中物体或人自然发出的声音。
研究人员表示，在未来的工作中，将计划考虑扩展多层平面图，频片并将绘图想法与机器人连接起来，主动控制摄像头。
相关文章：
- 贝索斯将于7月5日卸任亚马逊CEO上热搜 网友：反正钱已经多的花不完了
- 标签: 豆包 SpaceX DeepSeek 梁文峰
- AI床垫独角兽Eight Sleep狂揽1亿美元：让你的床成为健康卫士，F1车手都为它疯狂
- 云计算核心技术Docker教程：将配置文件与Compose一起使用
- 标签: 此间无限 齐俊元 豆包手机 GUI Agent
- 700万参数微型模型 TRM，推理能力竟胜过 Gemini2.5Pro 和 Claude3.7
- 英特尔有意收购SiFive 改善芯片技术击败Arm
- 标签: vivo
- 微软第二财季营收517亿美元 云相关业务贡献超过三分之一
- 标签: 市场监管总局 反不正当竞争 手机行业 数字经济
相关推荐：