简单三步教你用混合现实“复活”童年旧物

让虚拟世界更逼真

为了实现数字交互，该团队首先开发了一款 iPhone 应用程序，操作非常简单，用手机摄像头环绕物品扫描三圈，即可完整捕捉物品形态。然后，可将 3D 模型导入 InteRecon 混合现实界面。

在这个界面中，用户可以标记（确切地说是“分割”）各个区域，选择模型的哪些部分具有交互性（比如玩偶的手臂、头部、躯干和腿）。若是嫌麻烦的话，用户也可以直接使用 InteRecon 提供的自动分割功能。

让老物件在数字世界“复活”

研究团队展示了 InteRecon 的另一个神奇功能，还原实体电子设备的交互界面。比如，可以把复古电视做成数字副本后，随心所欲地给 3D 模型搭配不同操作界面。

系统提供了多种交互组件模板，包括屏幕（电视显示器或摄像机的取景器）、旋钮（用于调节音量）、“开 / 关” 按钮和滑块（类似 DJ 调音台设置）。

图｜添加物理变换过程（来源：arXiv）

在这项研究中，团队还展示了一款应用程序，它通过在电视模型上整合虚拟小部件（如 “开 / 关” 按钮、屏幕和频道开关），再嵌入老影片，整台电视就“活”过来了。

与之类似的，用户也能给 iPod 的 3D 模型添加播放按钮，上传 MP3 音乐文件，就能在混合现实中聆听青春记忆。

研究人员认为，InteRecon 为设计逼真的虚拟环境开辟了新思路。一项用户研究证实，不同领域的人们都对它充满期待，认为这个系统易学易用，能生动还原承载记忆的个性化物品。

“我印象最为深刻的一点是，用户记忆中的物品并非完美无缺。”该论文的另一位作者 Faraz Faruqi 说道，他也是 CSAIL 的成员，同时还是麻省理工学院电气工程和计算机科学专业的博士生，“InteRecon 将这些‘小缺陷’一同融入混合现实，精准地再现了像少了几颗纽扣的泰迪熊这类个人物品的独特模样。”

在一项相关研究中，用户设想了这项技术在专业场景中的应用，指导医学生进行手术训练、帮助旅行者记录见闻、辅助服装设计师测试面料等。

不过，在将 InteRecon 应用于更高级的场景之前，该团队希望先升级物理模拟引擎的精确度，而这，将使诸如帮助医学生学习执行某些外科手术所需的精确定位等应用成为可能。

至于下一步计划，研究团队正在努力开发一种更自动化、更强大的流程，以便在混合现实中为终端用户（比如虚拟办公空间）创建更大物理环境的交互性保留数字孪生，以及探索构建一种方法，通过 3D 打印机物理重建丢失的物品。

展望未来，Zisu Li 和 Faraz Faruqi 还计划整合大语言模型和生成式模型，这些模型可以根据语言描述，将丢失的个人物品重新创建为 3D 模型，并解释界面的功能。

“InteRecon 代表了混合现实领域令人激动的新前沿，它超越了单纯的视觉复制，能够捕捉物理对象独特的交互性。” 南洋理工大学计算与数据科学学院副教授 Hanwang Zhang 评价道（他并未参与这项研究），“这项技术有望为虚拟环境带来全新的沉浸感和个人情感连接，从而彻底改变教育、医疗以及文化展览等众多领域。”

原文链接：

https://news.mit.edu/2025/interecon-brings-personal-items-to-mixed-reality-0407