Facebook AI部门的研究员已经创建了一个人工智能系统，该系统可以直接读取360度全景图像中的自然语言、包含银行、餐馆等标志性的地区，然后就可以通过AI在纽约时的街道上导航。

据了解，这项名为Talk the Walk的研究项目以及数据集已经开源。经过培训后的系统，可以完成两项具体的任务：1，旅游机器人向导向机器人描述周围环境，然后根据周围地图的描述来向解析当前位置。2，你只能在街区内交叉路口走动，然后旅行社使用没有街道指示牌的地图来描绘所在位置。

Facebook AI研究科学家Douwe Kiela讲到，这项任务汇集了多种不同的挑战，例如360度视觉感知、基于地图的导航、视觉推理、通过对话进行自然余元交流等，这些都是基于AI解决的问题，而该项目似乎是以上这些问题的集合，是一个全面的解决方案。

虽然360度视频和地图是训练系统的一部分，但任务和基准数据主要集中在对话AI的推荐，他们目前采用多模式开发自然语言实践理论。

为了达到理想中的沟通效果，无论是游客还是导游可能都能用到这套系统。

这是一项艰巨的挑战，也是我们将其开源的原因之一，并邀请大家共同来思考这类问题，Kiela说到。

[责任编辑：33]