USDT第三方支付平台

菜宝钱包(caibao.it)是使用TRC-20协议的Usdt第三方支付平台,Usdt收款平台、Usdt自动充提平台、usdt跑分平台。免费提供入金通道、Usdt钱包支付接口、Usdt自动充值接口、Usdt无需实名寄售回收。菜宝Usdt钱包一键生成Usdt钱包、一键调用API接口、一键无实名出售Usdt。

原题目:推出 RxR:多语言指令追随导航基准数据集

机械学习 (ML) 的一项焦点挑战是构建能够在庞大的现实环境中导航,并对口头或书面下令做出响应的署理 (Agents)。虽然现在的署理,包罗机械人,通常可以在庞大的环境中导航,但它们还不能明白使用自然语言表达的导航目的,例如,“ 穿过右侧关闭的棕色双开门,然后 站在椅子后面与桌子前面。”

为了促进该领域的生长,我们很喜悦为 VLN 引入新数据集: (RxR)。如在 “ Room-Across-Room: Multilingual Vision-and-Language Navigation with Dense Spatiotemporal Grounding ” 中所述,RxR 是 VLN 的第一个多语言数据集,包罗了 126,069 条人工标注的导航指令,它们使用三种差别类型的语言 - 英语、印地语和泰卢固语。

  • Room-Across-Room:Multilingual Vision-and-Language Navigation with Dense Spatiotemporal Grounding https://www.aclweb.org/anthology/2020.emnlp-main.356/

每条指令形貌一条通过照片级模拟器的路径,模拟器中充满着种种室内环境,它们来自 ,其中包罗寓所、办公室和公共建筑的 3D 捕捉。为了追踪 VLN 的希望,我们还宣布了 ,这是一项激励机械学习社区基于 RxR 指令训练和评估他们自己的指令追随署理的竞赛。

  • Matterport3D 数据集 https://niessner.github.io/Matterport/
  • RxR 挑战赛 https://ai.google.com/research/rxr
语言 指令
en-US Starting next to the long dining room table, turn so the table is to your right.Walk towards the glass double doors.When you reach the mat before the doors, turn immediately left and walk down the stairs.When you reach the bottom of the stairs, walk through the open doors to your left and continue through the art exhibit with the tub to your right hand side.Down the length of the table until you reach the small step at the end of the room before you reach the tub and stop.
hi-IN अभी हमारे बायीं ओर एक बड़ा मेज़ है कुछ कुर्सियाँ हैं और कुछ दीपक मेज़ के ऊपर रखे हैं। उलटी दिशा में घूम जाएँ और सिधा चलें। अभी हमारे दायीं ओर एक गोल मेज़ है वहां से सीधा बढ़ें और सामने एक शीशे का बंद दरवाज़ा है उससे पहले बायीं ओर एक सीढ़ी है उससे निचे उतरें। निचे उतरने के बाद दायीं ओर मुड़े और एक भूरे रंग के दरवाज़े से अंदर प्रवेश करें और सीधा चलें। अभी हमारे दायीं ओर एक बड़ा मेज़ है और दो कुर्सियां राखी हैं सीधा आगे बढ़ें। हमारे सामने एक पानी का कल है और सामने तीन कुर्सियां दिवार के पास रखी हैं यहीं पर ठहर जाएँ।
te-IN ఉన్న చోటు నుండి వెనకకు తిరిగి, నేరుగా వెళ్తే, మీ ముందర ఒక బల్ల ఉంటుంది. దాన్ని దాటుకొని ఎడమవైపుకి తిరిగితే, మీ ముందర మెట్లు ఉంటాయి. వాటిని పూర్తిగా దిగండి. ఇప్పుడు మీ ముందర రెండు తెరిచిన ద్వారాలు ఉంటాయి. ఎడమవైపు ఉన్న ద్వారం గుండా బయటకు వెళ్ళి, నేరుగా నడవండి. ఇప్పుడు మీ కుడివైపున పొడవైన బల్ల ఉంటుంది. దాన్ని దాటుకొని ముందరే ఉన్న మెట్ల వద్దకు వెళ్ళి ఆగండి.

姿态轨迹

除了导航指令和路径外,RxR 还包罗一个新的、更详细的多模态标注,称为 姿态轨迹(Pose Traces)。受位置叙述数据集中捕捉的鼠标轨迹的启发,姿态轨迹通过厚实的 3D 设置在语言、视觉和运动之间提供 慎密的知识基础(Dense Groundings)。

为了天生导航指令,我们要求 向导(guide) 标注者在模拟器中沿一条路径移动,同时凭据周围环境叙述路径。姿态轨迹是向导沿该路径看到的所有器械的纪录,而且与导航指令中的文字在时间上对齐。然后,这些轨迹与 追随者 (follower) 标注者的姿态轨迹配对,后者的义务是通过收听向导的音频来沿着预期路径行进,从而验证导航指令的质量。

姿态轨迹隐式捕捉地标选择和 观点,并实时示意若何解决导航指令天生义务(对于向导)和导航指令追随义务(对于追随者)。

  • 视觉显著性 http://www.scholarpedia.org/article/Visual_salience

,

Usdt第三方支付平台

菜宝钱包(caibao.it)是使用TRC-20协议的Usdt第三方支付平台,Usdt收款平台、Usdt自动充提平台、usdt跑分平台。免费提供入金通道、Usdt钱包支付接口、Usdt自动充值接口、Usdt无需实名寄售回收。菜宝Usdt钱包一键生成Usdt钱包、一键调用API接口、一键无实名出售Usdt。

,

规模

RxR 总共包罗近 1000 万个单词,是现有数据集(如 和 / )的约 10 倍大。这很主要,由于与基于静态图像和文本数据的义务相比,需要通过运动或与环境的互动来学习的语言义务通常缺乏大规模训练数据。RxR 还解决了其他数据集(例如 R2R)中泛起的已知路径组织误差,此数据集中的所有路径都具有相似的长度,而且接纳最短的门路到达目的。相比之下,RxR 中的路径平均长度更长,更不能展望,这使得它们更难以追随,并激励在数据集中训练的模子加倍强调语言在义务中的作用。RxR 的规模、局限和细节将扩展落地语言学习研究的领域,同时削弱英语等资源厚实的语言的主导地位。

  • R2R https://bringmeaspoon.org/
  • Touchdown https://github.com/lil-lab/touchdown
  • Retouchdown https://ai.googleblog.com/2020/02/enhancing-research-communitys-access-to.html

基准模子

为了更好地显示和明白 RxR 数据集,我们使用开源框架 和 模子的语言示意,在 RxR 上训练了种种署理 (Agents)。我们发现, 在训练过程中包罗追随者标注和向导标注可以改善效果,而且自力训练的单语言署理的显示优于单个多语言署理

  • VALAN https://github.com/google-research/valan
  • multilingual BERT https://github.com/google-research/bert/blob/master/multilingual.md

从观点上讲,这些署理的评估很直接—署理是否追随了预期路径?从履历上讲,我们使用 NDTW 丈量 VLN 署理接纳的路径与参考路径之间的相似度,NDTW 是路径保真度的标准化器量,局限为 100(完全一致)到 0(完全错误)。所有三种语言的追随者标注者的平均得分是 79.5,这是由类似路径之间的自然转变所致。相比之下,最佳模子(三个自力训练的单语言署理的组合,每种语言一个署理)在 RxR 测试集上获得的 NDTW 得分是 41.5。虽然这比随机 (15.4) 要好得多,但仍然远远低于人类的显示。虽然语言建模方面的提高继续迅速侵蚀着 GLUE 和 SuperGLUE 等纯文本语言明白基准模子改善空间的价值,然则像 RxR 这样将语言与物理天下联系起来的基准却提供了伟大的改善空间。

挑战竞赛

为了激励在这一领域举行进一步研究,我们发起了 ,这是一项机械学习社区正在举行的竞赛,旨在开发能够追随自然语言导航指令的盘算署理。要加入此项竞赛,参与者需要上传他们的署理凭据提供的 RxR 测试指令所接纳的导航路径。在最难题的情况下(这里和 中有讲述),所有测试环境都是前所未见的。然则,我们也允许署理预先在测试环境中举行训练或探索。有关详情和最新效果,请接见 。

  • RxR 挑战赛/挑战赛网站 https://ai.google.com/research/rxr
  • 论文 https://www.aclweb.org/anthology/2020.emnlp-main.356/

PanGEA

我们还将公布基于网络的自定义标注工具,该工具是我们为网络 RxR 数据集而开发的。Panoramic Graph Environment Annotation 工具包 (PanGEA) 是一个轻量级、可自定义的代码库,用于网络 和 等全景图环境中的语音和文本标注。它包罗语音纪录和虚拟姿态跟踪,以及用于将天生的姿态轨迹与人工转录对齐的工具。有关详情,请接见 。

  • Matterport3D https://niessner.github.io/Matterport/
  • StreetLearn https://sites.google.com/corp/view/streetlearn
  • PanGEA GitHub 页面 https://github.com/google-research/pangea

致谢

BET声明:该文看法仅代表作者自己,与本平台无关。转载请注明:usdt不用实名买入卖出(www.caibao.it):推出 RxR:多语言指令追随导航基准数据集
发布评论

分享到:

BET

usdt无需实名(caibao.it):KTV茅厕潜伏“怪器械”,闻起来味道新鲜,包厢公主一眼认出
你是第一个吃螃蟹的人
发表评论

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。