图灵测试的著名目标是测试人类与人交谈和与机器交谈时的任务，从而测试人工智能的能力。它测试了AI充分理解人类语言以进行自然的对话的能力。
任何试图与AI聊天机器人或虚拟助手进行对话的人都可以证明，在技术掌握这种最人类能力之前，还有一段路要走。马里兰大学的一项新研究旨在通过识别约1200个问题来帮助AI进步，这些问题虽然对人类来说很容易回答，但传统上却阻碍了当今可用的最佳技术。
研究人员解释说：大多数回答问题的计算机系统都无法解释为什么它们以自己的方式回答，但是我们的工作可以帮助我们了解计算机真正理解了什么。此外，我们已经产生了一个数据集以在计算机上进行测试，这将揭示计算机语言系统是否实际上正在阅读并进行人类能够进行的相同类型的处理。
更智能的机器
研究人员解释说，当今运行的许多问答系统都依靠人或计算机来生成旨在训练系统的问题。这种方法的问题在于，很难理解为什么计算机努力地正确回答问题。研究人员认为，通过更好地了解机器的残端，我们可以更好地设计数据集进行训练。
团队开发了一个系统，该系统能够在尝试回答每个问题时显示其思维过程，他们认为，该系统不仅可以洞悉计算机正在经历的过程，而且如果部署在实际环境中，则可以让人类提问者修改其查询范围。
人与机器之间的伙伴关系使1，213项已被计算机击败的问题得以成功回答。
作者解释说：三到四年来，人们已经意识到计算机问答系统非常脆弱，很容易被愚弄。但是这是我们知道的第一篇论文，实际上是使用机器来帮助人类打破模型本身。
该团队认为，这些问题将成为有价值的数据集，以更好地指导自然语言处理工作，同时还可以充当训练数据集，尤其是当这些问题揭示了使基于AI的系统感到困惑的六个不同现象时。
这些失败出现在语言领域，例如释义或意想不到的上下文，或者推理能力的失败，例如问题中各个元素的三角剖分或在得出结论时要求使用多个步骤。
研究人员解释说：人类能够进行更多的概括，并看到更深的联系。他们没有无限的计算机存储空间，但是他们仍然能够在森林中看到树木。对计算机存在的问题进行分类有助于我们理解我们需要解决的问题，以便我们实际上可以使计算机开始通过树木看森林，并以人类的方式回答问题。
可以说，在这种情况出现之前，还有很长的路要走，但是这项研究有趣地表明，在使机器更好地导航人类语言的细微差别方面取得了进展。
