商丘机械设备网

当前位置: 首页 >> 机床设备

研究人员教机器人手写和绘图

2021年08月19日 商丘机械设备网

研究人员教机器人手写和绘图

布朗大学计算机科学家开发的算法使机器人能够将笔放在纸上,并使用类似于人类笔迹的笔触样式来写单词。

研究人员说,这是朝着能够与人类同事和合作者更流畅地交流的机器人迈出的一步。

布朗领导该算法开发的本科生Atsunobu Kotani说:“仅通过查看单词或草图的目标图像,机器人就可以将每个笔画再现为一个连续的动作中国机械网okmao.com。”

“这使人们很难区分它是由机器人编写的还是由人实际编写的。”

该算法利用深度学习网络来分析手写单词或草图的图像,并可以推断出创建它们的可能的笔触系列。

然后,机器人可以使用所学的笔触来重现单词或草图。在本月举行的机器人与自动化国际会议上发表的一篇论文中,研究人员展示了一种能够用10种使用不同字符集的语言编写“ hello”的机器人。该机器人还能够复制草图,包括蒙娜丽莎(Mona Lisa)之一。

Brown和Kotani的顾问,计算机科学助理教授Stefanie Tellex说,使这项工作与众不同的原因在于,机器人能够从头开始学习笔顺顺序。

Tellex说:“该领域的许多现有工作都要求机器人预先获得有关行程顺序的信息。” “如果您想让机器人写一些东西,则每次都必须编写笔画顺序。使用Atsu完成的操作,您可以画出您想要的任何东西,而机器人可以复制它。它并不总是能完美地完成笔画顺序,但距离很近。”

Tellex说,这项工作的另一个显着方面是该算法如何概括其再现笔划的能力。Kotani使用一组日语字符训练了他的深度学习算法,并证明该算法可以重现大约93%的字符和笔画。但是令研究人员惊讶的是,该算法最终能够重现以前从未见过的非常不同的字符类型,例如英语印刷和草书。

泰勒克斯说:“如果它只学习日语字符,我们会感到很高兴。” “但是一旦开始使用英语,我们就感到惊讶。然后,我们决定看看我们能走多远。”

Tellex和Kotani要求在Tellex的“人类到机器人”实验室工作的每个人都用其母语写“ hello”,包括希腊语,北印度语,乌尔都语,中文和意第绪语。机器人能够以合理的行程精度重现它们。

使用布朗大学研究人员开发的算法,机器人可以使用类似于人类的笔触模式以10种不同的语言(使用不同的字符集)来编写“ hello”。机器人还能够复制蒙娜丽莎的草图。图片来源:人类到机器人实验室/布朗大学

Tellex说:“我觉得用这么多种不同的语言编写的机器人确实有一些美丽之处。” “我认为那真的很酷。”

但是系统的杰作可能是Kotani的《蒙娜丽莎》素描的复制品。他在Tellex实验室的一块干擦板上画了草图,然后让机器人在Kotani原稿正下方的同一块板上准确地复制了它。

Kotani说:“清晨,我们的机器人终于在白板上绘制了《蒙娜丽莎》。” “当我回到实验室时,每个人都站在白板旁看着蒙娜丽莎,问我(机器人)是否画了这个。他们简直不敢相信。”

对于Kotani来说,这是一个重要的时刻,因为“这是我们的机器人定义了不仅仅是打印的那一刻的时刻。” 喷墨打印机可以重新创建图像,但是它可以通过打印头来实现,该打印头可以逐行地逐行构建图像。但这是机器人用类似人的笔触来创建图像的方式,对Kotani而言,“它更具人性化和表现力”。

Kotani说,使系统正常工作的关键是该算法使用了两个不同的图像模型来尝试再现图像。该算法使用将图像视为一个整体的全局模型,从而确定了进行第一次笔划的可能起点。一旦该笔划开始,该算法就会放大,逐个像素查看图像,以确定该笔划应该走到哪里以及应该走多长时间。

当到达笔划的末尾时,该算法再次调用全局模型以确定下一个笔划应该在哪里开始,然后返回到放大模型。重复此过程,直到完成图像。

Kotani和Tellex都说,这项工作是朝着人与机器人之间更好的沟通迈出的一步。最终,他们设想了可以留下便利贴,为人类同事和协作者听写命令或绘制草图的机器人。

Tellex说:“我希望机器人能够做一个人可以做的一切。” “我对可以使用语言的机器人特别感兴趣。写作是人们使用语言的一种方式,因此我们认为我们应该尝试一下。”