基于ChatGPT这类大模型的强大理解能力,将输入的任何信号拆解成一个个可完成的任务,交给其他的AI和程序完成。
简单来说,就像是建了一座司令塔,每个大模型都能成为其中的“大脑”指挥官,其他专门解决某类任务的模型,则听它调令——
人类只需要提需求,AI从自动做PPT、Word和Excel三件套(Office自动化),到驱动机器人完成各种智能任务,都能搞定。
这个最新的研究名叫TaskMatrix,据微软表示,它能直接驱动数百万个用于完成任务的AI和API。
多模态对话基础模型(MCFM):与用户对话并了解需求,从而生成API可执行代码以完成特定任务
API平台:提供统一API格式,存储数百万个不同功能的API,允许扩展和删除API
简单来说,MCFM负责生成解决方案,API选择器从API平台中选取API,随后API执行器基于MCFM生成的代码调用API,并解决任务。
其中,为了统一API管理,API平台又给API统一了文档格式,包含以下五个部分:
API名称(提供API摘要,避免与其他API混淆),参数列表(包含输入参数和返回值等),API描述(功能描述),组合指令(如何组合多个API完成复杂用户指令)
其一,扩大AI适用范围,如通过扩展API来提升可完成任务的类型和数量;其二,便于进一步提升AI可解释性,通过观察AI分配任务的方式就能理解它的“思路”。
目前从已经搭建好的TaskMatrix部分来看,它能完成的任务已经非常广泛。
小到文字、图像信息的基础信息处理,大到控制机器人平台、接入物联网这种通用平台任务,TaskMatrix都能搞定。
TaskMatrix解读用户想要完成的任务后,就能通过对话的方式,搞定PS(把老人背景P成白的)、解读图像、文生图、草图转真实图像、抠图等一系列现实生活中常见的图像处理操作:
如果说这些都还太常见,基于TextMatrix还能搞定真·图像扩展,基于一小角扩展到一整张图的那种,而不仅仅是采用平铺的方式。例如输入一朵花:
以往需要手动改AI写过的方案,如今直接将问题抛给AI,它就能完成,例如具体修改某个特定的步骤。
当然,既然是微软的研究,少不了调用Office系列的API,包括做PPT这种活,如今交给AI来做就行:
再进一步到通用任务上,之前一直存在瓶颈的机器人和物联网等平台,如今TaskMatrix也给出了解决通用任务的方案。
家里接入AI后,和它对话就能完成你想要的各种琐碎任务,包括定闹钟、查看天气等:
欢迎关注人工智能、智能汽车的小伙伴们加入交流群,与AI从业者交流、切磋,不错过最新行业发展&技术进展。
原标题:《一个AI驱动百万个API!微软提出多任务处理模型TaskMatrix,机器人和物联网终于有救了》
本文为澎湃号作者或机构在澎湃新闻上传并发布,仅代表该作者或机构观点,不代表澎湃新闻的观点或立场,澎湃新闻仅提供信息发布平台。申请澎湃号请用电脑访问。