比如格式固定但写不完的结案报表、做研报前海量且枯燥地搜集整理资料、管理员在企业后台重复录入大量信息等等……
这些工作你说简单吧,它又需要人手动一点点地完成,你说复杂吧,它又不是特别费脑子,只是得占用大量时间。
作为一名科技媒体
好消息是,最近听闻豆包工作的 Computer Use 升级了,新增了“录制电脑操作并生成技能”的功能。
做科技媒体的,写各种产品导购或者产品介绍的稿件是家常便饭。不过在介绍产品的时候,经常很难找到现成的产品介绍文字,只能在电商品牌页面的详情图中,对照着上的文字一点一点“搬”到里。
特别是笔记本电脑这种品类,型号多、参数细,很难找到具体某一款详细的产品文字介绍信息。有时候一篇稿件里要写十款八款的,眼睛花了,手也酸了。
后来小编也想过用 AI 来搞,但是为了确保信息的准确性,每次还得手动把网页保存为 PDF,然后发给 AI,关键是还得写一大段提示词,告诉 AI 怎么提取,哪些信息需要,哪些不要,等等,需要手动操作的步骤还是很多,效率依旧低下。
所以,当我看到豆包工作这次更新的“录制电脑操作并生成技能”,我立刻就想到了这个场景。如果我自己操作一遍,让它看着学,学会了以后直接帮我干,那不就完美了?
点进去之后,系统提示需要授权录制屏幕和操作,按照向导一步步走完,屏幕边缘出现了一圈录制边框 —— 这就开始了。
小编先演示了一遍“从京东产品页提取信息并生成产品介绍 Word”的完整流程,让豆包录频学习。我一边操作一边讲解,就像带新来的实习生一样:
整个操作过程大概五分钟。我该点点,该说说,就跟平时干活一样,只是旁边多了个“虚空学徒”在看。
录完之后我点了停止录制。豆包开始处理,过了一会儿,一个叫做 jd-product-info-extract 的技能就出现在了我的技能库里。
不过它也会根据情况,在技能里对我的操作过程进行改动,比如最开始,它没有用我演示中的通过浏览器插件来把网页内容导出 PDF,而是改为直接在浏览器读取详情页文本。还有手动打开 WPS 文档粘贴被它改成了直接用 python-docx 生成 .docx。
技能生成了,接下来重点是看能不能复用。于是小编用另一款笔记本产品来测试。直接在对话框用“/”调用 jd-product-info-extract 这个技能,让它写产品介绍就行。
运行过程中我发现一些细节,首先输入产品名称不是固定的,要输入每次指定的产品名称,还有在京东页面选择产品时,要选择官方旗舰店或者京东自营店的产品页面,这两个要求是我演示时口述的,光看录屏 get 不到,而豆包在复用技能时都注意到了这些,说明它真的有理解我演示时讲解的内容并记住了。
第一次执行是成没有按照我之前演示的调用本机 chrome 浏览器,而是调用豆包内置浏览器,并读取详情页文字,以此生成产品介绍。而读取详情页的内容不完整,导致介绍产品的信息只有一小部分。
于是我要求对这个技能进行修改,要求它必须调用我电脑上安装的 Chrome 浏览器,所有操作都在我电脑上的 Chrome 浏览器上进行,将网页保存为 PDF 时,必须根据录屏,使用我的 Chrome 浏览器中的指定浏览器插件来完成。
豆包成功对技能进行了修改,然后我让它再执行一遍,这一次,它通过虚拟桌面调用了我本机安装的 Chrome 浏览器,并进行操作,最后成功使用浏览器上的指定插件将网页完整内容导出,并生成了更加详细完整的产品介绍。
说实话,看到豆包打开我的 Chrome 浏览器、然后一步步上京东找产品、点开商品详情页,使用浏览器插件保存网页的时候,那种感觉还是非常惊艳、奇妙的。
可见,这个功能是可以根据你实际运行的效果随时修改迭代的,这一点就非常实用,毕竟实际运行的时候可能遇到的问题有很多,如果不能根据实际情况进行调整,那么它的可用性就会大大降低。
随后,小编又对技能进行了一些修改调整,最后再测试一遍,豆包完成任务的效率更高了,输出的产品介绍也更加全面准确,可以说越用越顺手。
至此,豆包工作的“录制电脑操作并生成技能”,算是真正能融入到我的一个重要工作流里了。以后我再写导购或者介绍产品的,就可以直接让豆包工作帮我完成,几分钟简单高效,否则我自己一点一点码字,一款产品就得花半个多小时,干完后人都傻了。
另外,以上这些操作,我都是在 Windows 电脑上完成的。而对于苹果 Mac 用户来说,豆包工作现在也已经支持了录屏技能。所以 Mac 用户也能用。
首先要说明的是,刚才在 Windows 上生成的“Jd-product-info-extract”这个技能,换到 Mac 平台上,是不能直接用的,毕竟 Mac 的系统底层架构、文件夹路径、软件界面等等和 Windows 上都不相同。
于是小编使用 Mac 版的豆包工作把刚才的工作流又重新操作了一遍,重新生成了一个适合 macOS 的技能,过程很顺利。
所以使用 Mac 的同学也可以通过豆包工作录制属于自己的个人化技能,从此告别那些重复枯燥繁琐的工作内容。
以前用 AI 干活,模式是“你说它做”—— 你得用提示词把任务拆解得无比详细,用文字描述清楚每一步怎么做。但往往还是描述不清。
现在有了录制技能,模式变成了“你做它学”。直接做一遍给它看,边做边讲,它就学会了。学会了以后,再碰到类似的活,直接让它上。
第二,其实豆包的 Computer Use 之前就已经支持本地 GUI 操作了,不过只是在内置浏览器内操作,而这次更新,能力扩展到了全局电脑操作,也就是说它能操作你电脑上的软件了,这就让功能有了真正的实用性。
当然,也不是说这个功能就完美了。比如目前录制的时候语音讲解没有实时字幕,你不知道自己说的话它听清楚了没有,得等技能生成之后去检查。
这个功能怎么用呢?很简单。在豆包工作的设置里找到“工作任务模式设置”,打开“允许豆包在锁屏时工作”的开关,按照提示完成授权就行。
开启之后呢,你的 Mac 即便是锁屏状态,豆包也能继续执行需要操作界面的任务 —— 看屏幕、点鼠标、敲键盘,都不耽误。
还是以上面 Mac 录屏生成的技能为例,在我让豆包帮我提取某款产品的信息时,忽然要离开工位一会,又不想让其他人看到我电脑的界面,但豆包还在干活呢,如果是之前,锁屏之后豆包的任务就被打断了。
测试时,我多次锁屏、过一会打开屏幕、锁屏,过一会打开屏幕,豆包都在持续帮我提取产品信息。最后一次打开屏幕时,它任务已经完成了。
这也是非常有用的一个功能,比如当我要一次性处理十几款产品,那跑下来得好一会儿。我总不能坐在电脑前盯着它干吧?
这里补充一下,豆包工作之前在 Mac 上就已经挺能干的了 —— 比如多 Agents 并行调研、操作本地软件、整理桌面、安装软件、下载网盘文件这些,之前的版本就已经支持了。
这次的锁屏工作相当于补上了“人不在电脑前也能继续干活”这一环,让 Mac 上的体验更完整了。
有一点要提醒大家:锁屏工作不等于合盖也能工作。官方的说法是,电脑要保持开机、联网、客户端运行且处于唤醒状态。
如果你的 Mac 合盖太久、电量降到 30% 以下,这个功能就用不了了。所以想用这个功能的话,最好还是插着电源,别合盖。
总的来说,锁屏工作这个功能不是那种“哇塞”级别的惊艳功能,但属于那种用了就回不去的“润物细无声”型升级。
它把 AI 从“你坐在电脑前才能用”的工具,变成了“随时都在帮你干活”的助手。就像你请了个助理,以前你在办公室的时候她才干活,你一走她就摸鱼。
说实话,这两年 AI 工具我测了也挺多。很多工具刚出来的时候挺惊艳,但用着用着就觉得也就那样。为什么?因为它们老是在“替代人”这个方向上使劲,总想着一上来就把整个活都给你干了。
但豆包工作这次的更新,我觉得路子走对了。它在想怎么帮你把重复的部分抽离出来,让你下次不用再干一遍。
这才是 AI 融入日常工作的正确姿势 —— 不是让你去适应 AI,而是让 AI 来适应你的工作方式。
你今天录一个产品信息提取的技能,明天录一个周报整理的技能,后天录一个批处理的技能…… 攒着攒着,你的技能库就成了你的“数字分身”——你会干的活,它都会干,而且干起来比你快、比你耐心。
所以,如果你平时也有大量重复、机械的电脑操作,如果你也觉得“这种活凭什么还要我自己干”,那我真心建议你试试豆包工作的这两个新功能 —— 尤其是录制操作生成技能。










