FloodOS返回桌面
企业AI落地的最常用的场景——数据分析Agent
IMA NOTEBOOK / 抖音小红书

企业AI落地的最常用的场景——数据分析Agent

好的朋友们,本期视频讲的是目前企业AI落地的最常用的场景——数据分析Agent,也是我目前在互联网大厂正在做的项目。今天我会稍微结合我的项目,来好好讲一下这一篇由清华大学、人民大学和港科大一起完成的论文,叫做《Data Agents: Levels, State of Arts and Open Problems》。 目前市面上有非常多的形容词来形容分析AI…

返回阅读索引

企业AI落地的最常用的场景——数据分析Agent好的朋友们,本期视频讲的是目前企业AI落地的最常用的场景——数据分析Agent,也是我目前在互联网大厂正在做的项目。今天我会稍微结合我的项目,来好好讲一下这一篇由清华大学、人民大学和港科大一起完成的论文,叫做《Data Agents: Levels, State of Arts and Open Problems》。 目前市面上有非常多的形容词来形容分析AI,比如智能问数、AI分析师、AI数据科学家,这些东西被统一称之为Data Agent。但是这个事情比较tricky的地方就在于,可以想象它把自行车、摩托车、燃油车、新能源车都统一称之为车,所以在这些宣传的背后,就没有办法看清它们之间的区别在哪。 所以Data Agent之间的区别,在这篇论文里边给出了一个明确的标准,我认为也是目前Data Agent的唯一的行业标准。对于很多的Data Agent的广告,大致就是可以“一句话生成洞察”“一句话完成分析”“全自动的数据科学家,不需要人的监管”。 但实际上,可能它和你现在用豆包去帮你做一些数据分析其实是一样的:把问题给它,它给你一个答案;把表名称、字段名称给它,然后它把SQL给你,自己去跑,自己去看数。 这篇论文是像汽车自动驾驶一样,把当前的Data Agent进行了分类,从L0到L5。简单来说,Data Agent一共分为三类:第一类把AI当参谋,第二类是AI是一个熟练的工人,第三类是AI成为了项目经理。 首先要说的是什么是Data Agent?简单来说,Data Agent就是用大模型去编排数据,然后再配合AI去完成配置的调优、清洗、集成、探索、分析等数据任务,这个系统就叫做Data Agent。 论文当中也给出了一个公式,就是在环境里,对原始数据用什么样的模型,面向什么样的任务,最终产出了什么样的结果,只有这条链路才叫做Data Agent。 Data Agent和平时使用的Codex、Cloud Code这些Agent的区别在哪?大家可以看一下这张表,里边介绍的也比较清晰。简单来说,日常使用的这些通用Agent,像Codex、Cloud Code的这些,是需要人去串联所有的节点、所有的模块;但是对于Data Agent来说,可以自主地去串联数据分析当中的重要模块,人只需要在关键的节点去做出审核、检查。 所以Data Agent的难点就在于,它必须在真实的环境里边可以长期干活,经得起治理,可以复现,可以追责。 接下来讲一下这篇文章的重头戏,就是Data Agent的分类。 首先就是L0,L0其实就是可能两三年前的数据分析方式,数据自己获取、自己清洗、自己分析,结论自己给出,方向自己找。 接下来就是L1,L1其实也是目前大部分人的一种使用方式,可以理解为就是目前使用豆包或者DeepSeek的交互方式,比方在数据获取的时候,把表名、字段名写SQL,拿到数据之后,把数据让他帮你去看趋势,做一些简单的分析。 接下来就是L2,L2相比L1其实是有一个比较大的跃迁,因为在L1的时候AI就只是动动嘴,但是到了L2可以连上知识库、连上数据库,然后帮你去跑查询、去看报错,然后帮你改SQL,最终帮你完成分析。但是整条链路先干什么、后干什么、怎么干,这些都是由人来决定的。打个比方就好像做饭,定好了先洗菜、再下锅、再放调料、最后装盘,AI就按照这个步骤来做,中间哪一步出错了自己去重试,这个就是L2,菜单的顺序都是由你来决定的。 L3相比L2,就相当于从一个熟练的数据分析师变成了一个真正的项目经理:把目标告诉他,他帮你去进行拆分,第一步怎么干,第二步怎么干,他去决定数据是否可信、是否需要清洗、是否需要从别的地方获取数据才能完成目标,而你只负责审批和验收。 所以L2到L3其实是目前Data Agent面临的真正最难的地方,因为这里边难点有四个: 第一,模型自己排顺序会很难,因为真实世界的任务是千变万化的,有时候可能是需要去先拆分城市,可能对于另一个任务来说,可能就先去拆分渠道。 第二,难点是错误会连锁传染,前一步洗数据的时候发生的错误,可能到了在数据分析的时候错误才会显现,这个时候Agent不一定能够发现真正的错误原因在哪,不一定知道真正的原因就是数据质量。 第三,难点就是世界一直在变,在真实的环境当中,表结构可能会变,字段也有可能会变,甚至业务口径都可能会变,昨天能跑的通的流程,今天可能就突然失效了。 第四,难点就是安全护栏,其实人目前对于AI给出的结论是没有办法做到无条件相信的,因为在真实的企业当中,任何的结论决策都是需要负责的,Agent只是一个工具,如果出了任何问题,这部分责任还是要由人来承担的。 L4和L5就属于目前市面上完全没有见过的状态了: L4属于高度自主,就像是一个自己值班的数据管家,不需要每次下命令,自己盯着数据哪有问题,结论是不是漂移,分析值不值得做,可以把它想象成就是小区的物业,自己巡查,发现了问题自己去修、自己整改。 L5就是完全自主,这个就是属于比较美好的愿景,它不只是会用现成的工具,还能想出一些新的方法,自己去迭代升级,设计新的实验,甚至能够做到反哺数据库。 目前其实市面上大多数的产品都还停留在L1的阶段,只有少数的团队能够凭借比较扎实的基础做到L2水平,当前的L3也还是属于比较前沿的探索阶段,大部分的人和公司也只能做到L2.5,还是达不到标准的L3水平。 所以看到这里,不管是一个企业主,还是将来要做任何Data Agent相关的东西,都可以最起码先判断出,你面对的这个东西是达到了一个什么样的水平,是L2还是L3。 同时写这篇论文的团队也开源了一个L3水平的Data Agent,它不仅仅是一个Agent,里边也内置了一个非常小的可以本地部署的模型。开源的模型我觉得对于大家是有非常大的参考的意义的。 如果感兴趣可以到GitHub上面去看一下这个Agent,同时附带的模型也非常有参考的价值。需要论文原文或者需要GitHub链接的朋友,可以到粉丝群获取。 本期视频到此结束,谢谢大家。1.53 :1pm N@J.Iv vfO:/ 03/18 复制打开抖音极速版,看看【咕咕(AI学习版)的作品】我在互联网大厂做的data agent到底是什么 ... https://v.douyin.com/NRHwpVuPShI/