大模型理解复杂表格,能力再次飞升了!
不仅能在不规则表格中精准找到相关信息,还能直接进行计算。
比如提问:
如果2022年出口总额的人民币计价比实际数值少了10%,请计算新的出口总额并与实际数据比较。
普通的大模型要么找不到正确的单元格信息,要么会计算错误。
而最新模型给出了正确回答:
实际出口总额为121324327.3663万元,减少10%后的出口总额为109191894.62967001万元。
这就是由LeCun高徒、浙江大学博导赵俊博领衔打造的TableGPT2。
它首次将结构化数据作为独立模态进行训练,这意味着大模型将不再依赖长上下文窗口,而是直接理解数据库、Excel、数仓中的数据,进而搞定SQL、分析、增删改查等相关任务。
要知道,结构化数据已是无处不在,从BI(商业智能)到当下爆火的具身智能,大模型想要被更充分精准应用于这些领域,就不能再单纯以“文科生”的形式去学习。
由此赵俊博等人耗时1年带来了更强大的TableGPT2。
在23个基准测试中,TableGPT2都表现优异,平均性能提高35.20%(7B模型)和49.32%(72B模型)。
目前团队已将两个版本的模型、一个Agent工作流以及RealTabBench中的一个子集开源。
关键在表格编码器
在TableGPT2之前,业界几乎没有人尝试将结构化数据作为独立模态。这主要有两方面原因——
第一,数据库中表格的空间关系存在特殊性。比如在图像视频上任意交换像素或者词的token,都会改变数据的本质,这说明两种模态之间具备空间依赖关系。但是在数据库的表格中,随机交换2行或2列数据,表格本身并不会变化。目前我们缺乏工具和手段去应对结构化数据这种特点。
第二,结构化数据存在异质性。比如在CV领域,RGB是很客观的表达,红色就是红色,蓝色就是蓝色,自然语言也是一样。但是在结构化数据中,同样一个表格字段下面的标记,在不同数据库里的意义可能截然不同。比如都是“1,2,3”,不同图表中表示的内容可能完全不同。所以这种“异质性”要求大模型对整体的库、表和字段都有理解,才能给出实际意义。这部分的对齐和传统LLM对齐不太一样。
不过这些问题也不是完全不能解决。
赵俊博介绍,针对表格数据,如果掩码掉一个“子表”的一些单元格,加上字段、数据库的信息辅助,是可以才出来掩码信息的内容。这意味着尽管结构化数据的空间关系比较弱,但是本身还是有分布可以去学习的。
由此,研究团队提出了TableGPT2工作。
它基于Qwen2.5系列模型,使用超过860亿token进行预训练,给大模型喂入了超过59.38万张表和236万高质量的查询-表-输出样本,并创新性加入了一个表格编码器,专门用于读取和解释表格数据。
模型主要框架包括以下几个部分:
表格编码器
LLM解码器
持续预训练
监督微调
Agent工作流
表格编码器支持输入整个表格,生成每列的紧凑嵌入。
采用双维注意力机制,无需位置嵌入,同时进行分层特征提取,确保行和列的关系被有效捕捉。
再使用列对比方法,鼓励模型学习有意义的、结构感知的语义表示。
具体实现上,通过Q-former样式适配器对齐嵌入和文本输入,引入可学习的查询。
使用特殊标记(如”“和”“)区分表格特征与文本,这样模型可以同时处理两种模态。
应用联合指令微调来增强文本信息、列嵌入和模式单元数据之间的对齐,提高模型对表格数据的理解和解释能力。
值得一提的是,这个表格编码器可以单独使用。作者团队透露,后续还将发表相关论文。
LLM解码器则基于Qwen-2.5模型,用于自然语言生成。
具体训练部分,预训练阶段首先针对模型的编码和推理能力进行加强。80%的预训练数据是有优质注释的代码,这和DeepSeek-v2的方法一致,以确保强大的编码能力。
同时还融入了大量推理数据和特定领域知识(比如金融、制造、生物等),以增强推理能力。
在数据处理层面,采用两级过滤策略。
文档层面将数据标记为54个不同类别,token层面利用RHO-1来微调高质量token。
预训练部分的数据由86B个token组成。
进行监督式微调主要是为了提高模型在BI特定任务中的表现。
作者构建了一个包含236万条样本的数据集,主要覆盖多轮对话、复杂推理、工具使用和高度特定的业务查询场景,包含代码生成、数据可视化、统计测试和预测建模等表格任务。
通过模糊化字段引用、匿名化字段名等方法增强模型在处理复杂任务时的鲁棒性。
最后来看Agent框架。
该框架由运行时prompt、代码沙箱和agent评估模块共同增强agent的能力和可靠性。
具体工作流如下。首先通过prompt模块处理输入查询,经过检索增强处理后将查询输入到主模型中。然后TableGPT2与VLM协作,生成工具调用、代码或其他相关操作。利用智能体的反思能力,观察中间结果,判断是否需要迭代。最终得到输出。
部分基准下超越GPT-4o
实验阶段,作者将TableGPT2与其他大模型进行性能对比。
对比对象主要分为两类。
第一类为主流开源大模型,包括DeepSeek-Coder-V2-Lite-16B、YiCoder-9B-Chat、Qwen2.5-Coder-7B-Instruct和Qwen2.5-7B-Instruct。
第二类为针对表格相关任务进行微调或专门开发的模型。包括TableLLMs和CodeLlama-13B。
实验主要评估模型的6方面任务:表格理解、问答、事实论证、表格到文本、自然语言到SQL、整体评估。
在不同benchmark上,各个模型表现如下。TableGPT2显著优于绝大部分其他模型,并在一些基准上超越GPT-4o。
结果显示,TableGPT2的7B模型和72B模型的平均准确率分别提高了35.20%和49.32%。
此外,考虑到当下benchmark中针对表格异形问题、匿名问题或者治理较差的情况兼顾不佳,而实际落地中90%以上case都会出现类似情况。
作者还构建了一个新的benchmark——RealTabBench。它更加关注实际应用中真实出现的问题。
结果显示在RealTabBench上,TableGPT2表现也是最好。
另外,TableGPT2不会导致基座模型通用能力下降。
LeCun高徒“砸锅卖铁”开发
该研究来自浙江大学计算机与科学技术学院计算创新研究所。
由助理教授、博士生导师赵俊博领衔。
赵俊博于2019年获得纽约大学计算机专业博士学位,师从图灵奖得主、Meta首席AI科学家、纽约大学教授Yann LeCun。
他曾在Meta(原Facebook)人工智能实验室(Facebook AI Research)任研究员,期间深度参与了深度学习主流框架PyTorch和向量数据库Faiss的开发,并曾参与了内部通用对话机器人项目的前沿研究,该工作被视为大模型方向的早期产品化工作之一。
曾于2015年供职于英伟达半年时间,联合主持开发了全球首个端到端的自动驾驶解决方案,该工作由英伟达创始人Jensen Huang在次年的GTC 大会上做隆重介绍。
截至目前论文总被引数已超过20000次。
去年,赵俊博主持研发了TableGPT。
这是全球首款对接关系数据库和数据仓的大模型产品。
2024年,团队又继续“砸锅卖铁”,给TableGPT升级了V2版本。
作为高校团队,开发一个大模型意味着算力上要砸钱、数据收集工程优化上要出人,这中间有非常多的坑,需要消耗巨大人力财力。
而且TableGPT2的开发还有着诸多难点。
首先在技术上,构建一个在table上单独模态的编码器很难弄。它独有的复杂结构和空间特点,以及字段语义信息对齐等,都有考验。
其次在数据方面。结构化数据怎么收集、清洗?标签体系怎么定制?如何把合成数据和人工数据合并?怎么做到成本可控,都是问题。
以及监督微调部分,不光需要输入输出样本对,而且需要收集表,专业领域的数据表还需要专业人士进行标注……
不过为啥还是要做呢?
因为他们看到了大模型理解结构化数据背后更广阔的应用前景。
赵俊博向量子位介绍,作为高校团队,他们现在的工作更多是为了“趟路”。
做结构化这件事,我们不会停留在Excel或者数据库上面,下一步技术发展肯定是往硬件和具身智能领域上走。
灵巧手的触觉信息,还有具身智能领域的视觉、听觉等,广义来说都属于结构化数据,我们还想往这个方向再往前一步。
与此同时,TableGPT2也会在产业落地上试水,希望能给从业者提供更好用的底座模型。
目前,团队已经开源了这项工作的多个成果,后续也会发布表格编码器的相关研究,感兴趣的童鞋可以进一步了解~
文章内容仅供阅读,不构成投资建议,请谨慎对待。投资者据此操作,风险自担。
12 月 3 日消息,公开信息显示,美团关联公司北京三快科技有限公司因未对平台商户证照资质进行真实性审查,被北京市市场监督管理局罚款 20 万元,没收违法所得约 46 万元。
奥维云网(AVC)推总数据显示,2024年1-9月明火炊具线上零售额94.2亿元,同比增加3.1%,其中抖音渠道表现优异,同比有14%的涨幅,传统电商略有下滑,同比降低2.3%。
“以前都要去窗口办,一套流程下来都要半个月了,现在方便多了!”打开“重庆公积金”微信小程序,按照提示流程提交相关材料,仅几秒钟,重庆市民曾某的账户就打进了21600元。
华硕ProArt创艺27 Pro PA279CRV显示器,凭借其优秀的性能配置和精准的色彩呈现能力,为您的创作工作带来实质性的帮助,双十一期间低至2799元,性价比很高,简直是创作者们的首选。