Adjust Growth Copilot 测试版上线,赋能移动应用高效增长互联网档案馆直播数字化微缩胶片,揭秘保存公共记录背后的努力公安部出品“个人信息防弹衣”:国家网络身份认证公共服务平台亮相WordPress主题 Motors 9.8分高危漏洞被修复:被利用可完全控制网站苹果 + 布拉德皮特 IMAX 大片,华纳兄弟称《F1:赛道风云》“人气爆棚”微软Build2025大会演讲遭抗议打断,AI 安全主管意外泄露内部信息微星笔记本精彩Computex 2025:体验创新合作、CLAW新品进化苹果创新技术,人形机器人训练迈向低成本高效率手回集团(2621.HK)启动招股 百惠担任联席账簿管理人及联席牵头经办人2025年中国移动中资出海数智赋能合作大会成功举办Mistral发布编程专用开源AI模型 Devstral:240亿参数、单张RTX 4090显卡可运行拉丁美洲最大供货协议:比亚迪储能与Grenergy签 3.5GWh储能订单手机满意度跌至 10 年来的最低水平,AI人工智能只是部分原因赛车题材新片《F1:狂飙飞车》确认引进中国内地,布拉德・皮特主演SK 海力士成功开发基于 321 层 NAND 闪存的 UFS 4.1 解决方案产品OpenAI 迄今最大交易:65 亿美元收购 Jony Ive 初创公司 io,推动 AI 硬件革命全球首个人形机器人智能化分级标准发布国铁吉讯:将于 6 月 15 日关闭部分行程同步相关服务戴森推出全球最纤薄吸尘器 PencilVacPNY推出高性能microSD Express卡 兼容Switch 2存储扩展
  • 首页 > 云计算频道 > 大模型

    阿里刚开源32B大模型,我们立马测试了“弱智吧”

    2024年04月08日 10:04:14   来源:量子位公众号

      阿里的通义千问(Qwen),终于拼齐了1.5系列的最后一块拼图——

      正式开源Qwen 1.5-32B

      话不多说,直接来看“成绩单”。

      这次官方pick同台竞技的“选手”是Mixtral 8x7B模型和同为Qwen 1.5系列的72B模型

      从结果上来看,Qwen 1.5-32B已经在多项评测标准中超越或追平Mixtral 8x7B:

      并且即便是在与自家更大参数模型PK过程中,Qwen 1.5-32B也用“以小博大”的姿势展现出了较好的性能。

      用通义千问团队成员的话来说就是:

      这个模型显示出了与72B模型相当的性能,特别是在语言理解、多语言支持、编码和数学能力等方面。

      在推理和部署过程中,成本还会更加友好。

      不仅如此,即便是再拉来其它体量相当的大模型“选手”,Qwen 1.5-32B在多项评测中的成绩依旧较为亮眼:

      除此之外,团队还做了一项比较有意思的测试——长文本评估任务,“大海捞针”

      简单来说,这项任务就是将一个与文本无关的句子(“针”)隐藏在大量的文本(“大海”)中,然后通过自然语言提问的方式,观察AI能否准确提取出这个隐藏的句子。

      从结果上来看,Qwen 1.5-32B在32k tokens的上下文中性能表现良好。

      不过有一说一,刚才所展示的也还仅是Qwen 1.5-32B在评分上的成绩,至于具体到实际体验过程中,效果又会如何呢?

      大战一波“弱智吧”

      自打大模型火爆以来,“弱智吧”就一直成了检测大模型逻辑能力的标准之一,江湖戏称为“弱智吧Benchmark”

      (“弱智吧”源自百度贴吧,是一个充满荒谬、离奇、不合常理发言的中文社区。)

      而且就在前几天,“弱智吧”还登上正经AI论文,成了最好的中文训练数据,引发了一波不小的热议。

      这项研究正是来自中科院深圳先进技术研究院、中科院自动化研究所,滑铁卢大学等众多高校、研究机构联合团队。

      刚好此次Qwen 1.5-32B在开源的同时,也一并放出了在线体验的demo,那么当它俩碰到一起,会擦出怎样的火花?

      请听第一题:

      我爸妈结婚为什么不邀请我?

      Qwen 1.5-32B很准确地回答出了“你的父母在结婚时你尚未出生,因此他们无法邀请你参加他们的婚礼”。

      继续第二题

      为什么睡觉过夜的地方叫酒店,喝酒的地方叫夜店?

      面对这道很经典的问题,Qwen 1.5-32B也能做到追根溯源地做正经科普。

      再来第三道第四道

      高中如果想提高升学率,为什么不直接招大学生?

      网吧能上网,弱智吧为什么不能上弱智?

      不难看出,Qwen 1.5-32B都能够给出准确的答案。

      尤其是在第四道问题上,它甚至直接指出了逻辑性的问题:

      问题似乎不太恰当或者存在误解。

      嗯,Qwen 1.5-32B是一个经住了“弱智吧Benchmark”的大模型。

      至于其它关于常识、数学、编程等能力的效果,家人们可以亲自去体验一番了。

      如何做到的?

      正如我们刚才所述,Qwen 1.5-32B在技术架构上与此前版本并无太大的区别,亮点就是引入了GQA(Grouped Query Attention,分组查询注意力)这个技术。

      这也正是它能够在相对较小的体量之下,能够做到性能较优且快速部署的关键。

      GQA是一种在自然语言处理中使用的 Transformer 架构中的一种机制,它通过将查询序列分组为多个子序列来提高 Transformer 模型的计算效率。

      这种方法可以有效地减少计算复杂度,同时保留 Transformer 模型的表示能力。

      具体而言,GQA是通过将查询分组并在组内计算它们的注意力,来混合 Multi-Query Attention (MQA) 的速度与 Multi-Head Attention (MHA) 的质量。

      GQA 通过将查询头分为组,每个组共享单个键头和值头,来实现这一点,从而在质量和速度之间取得平衡。

      如此一来,GQA的引入就降低了注意力计算的数量,从而加速了推理时间。

      最后,奉上Qwen 1.5-32B在HuggingFace的体验入口,感兴趣的朋友可以去体验啦~

      文章内容仅供阅读,不构成投资建议,请谨慎对待。投资者据此操作,风险自担。

    即时

    vivo携手首届商学院戈壁友谊赛,以专业影像见证无畏征途

    2025年5月4日,首届商学院戈壁友谊赛于甘肃省酒泉市圆满举办。在这场4天121公里的戈壁征途中,vivo作为战略合作伙伴,为赛事提供手机、智能穿戴设备及定制影像服务,以技术赋能助力参赛选手与观众记录戈壁之上的热血奔赴,共同探索科技进步、商业文明与自然共生的未来路径。

    新闻

    明火炊具市场:三季度健康属性贯穿全类目

    奥维云网(AVC)推总数据显示,2024年1-9月明火炊具线上零售额94.2亿元,同比增加3.1%,其中抖音渠道表现优异,同比有14%的涨幅,传统电商略有下滑,同比降低2.3%。

    企业IT

    重庆创新公积金应用,“区块链+政务服务”显成效

    “以前都要去窗口办,一套流程下来都要半个月了,现在方便多了!”打开“重庆公积金”微信小程序,按照提示流程提交相关材料,仅几秒钟,重庆市民曾某的账户就打进了21600元。

    3C消费

    华硕ProArt创艺27 Pro PA279CRV显示器,高能实力,创

    华硕ProArt创艺27 Pro PA279CRV显示器,凭借其优秀的性能配置和精准的色彩呈现能力,为您的创作工作带来实质性的帮助,双十一期间低至2799元,性价比很高,简直是创作者们的首选。

    研究

    中国信通院罗松:深度解读《工业互联网标识解析体系

    9月14日,2024全球工业互联网大会——工业互联网标识解析专题论坛在沈阳成功举办。