出色,出彩,出众!爱普生合作伙伴润天智携彩神亮相德鲁巴兄弟网络扫描仪ADS-1350W上市Omdia:2024年上半年中国制造的智能手表OLED出货量占比突破60%三星加大AI研发力度:挖角苹果前Siri高管 领导新成立“北美AI中心”微软暂停Win11 24H2预览版更新 因新功能问题太多诺基亚3210复刻版被疯抢!年轻人为何喜欢上老年机智慧机械·创新未来 | 思看科技 X 浙大机械工程学院产教融合研讨会成功举办!思看科技三维视觉数字化技术,加速形成新质生产力的全新引擎!先进封装钻孔加工不易开裂,电气硝子推出新型玻璃-陶瓷基板 GC Core传字节跳动要用锤子团队造手机 官方回应:目前没有计划Gartner发布通信人工智能全球魔力象限,亚信科技荣登“领导者”象限联发科拥抱PC市场:为微软AI笔记本设计Arm架构芯片Fuchsia OS 还在开发,谷歌向 Mesa 3D 添加新系统初步支持首次位列全球第三,TrendForce 报告中芯国际 2024 Q1 晶圆代工产值仅次于台积电、三星传音将研究东南亚地区人像肤色,TECNO 与南洋理工大学 ACRC 达成合作中国移动完成ITU-T首个5G新通话(VoNR+)标准项目结项极氪将新增16%营销服务人员,目标年内门店数量达520家为摆脱财务困境 超跑制造商迈凯伦也将进军SUV市场IDC:中国新能源乘用车市场规模将在2028年突破两千万大关仅次于中国 2023年德国电动汽车产量位居全球第二
  • 首页 > 云计算频道 > 大模型

    Groq大模型推理芯片每秒500tokens超越GPU,喊话三年超过英伟达

    2024年02月20日 16:07:54   来源:站长之家

      2月20日 消息:Groq公司推出的大模型推理芯片以每秒500tokens的速度引起轰动,超越了传统GPU和谷歌TPU。该芯片由初创公司Groq研发,其团队成员来自谷歌TPU,包括创始人兼CEO Jonathan Ross,曾设计实现第一代TPU芯片的核心元件。

      Groq采用了全球首个LPU(Language Processing Unit)方案,旨在克服计算密度和内存带宽的瓶颈,最终实现大模型推理性能比其他云平台厂商快18倍。据介绍,英伟达GPU需要大约10到30焦耳才能生成响应中的tokens,而Groq仅需1到3焦耳,使得推理速度提高了10倍,成本降低十分之一,性价比提高了100倍。

    image.png

      Groq的芯片采用14nm制程,搭载了230MB大SRAM以保证内存带宽,片上内存带宽高达80TB/s。在算力方面,该芯片的整型(8位)运算速度为750TOPs,浮点(16位)运算速度为188TFLOPs。基于自研的TSP架构,Groq利用机器学习工作负载的并行性对推理进行加速,并支持通过PyTorch、TensorFlow等标准机器学习框架进行推理。

      Groq公司在演示中展示了其芯片的强大性能,支持Mixtral8x7B SMoE、Llama2的7B和70B等多种模型,并可直接体验Demo。不仅如此,Groq还喊话各大公司,扬言在三年内超越英伟达。该公司的推理芯片在第三方网站上的售价为2万多美元。

      Groq公司以其创新的LPU方案和超越性能的大模型推理芯片,成为大模型推理领域令人瞩目的新兴力量,引领着技术的飞速发展。

      Groq产品的特色亮点如下:

      1. API访问速度极快:Groq提供了API密钥,可以访问世界上最快的开源大型语言模型(LLM)推理速度。他们的实现在Anyscale的LLMPerf Leaderboard上展示了相较于云服务提供商高达18倍的推理性能。

      2. 支持开源LLM模型:*Groq支持Llama2-70B和7B,这两个由Meta AI创建的领先的开源基础LLM模型。这些Groq实现使用4096的上下文长度。

      3. 支持其他模型:*除了Llama系列外,Groq还支持Mixtral8x7B,由Mistral AI创建,可根据请求提供。其他模型如Mistral和CodeLlama也可根据特定客户请求提供。

      4. 免费试用期: 提供为期10天的免费试用期,可以根据请求进行刷新。在试用期间,用户将获得100万免费令牌,并且API与OpenAI API完全兼容。

      5. 价格保证: Groq保证以击败任何已发布的相应模型的百万令牌价格。他们的定价相对较低,可以提供更具竞争力的服务。

      6. 早期访问计划: Groq提供了Alpha版本的API的早期访问计划,免费供研究和开发目的使用。公共可用性计划于2024年第二季度。

      7. 高性能硬件支持: Groq引擎(LPU™ Inference Engine)在性能上优越,通过硬件支持实现了18倍于云服务提供商的LLM推理性能。

      Groq产品以其出色的推理性能、对多种开源LLM模型的支持以及具有竞争力的价格政策等特色,成为一个引人注目的选择。

      文章内容仅供阅读,不构成投资建议,请谨慎对待。投资者据此操作,风险自担。

    即时探行数字人注册免费试用

    数智技术助力爆品营销策略,多款新品火爆点燃中国休闲卤制

    四月中旬,为庆祝绝味鸭脖创立19周年,绝味鸭脖更是以“19岁,绝美青春”作为周年庆主题,推出全新“爆耐撕绝绝脂大刀肉片”,并从产品卖点出发,整合全渠道资源进行营销传播,收获消费者的一致好评,全网声量火爆,线下好评如潮。

    新闻探行AI智能外呼系统 节省80%人力成本

    敢闯技术无人区 TCL实业斩获多项AWE 2024艾普兰奖

    近日,中国家电及消费电子博览会(AWE 2024)隆重开幕。全球领先的智能终端企业TCL实业携多款创新技术和新品亮相,以敢为精神勇闯技术无人区,斩获四项AWE 2024艾普兰大奖。

    企业IT探行AI客服 24小时无休机器人接待

    重庆创新公积金应用,“区块链+政务服务”显成效

    “以前都要去窗口办,一套流程下来都要半个月了,现在方便多了!”打开“重庆公积金”微信小程序,按照提示流程提交相关材料,仅几秒钟,重庆市民曾某的账户就打进了21600元。

    3C消费探行AI视频 快速生成真人营销视频

    “纯臻4K 视界焕新”——爱普生4K 3LCD 激光工程投影

    2024年3月12日,由爱普生举办的主题为“纯臻4K 视界焕新”新品发布会在上海盛大举行。

    研究探行AI整体解决方案 全国招募代理

    2024全球开发者先锋大会即将开幕

    由世界人工智能大会组委会、上海市经信委、徐汇区政府、临港新片区管委会共同指导,由上海市人工智能行业协会联合上海人工智能实验室、上海临港经济发展(集团)有限公司、开放原子开源基金会主办的“2024全球开发者先锋大会”,将于2024年3月23日至24日举办。