2025WAIC丨腾讯云副总裁吴运声:把AI变成全新生产力不止霸榜618!灵宇宙WAIC首秀新功能:拍玩具“活”过来,这才是AI万物有灵业界首个,智元机器人稚晖君发布“灵渠 OS”开源计划意法半导体计划以 9.5 亿美元收购恩智浦 MEMS 微机电传感器业务安慕斯携手行业领军企业共同发起一次性卫生用品行业高质量发展倡议暑期出境游用鸿蒙 5解锁新体验,海外自由行尽享“鸿蒙一夏”华为中国政企用户峰会2025成功举办丨倾听·践行 共创AI新时代北京大学 鲲鹏昇腾科教创新卓越中心突破:自主创新软件SPONGE性能超越国际主流GPU方案民族记忆 · 和平之光丨国际和平艺术家:邢凌云新秀亮相长青压阵 360游戏确认参展2025 ChinaJoy凯华 X ChinaJoy强势来袭!一键开启热血盛夏!巨人网络确认参展2025 ChinaJoy鹅鸭杀和他的朋友们来了!金山世游确认参展 2025 ChinaJoy2025 ChinaJoy 展会服务全面升级!为观众打造极致体验2025 ChinaJoy 展馆地图正式发布2025 中国游戏开发者大会(CGDC)动作冒险射击游戏专场、独立游戏专场嘉宾曝光2025 年第 22 届 ChinaJoy 展前预览(同期会议篇—CGDC)正式发布希尔顿集团联动滴滴宠物出行,升级携宠 "住行一体"体验SuperCLUE发布工业大模型测评最新榜单,北电数智骄阳·工业大模型综合排名第一云计算年增34.4%,算力厂商迎来扩量增利窗口
  • 首页 > 云计算频道 > 大模型

    超火迷你GPT-4视觉能力暴涨,GitHub两万星,华人团队出品

    2023年10月19日 10:44:48 来源:微信公众号 量子位 (ID:QbitAI)

      本文来自于微信公众号 量子位 (ID:QbitAI),作者:白交 。

      GPT-4V来做目标检测?网友实测:还没有准备好。

      虽然检测到的类别没问题,但大多数边界框都错放了。

      没关系,有人会出手!

      那个抢跑GPT-4看图能力几个月的迷你GPT-4升级啦——MiniGPT-v2。

      而且只是一句简单指令:[grounding] describe this image in detail就实现的结果。

      不仅如此,还轻松处理各类视觉任务。

      圈出一个物体,提示词前面加个 [identify] 可让模型直接识别出来物体的名字。

      当然也可以什么都不加,直接问~

      MiniGPT-v2由来自MiniGPT-4的原班人马(KAUST沙特阿卜杜拉国王科技大学)以及Meta的五位研究员共同开发。

      上次MiniGPT-4刚出来就引发巨大关注,一时间服务器被挤爆,如今GItHub项目已超22000+星。

      此番升级,已经有网友开始用上了~

      多视觉任务的通用界面

      大模型作为各文本应用的通用界面,大家已经司空见惯了。受此灵感,研究团队想要建立一个可用于多种视觉任务的统一界面,比如图像描述、视觉问题解答等。

      「如何在单一模型的条件下,使用简单多模态指令来高效完成各类任务?」成为团队需要解决的难题。

      简单来说,MiniGPT-v2由三个部分组成:视觉主干、线性层和大型语言模型。

      该模型以ViT视觉主干为基础,所有训练阶段都保持不变。从ViT中归纳出四个相邻的视觉输出标记,并通过线性层将它们投影到 LLaMA-2语言模型空间中。

      团队建议在训练模型为不同任务使用独特的标识符,这样一来大模型就能轻松分辨出每个任务指令,还能提高每个任务的学习效率。

      训练主要分为三个阶段:预训练——多任务训练——多模式指令调整。

      最终,MiniGPT-v2在许多视觉问题解答和视觉接地基准测试中,成绩都优于其他视觉语言通用模型。

      最终这个模型可以完成多种视觉任务,比如目标对象描述、视觉定位、图像说明、视觉问题解答以及从给定的输入文本中直接解析图片对象。

      文章内容仅供阅读,不构成投资建议,请谨慎对待。投资者据此操作,风险自担。

    海报生成中...

    最新新闻

    热门新闻

    即时

    全球顶级AI创作社区回归!海艺AI国内首发“全民娱乐化创作

    海艺AI的模型系统在国际市场上广受好评,目前站内累计模型数超过80万个,涵盖写实、二次元、插画、设计、摄影、风格化图像等多类型应用场景,基本覆盖所有主流创作风格。

    新闻

    明火炊具市场:三季度健康属性贯穿全类目

    奥维云网(AVC)推总数据显示,2024年1-9月明火炊具线上零售额94.2亿元,同比增加3.1%,其中抖音渠道表现优异,同比有14%的涨幅,传统电商略有下滑,同比降低2.3%。

    企业IT

    重庆创新公积金应用,“区块链+政务服务”显成效

    “以前都要去窗口办,一套流程下来都要半个月了,现在方便多了!”打开“重庆公积金”微信小程序,按照提示流程提交相关材料,仅几秒钟,重庆市民曾某的账户就打进了21600元。

    3C消费

    华硕ProArt创艺27 Pro PA279CRV显示器,高能实力,创

    华硕ProArt创艺27 Pro PA279CRV显示器,凭借其优秀的性能配置和精准的色彩呈现能力,为您的创作工作带来实质性的帮助,双十一期间低至2799元,性价比很高,简直是创作者们的首选。