国补期间百吋电视增幅近三倍,海信百吋电视一度卖断货风自海而来|高端魔方循环扇在艾美特2025新品发布会重磅亮相谷歌官宣新系统Android XR正式发布!三星头显首发、支持所有安卓应用互联网企业家,正是拼搏好时候特斯拉中国上线高级智能召唤功能 支持多种停车位泊出意法半导体助力Quobly推进量子处理器制造美团企业版给出“简单公式”:成本、效率和体验如何兼顾?高通任命新CTO 将聚焦6G和AICounterpoint:2024Q3苹果iPhone出货量增长5%,稳居全球第二手机品牌中国移动户外小型一体化直流电源集采:采购规模约3.86万套微星雷影17性价比新爆款:AMD 7840HX+满血4060国补6080到手!国际星闪联盟互联互通测试专项成果发布生成式AI的版权困境:新线索表明OpenAI用游戏内容训练Sora视频生成模型第三方制造商众筹索尼 PS5 游戏机专用“AI 驱动散热器”:号称可降温9度消息称富士明年夏季推出X-E5紧凑型APSC相机,接替2021年 X-E4机型AMD升级游戏开发利器FidelityFX SDK 超分FSR 技术 3.1.3来袭Adobe上线“Project See Through”修图功能,利用AI模型充当CPL偏振镜消除照片窗户反射谷歌发布多模态直播 API:解锁看、听、说,开启 AI 音视频交互新体验消息称三星Galaxy S26 系列手机有望“大量使用”Exynos 芯片消息称HDMI 2.2规范将于2025年1月6日公布 带来更高带宽
  • 首页 > 云计算频道 > 云计算

    火山引擎云搜索服务升级云原生新架构,提供数十亿级分布式向量数据库能力

    2023年07月20日 13:55:45   来源:中文科技资讯

      从互联网发展伊始,搜索技术就绽放出了惊人的社会和经济价值。随着信息社会快速发展,数据呈爆炸式增长,搜索技术通过数据收集与处理,满足信息共享与快速检索的需求。

      云搜索服务 ESCloud 是火山引擎提供的完全托管在线分布式搜索服务,兼容 Elasticsearch、Kibana 等软件及常用开源插件。可以提供结构化、非结构化文本的多条件检索、统计、报表,帮助实现一键部署、弹性扩缩、简化运维,快速构建日志分析、信息检索分析等实际业务。

      而伴随着 Serverless 的兴起和大势所向,火山引擎云搜索服务升级云原生新架构

      云搜索服务云原生版

    640.png

      k-NN,大模型时代下的原生向量搜索和数据库

      随着推荐、音视频等新兴领域应用的涌现和对大模型场景的需求,引入多模态搜索来满足更加复杂的搜索需求势在必行。我们在全文检索的基础上增加向量搜索能力来实现对非结构化数据的分析和检索

      在向量搜索的场景下,使用机器学习模型生成向量来表示数据对象(文本、图像、音视频等);向量距离来代表对象间的相似性。常用的向量库使用 ANN 算法在极短时间内完成海量向量的检索。

      k-NN 可以作为向量数据库来使用,通过引入先进的向量算法库来构建向量索引,还会将构建好的向量索引持久化到磁盘,索引更加稳定。结合 ESCloud 产品的倒排索引,可以将向量检索和全文检索的能力融合,实现更加强大的混合搜索(Hybrid Search)能力。在 ESCloud 的集群基础上,k-NN 向量数据库可以提供大规模分布式能力,为用户带来可扩展数量级的向量搜索。

    640 (1).png

      场景案例

      基于 k-NN 的业务场景主要有以下六大类,目前在字节跳动内部复杂的业务场景中均有所运用:

      • 多模态搜索:包括图片搜索,语义搜索,音视频相似性检索等;

      • 智能推荐:视频推荐,广告投放推荐,关系推荐,商品推荐等;

      • 智能问答:基于 Transformer 的 FAQ,LLM 的领域知识问答,LangChain 集合的生成式QA;

      • 数据消重:视频、音频、图片的审核消重,各类素材版权检测;

      • 安全风控:欺诈检测,扫黑检测,危险评估,异常检测;

      • 其他应用:数据挖掘,数据分析,搜索重排序, 文本搜图。

      以文案相似度识别方案为例。

    640 (2).png

      在用户推送文案的场景下,为保证用户体验,需要确保推送文案不会有重复内容,因此对每个推送的内容都会进行相似度识别并消重。每个文案通过 BERT 模型生成 Embedding,在云搜索中检索一次。如果相似度低于阈值,判定为新的文案,会写入 k-NN 向量数据库中,逐渐完善成一个文案库;如果相似度高于阈值,则判定为重复文案,减少推送量。

      云搜索服务 ESCloud 兼容 Elasticsearch、Kibana 等软件及常用开源插件,提供结构化、非结构化文本的多条件检索、统计、报表,可以实现一键部署、弹性扩缩、简化运维,快速构建日志分析、信息检索分析等业务能力。(作者:杜林)

      

    [No. X048]
    分享到微信

    即时

    新闻

    明火炊具市场:三季度健康属性贯穿全类目

    奥维云网(AVC)推总数据显示,2024年1-9月明火炊具线上零售额94.2亿元,同比增加3.1%,其中抖音渠道表现优异,同比有14%的涨幅,传统电商略有下滑,同比降低2.3%。

    企业IT

    重庆创新公积金应用,“区块链+政务服务”显成效

    “以前都要去窗口办,一套流程下来都要半个月了,现在方便多了!”打开“重庆公积金”微信小程序,按照提示流程提交相关材料,仅几秒钟,重庆市民曾某的账户就打进了21600元。

    3C消费

    华硕ProArt创艺27 Pro PA279CRV显示器,高能实力,创

    华硕ProArt创艺27 Pro PA279CRV显示器,凭借其优秀的性能配置和精准的色彩呈现能力,为您的创作工作带来实质性的帮助,双十一期间低至2799元,性价比很高,简直是创作者们的首选。

    研究

    中国信通院罗松:深度解读《工业互联网标识解析体系

    9月14日,2024全球工业互联网大会——工业互联网标识解析专题论坛在沈阳成功举办。