译文 | 布加迪
在过去的50年里,关系数据库一直是世界上一些最关键的应用软件的基础。虽然市面上还有其他数据库,比如键值数据库、文档数据库和图形数据库,但关系数据库依然是最受欢迎的。其主要原因是,SQL或关系数据库语言对初学者来说学习起来很容易,对专家来说实施起来很高效。
然而随着我们进入人工智能新时代,存储结构化数据已经不够了。如今世界上80%的数据是非结构化数据,包括原始文本、图片、音频、视频及其他各种文件类型。这些非结构化数据含有大量关键信息,我们无法使用当前的关系数据库系统来检索这些信息。好消息是,机器学习领域的最新进展使我们能够以前所未有的方式来理解非结构化数据,我们可以利用这个机会使这项技术变得更普及。
面向非结构化数据的关系数据库
本文将介绍Superinsight,这是一种拥有内置机器学习功能的关系数据库。Superinsight让了解SQL的任何人都可以针对非结构化数据运行查询。
Superinsight的核心概念如下:
Superinsight建立在PostgreSQL之上,因此它拥有PostgreSQL的所有功能和机器学习能力。
Superinsight可自动分析和索引存储在数据类型为[TEXT]的列中的任何数据。
原始文本数据作为值来存储,而基于文件的数据(比如图片)作为实际位置的引用来存储。
安装
Superinsight可以作为独立机器来运行,也可以作为Kubernetes之类的编排框架的一部分来运行。本演示将使用独立版本。
Docker是安装Superinsight的最方便方式。运行该命令前,记得修改用户名和密码。
复制
docker run \
--name superinsight-db-standalone \
-p 5432:5432 \
-e SUPERINSIGHT_USER=admin \
-e SUPERINSIGHT_PASSWORD=password \
-e ENV_IMAGE_TO_LABEL=True \
superinsight/superinsight-db-standalone:latest
为了本文这个演示,我们将设置标志ENV_IMAGE_TO_LABEL=True,这个选项让我们可以基于文本搜索图片。
连接
一旦Docker容器开始运行,您就可以使用PostgreSQL协议和默认数据库Superinsight通过端口5432连接到Superinsight。
复制
postgres://admin:password@127.0.0.1:5432/superinsight
存储和搜索非结构化数据
Superinsight可以使用标准SQL来存储结构化数据和非结构化数据。Superinsight将只分析存储在数据类型为[TEXT]的列中的非结构化数据。在下面例子中,我们将使用Flipkart产品数据集。
创建表
标准的CREATE TABLE语句可用于创建表。由于我们只希望Superinsight分析名称、图片和描述下面的几列,作为非结构化数据进行分析,于是我们为这些列使用数据类型[TEXT]。此外,每个表都必须有一个主键,这是Superinsight的要求。
复制
CREATE TABLE mldb.product (
_id serial PRIMARY KEY,
category varchar(500),
brand varchar(500),
name TEXT,
image TEXT,
description TEXT,
price float8,
url varchar(500)
);
插入记录
标准SQL Insert语句可用于插入记录。名称和描述这两列的值存储在数据库中,但至于图片,我们存储的是图片URL。Superinsight将基于每个图片URL自动读取和索引图片。在本例中,我们将为数据库添加20条记录。SQL脚本可以从这里下载:https://docs.superinsight.ai/setup/dataset/?ref=hackernoon.com#products。
原始文本的语义搜索
我们将在表和预构建模型之间使用JOIN语句创建语义搜索查询。关键字ON表明使用哪一列作为语义搜索模型的输入。WHERE关键字用于指定要比较的值。最后,我们可以使用predictions.core作为ORDER BY,对最相关的结果进行排序。
注意:在我们第一次搜索之前,Superinsight必须将最新的语义搜索模型下载到您的数据库中。这个过程可能需要一两分钟,快慢取决于网速。
复制
SELECT predictions.score, mldb.product.image, mldb.product.name,
mldb.product.description
FROM mldb.product
JOIN model.semantic_search
ON model.semantic_search.inputs = mldb.product.description
WHERE model.semantic_search.similar = 'Something to sit on'
ORDER BY predictions.score DESC
我们对“可以坐的东西”进行语义搜索,得到四个得分大于0.11的沙发床记录。Superinsight与其他关系数据库之间最显著的区别是,结果由理解数据上下文的机器学习模型来评分,从而获得丰富得多的搜索结果。
图片到图片的语义搜索
图片搜索就像搜索原始文本一样。只需要更改WHERE子句值和ON子句条件。我们将使用图片url作为搜索值,基于图片相似度查找记录。
复制
SELECT predictions.score, mldb.product.image, mldb.product.name,
mldb.product.description
FROM mldb.product
JOIN model.semantic_search
ON model.semantic_search.inputs = mldb.product.image
WHERE model.semantic_search.similar =
'http://img5a.flixcart.com/image/short/u/4/a/altht-3p-21-alisha-38-
original-imaeh2d5vm5zbtgg.jpeg'
ORDER BY predictions.score DESC
注意,第一张图片的得分是1,因为它与我们要找的图片一模一样。我们可以看到下面五张图片非常相似,所以它们的得分都高于0.87。
文本到图片的语义搜索
我们还可以通过用文本描述图片的上下文来搜索图片。在下面例子中,我们寻找“女性服装”图片。
复制
SELECT predictions.score, mldb.product.image,
mldb.product.name, mldb.product.description
FROM mldb.product
JOIN model.semantic_search
ON model.semantic_search.inputs = mldb.product.image
WHERE model.semantic_search.similar = 'woman dress'
ORDER BY predictions.score DESC
结语
Superinsight使存储和搜索非结构化数据变得很简单。由于Superinsight基于PostgreSQL,任何支持PostgreSQL协议的现有应用软件和数据可视化工具现在都可以使用Superinsight。欲进一步了解Superinsight,请点击下面的链接:
文档:https://docs.superinsight.ai
GitHub:https://github.com/superinsight/superinsight-db
原文标题:Using a Relational Database to Query Unstructured Data,作者:Nelson Chu
文章内容仅供阅读,不构成投资建议,请谨慎对待。投资者据此操作,风险自担。
近日,绝味鸭脖以 "19 岁,绝美青春 " 为周年庆主题,推出了全新 " 爆耐撕绝绝脂大刀肉片 ",并策划一系列精彩活动,旨在为消费者带来前所未有的味蕾惊喜和快乐体验。
近日,中国家电及消费电子博览会(AWE 2024)隆重开幕。全球领先的智能终端企业TCL实业携多款创新技术和新品亮相,以敢为精神勇闯技术无人区,斩获四项AWE 2024艾普兰大奖。
“以前都要去窗口办,一套流程下来都要半个月了,现在方便多了!”打开“重庆公积金”微信小程序,按照提示流程提交相关材料,仅几秒钟,重庆市民曾某的账户就打进了21600元。
由世界人工智能大会组委会、上海市经信委、徐汇区政府、临港新片区管委会共同指导,由上海市人工智能行业协会联合上海人工智能实验室、上海临港经济发展(集团)有限公司、开放原子开源基金会主办的“2024全球开发者先锋大会”,将于2024年3月23日至24日举办。