向量数据库定义

向量数据库是将信息存储为向量的数据库,向量是数据对象数值表示,也称为向量嵌入。 它利用这些向量嵌入的强大功能来对非结构化数据半结构化数据例如图像文本传感器数据)的海量数据集进行索引搜索。 向量数据库是为了管理向量嵌入构建的,因此为非结构化和半结构化数据管理提供了完整解决方案

向量数据库向量搜索库或向量索引不同:它是一种数据管理解决方案支持数据存储和过滤、可扩展、允许动态数据更改执行备份并提供安全功能

向量数据库通过高维向量来组织数据。 高维向量包含数百个维度每个维度对应于它所表示数据对象的特定特征属性

什么是向量嵌入?

向量嵌入是主题单词图像或任何其他数据的数字表示。 向量嵌入(也称为嵌入)由大型语言模型和其他人工智能模型生成

每个向量嵌入之间的距离使向量数据库或向量搜索引擎能够确定向量之间相似性。 距离可以代表数据对象多个维度,从而使机器学习人工智能能够理解模式关系底层结构

了解如何部署文本嵌入

更多关于向量嵌入的知识,请阅读文章Elasticsearch:什么是向量嵌入?”。

向量数据库如何工作

向量数据库通过使用算法来索引和查询向量嵌入来工作。 该算法通过哈希量化基于图的搜索实现近似最近邻 (ANN) 搜索

为了检索信息,人工神经网络搜索找到查询的最近向量邻居。 与 kNN 搜索(已知最近邻,或真正的 k 最近邻算法)相比,计算强度较小,近似最近邻搜索的准确度也较低。 然而,它对于高维向量的大型数据集可以高效且大规模地工作

向量数据库管道如下所示

1)索引通过哈希量化基于图的技术,向量数据库通过将向量映射给定数据结构来对向量进行索引。这使得搜索速度更快。

向量数据库还将索引数据对象的元数据。 因此,向量数据库将包含两个索引:向量索引和元数据索引。

2)查询:当向量数据库收到查询时,它将索引向量与查询向量进行比较,以确定最近的向量邻居。 为了建立最近邻,向量数据库依赖于称为相似度量数学方法存在不同类型相似方法

3)处理:向量数据库管道中的最后一步有时是后处理或后过滤,在此期间向量数据库将使用不同的相似性度量来重新排列最近的邻居。 在此阶段,数据库将根据元数据过滤搜索识别的查询最近邻居。

某些向量数据库可能会在运行向量搜索之前应用过滤器。 在这种情况下,它被称为预处理或预过滤。

为什么向量数据库很重要?

向量数据库很重要,因为它们保存向量嵌入并支持系列功能,包括索引、距离度量和相似性搜索。 换句话说,向量数据库专门用于非结构化数据半结构化数据管理。 因此,向量数据库是机器学习人工智能数字领域的重要工具

向量数据库核心组件

向量数据库可能具有以下核心组件

向量数据库和传统数据库有什么区别

传统数据库以表格形式存储信息,并通过为数据点分配值来索引数据。 当查询时,传统数据库将返回与查询完全匹配结果

向量数据库以嵌入的形式存储向量并启用向量搜索,向量搜索根据相似性指标(而不是精确匹配)返回查询结果。 向量数据库在传统数据库无法做到的地方“提升”了:它被有意设计为与向量嵌入一起操作

向量数据库也比传统数据库更适合某些应用,例如相似性搜索人工智能机器学习应用,因为它支持高维搜索和定制索引,并且具有可扩展性、灵活且高效。

向量数据库的应用

向量数据库用于人工智能机器学习 (ML)自然语言处理 (NLP)图像识别应用。

向量数据库还可以服务异常检测人脸检测应用。

向量数据库的未来趋势

向量数据库的未来与人工智能机器学习发展以及与使用深度学习结构化和非结构化数据生成更强大的嵌入相关研究密切相关。

随着创建更好嵌入的能力提高,向量数据库更好地处理和管理这些嵌入的能力需要新的技术和算法。 事实上,此类新方法一直在开发中。

其他研究致力于混合数据库的开发。 这些旨在结合传统关系数据库矢量数据库的强大功能,以满足对高效和可扩展数据库日益增长需求

Elasticsearch 的向量数据库

Elasticsearch 包含一个用于向量搜索向量数据库。 Elastic 使开发人员能够使用 Elasticsearch 相关性引擎 (ESRE) 构建自己的向量搜索引擎

借助 Elasticsearch 工具,你可以构建一个向量搜索引擎,该引擎可以搜索非结构化和结构化数据、应用过滤器和分面、对文本矢量数据应用混合搜索,并利用文档字段安全性,同时在本地运行 云或混合环境中。

探索 Elasticsearch 向量数据库

向量数据库资源

原文地址:https://blog.csdn.net/UbuntuTouch/article/details/134770001

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任

如若转载,请注明出处:http://www.7code.cn/show_36622.html

如若内容造成侵权/违法违规/事实不符,请联系代码007邮箱suwngjj01@126.com进行投诉反馈,一经查实,立即删除

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注