基于LLM的文档搜索引擎开发【Ray+LangChain】

本文介绍: Ray 是一个非常强大的 ML 编排框架，但强大的功能伴随着大量的文档。事实上120兆字节。我们如何才能使该文档更易于访问？答案：使其可搜索！过去，创建自己的高质量搜索结果很困难。但通过使用 LangChain，我们可以用大约 100 行代码来构建它。这就是 LangChain 的用武之地。LangChain 为LLM相关的一切提供了一套令人惊叹的工具。它有点像 HuggingFace，但专门针对LLM。有用于提示、索引、生成和总结文本的工具（链）。

Ray 是一个非常强大的 ML 编排框架，但强大的功能伴随着大量的文档。事实上120兆字节。我们如何才能使该文档更易于访问？

答案：使其可搜索！过去，创建自己的高质量搜索结果很困难。但通过使用 LangChain，我们可以用大约 100 行代码来构建它。

这就是 LangChain 的用武之地。LangChain 为LLM相关的一切提供了一套令人惊叹的工具。它有点像 HuggingFace，但专门针对LLM。有用于提示、索引、生成和总结文本的工具（链）。 Ray虽然是一个令人惊叹的工具，但与它配合使用可以让LangChain变得更加强大。特别是，它可以：

首先，我们将通过以下步骤构建索引。

这段代码的神奇之处在于它非常简单 – 请参阅此处。正如您将看到的，感谢浪链，所有繁重的工作都为我们完成了。我们来摘录几段吧。

假设我们已经下载了 Ray 文档，那么我们只需执行以下操作即可阅读以下位置的所有文档：

loader = ReadTheDocsLoader("docs.ray.io/en/master/")
docs = loader.load()

chunks = text_splitter.create_documents(
    [doc.page_content for doc in docs], 
    metadatas=[doc.metadata for doc in docs])

from langchain.vectorstores import FAISS

db = FAISS.from_documents(chunks, embeddings)
db.save_local(FAISS_INDEX_PATH)

% python build_vector_store.py

@ray.remote(num_gpus=1)
def process_shard(shard): 
    embeddings = LocalHuggingFaceEmbeddings('multi-qa-mpnet-base-dot-v1')
    result = FAISS.from_documents(shard, embeddings)
    return result

shards = np.array_split(chunks, db_shards)

futures = [process_shard.remote(shards[i]) for i in range(db_shards)]
results = ray.get(futures)

db = results[0]
for i in range(1,db_shards):
    db.merge_from(results[i])

Ray Serve 让这一切变得神奇地简单。Ray 使用“部署”来包装一个简单的 python 类。 __init__方法执行加载，然后 __call__实际执行工作。Ray 负责将其连接到互联网，启动服务、http 等。

@serve.deployment
class VectorSearchDeployment:
    def __init__(self):
        self.embeddings = … 
        self.db = FAISS.load_local(FAISS_INDEX_PATH, self.embeddings)

    def search(self,query): 
        results = self.db.max_marginal_relevance_search(query)
        retval = <some string processing of the results>
        return retval

    async def __call__(self, request: Request) -> List[str]:
        return self.search(request.query_params["query"])

deployment = VectorSearchDeployment.bind()

% serve run serve_vector_store:deployment

import requests
import sys
query = sys.argv[1]
response = requests.post(f'http://localhost:8000/?query={query}')
print(response.content.decode())

$ python query.py 'Does Ray Serve support batching?'
From http://docs.ray.io/en/master/serve/performance.html

You can check out our microbenchmark instructions
to benchmark Ray Serve on your hardware.
Request Batching#
====

From http://docs.ray.io/en/master/serve/performance.html

You can enable batching by using the ray.serve.batch decorator. Let’s take a look at a simple example by modifying the MyModel class to accept a batch.
from ray import serve
import ray
@serve.deployment
class Model:
    def __call__(self, single_sample: int) -> int:
        return single_sample * 2
====

From http://docs.ray.io/en/master/ray-air/api/doc/ray.train.lightgbm.LightGBMPredictor.preferred_batch_format.html

native batch format.
DeveloperAPI: This API may change across minor Ray releases.
====

From http://docs.ray.io/en/master/serve/performance.html

Machine Learning (ML) frameworks such as Tensorflow, PyTorch, and Scikit-Learn support evaluating multiple samples at the same time.
Ray Serve allows you to take advantage of this feature via dynamic request batching.
====