本文探讨了如何在不建立实时数据库连接的情况下，利用数据库模式信息驱动大型语言模型（llm）生成sql语句。我们将介绍通过手动提供模式文本、构建自定义工具等方法，绕过传统数据库链的限制，实现高效、安全的sql生成，并提供实践指导与注意事项。
引言：离线SQL模式的必要性
在利用大型语言模型（LLM）进行SQL生成时，一个常见且重要的需求是能够在没有实时数据库连接的情况下工作。这主要出于以下几个原因：
安全性考量： 避免将生产数据库的连接凭据暴露给LLM或其运行环境。性能与资源： 避免频繁建立和关闭数据库连接，尤其是在大规模或高并发的SQL生成场景中。开发与测试： 在开发阶段，可能没有可用的数据库实例，或者希望在不影响真实数据的情况下进行SQL生成测试。生成DDL而非执行查询： 有些场景下，我们只需要LLM根据需求生成数据定义语言（DDL）或查询语句本身，而不是执行它们。
传统的SQLDatabaseChain等工具通常依赖于SQLDatabase类，该类通过SQLAlchemy连接到真实的数据库以内省（inspect）其模式。这显然与“无需实时连接”的目标相悖。因此，我们需要探索替代方案，即如何仅凭数据库的模式文件或描述来指导LLM生成SQL。
理解传统SQLDatabaseChain的工作原理
SQLDatabaseChain是LangChain中用于与SQL数据库交互的强大工具。它的核心是SQLDatabase对象，该对象通过SQLAlchemy引擎连接到指定的数据库URI。一旦连接建立，SQLDatabase能够：
内省模式： 查询数据库的INFORMATION_SCHEMA或其他系统表，获取所有表名、列名、数据类型、主键、外键等详细信息。执行查询： 接收LLM生成的SQL语句并执行，然后返回结果。
SQLDatabaseChain通常会将内省到的数据库模式信息（以文本形式）作为上下文的一部分提供给LLM，从而使LLM能够理解数据库结构并生成正确的SQL。然而，这种机制的根本限制在于它要求一个可用的、具有读权限的实时数据库连接。
方法一：直接向LLM提供数据库模式文本
最直接、最简单的方法是将数据库的模式信息作为纯文本，直接嵌入到发送给LLM的提示词（Prompt）中。这种方法完全绕过了SQLDatabase的实时连接需求。
1. 提取数据库模式
首先，你需要获取目标数据库的模式信息。这可以通过以下方式实现：
从现有数据库导出： 使用数据库客户端工具（如mysqldump、pg_dump）导出DDL语句，或者查询INFORMATION_SCHEMA视图来获取表和列的定义。使用现有的DDL文件： 如果你已经有创建数据库表的DDL脚本，可以直接使用它们。手动编写： 对于简单的数据库结构，可以手动编写一个简洁的描述。
2. 格式化模式文本
将提取到的模式信息格式化为清晰、简洁的文本，以便LLM能够轻松理解。通常，DDL语句本身就是很好的格式，或者可以将其转换为易于阅读的列表或描述。
示例：
-- 表：users-- 描述：存储用户信息CREATE TABLE users ( id INT PRIMARY KEY COMMENT '用户ID', username VARCHAR(50) UNIQUE NOT NULL COMMENT '用户名', email VARCHAR(100) UNIQUE COMMENT '邮箱地址', created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间');-- 表：products-- 描述：存储产品信息CREATE TABLE products ( product_id INT PRIMARY KEY COMMENT '产品ID', name VARCHAR(255) NOT NULL COMMENT '产品名称', price DECIMAL(10, 2) NOT NULL COMMENT '产品价格', stock INT DEFAULT 0 COMMENT '库存量');-- 表：orders-- 描述：存储订单信息，包含用户ID和产品ID的外键CREATE TABLE orders ( order_id INT PRIMARY KEY COMMENT '订单ID', user_id INT NOT NULL COMMENT '下单用户ID', product_id INT NOT NULL COMMENT '订单产品ID', quantity INT NOT NULL COMMENT '购买数量', order_date TIMESTAMP DEFAULT CURRENT_TIMESTAMP COMMENT '订单日期', FOREIGN KEY (user_id) REFERENCES users(id), FOREIGN KEY (product_id) REFERENCES products(product_id));
3. 构建LLM提示词
将格式化后的模式文本与用户的问题结合，构建一个引导LLM生成SQL的提示词。
示例代码：
以下是一个使用LangChain和OpenAI模型的示例，展示如何将模式作为上下文传递。
from langchain_core.prompts import ChatPromptTemplatefrom langchain_openai import ChatOpenAI # 假设你使用OpenAI模型# 假设这是你的数据库模式信息（可以是DDL语句或更简洁的描述）db_schema = """-- 表：users (存储用户信息)CREATE TABLE users ( id INT PRIMARY KEY COMMENT '用户ID', username VARCHAR(50) UNIQUE NOT NULL COMMENT '用户名', email VARCHAR(100) UNIQUE COMMENT '邮箱地址', created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间');-- 表：products (存储产品信息)CREATE TABLE products ( product_id INT PRIMARY KEY COMMENT '产品ID', name VARCHAR(255) NOT NULL COMMENT '产品名称', price DECIMAL(10, 2) NOT NULL COMMENT '产品价格', stock INT DEFAULT 0 COMMENT '库存量');-- 表：orders (存储订单信息，包含用户ID和产品ID的外键)CREATE TABLE orders ( order_id INT PRIMARY KEY COMMENT '订单ID', user_id INT NOT NULL COMMENT '下单用户ID', product_id INT NOT NULL COMMENT '订单产品ID', quantity INT NOT NULL COMMENT '购买数量', order_date TIMESTAMP DEFAULT CURRENT_TIMESTAMP COMMENT '订单日期', FOREIGN KEY (user_id) REFERENCES users(id), FOREIGN KEY (product_id) REFERENCES products(product_id));"""# 构建提示模板prompt = ChatPromptTemplate.from_messages( [ ("system", "你是一个SQL查询生成器。请根据提供的数据库模式和用户问题生成SQL语句。只返回SQL语句，不要包含任何解释或额外文字。请使用MySQL方言。"), ("user", "数据库模式：n{schema}nn用户问题：{question}nn生成的SQL:"), ])# 初始化LLM（请替换为你的LLM模型和API密钥）llm = ChatOpenAI(model="gpt-3.5-turbo", temperature=0)# 创建链chain = prompt | llm# 示例调用question = "查询所有用户的订单数量，并按用户ID升序排列。"response = chain.invoke({"schema": db_schema, "question": question})print(response.content)# 另一个示例question_2 = "查找库存少于10个的所有产品名称及其价格。"response_2 = chain.invoke({"schema": db_schema, "question": question_2})print(response_2.content)
优点：
简单直接： 实现成本低，无需复杂的工具集成。完全离线： 无需任何数据库连接。
缺点：
上下文窗口限制： 对于非常大的数据库模式，模式文本可能会超出LLM的上下文窗口限制。模式维护： 数据库模式变更时，需要手动更新提示词中的模式文本。LLM理解能力： LLM对复杂或不规范的模式描述可能理解不佳，需要精心的提示工程。
方法二：构建自定义数据库描述工具或代理
为了克服直接提供模式文本的局限性，特别是对于复杂或动态变化的模式，我们可以构建一个自定义工具。这个工具不连接数据库，而是根据预加载或解析的模式文件提供数据库结构信息给LLM代理。LLM代理可以像查询真实数据库一样，通过调用这个工具来获取它所需的模式信息。
1. 预处理模式文件
首先，你需要将数据库模式信息加载到一个结构化的数据结构中（例如Python字典、JSON对象）。这可以从DDL文件解析、从JSON/YAML格式的模式描述文件加载。
示例结构化模式：
mock_db_schema_info = { "tables": { "users": { "columns": [ {"name": "id", "type": "INT", "is_pk": True, "description": "用户ID"}, {"name": "username", "type": "VARCHAR(50)", "is_pk": False, "description": "用户名"}, {"name": "email", "type": "VARCHAR(100)", "is_pk": False, "description": "邮箱地址"}, {"name": "created_at", "type": "TIMESTAMP", "is_pk": False, "description": "创建时间"}, ], "primary_key": ["id"], "foreign_keys": [], "description": "存储用户信息", }, "products": { "columns": [ {"name": "product_id", "type": "INT", "is_pk": True, "description": "产品ID"}, {"name": "name", "type": "VARCHAR(255)", "is_pk": False, "description": "产品名称"}, {"name": "price", "type": "DECIMAL(10, 2)", "is_pk": False, "description": "产品价格"}, {"name": "stock", "type": "INT", "is_pk": False, "description": "库存量"}, ], "primary_key": ["product_id"], "foreign_keys": [], "description": "存储产品信息", }, "orders": { "columns": [ {"name": "order_id", "type": "INT", "is_pk": True, "description": "订单ID"}, {"name": "user_id", "type": "INT", "is_pk": False, "description": "下单用户ID"}, {"name": "product_id", "type": "INT", "is_pk": False, "description": "订单产品ID"}, {"name": "quantity", "type": "INT", "is_pk": False, "description": "购买数量"}, {"name": "order_date", "type": "TIMESTAMP", "is_pk": False,
以上就是数据库模式驱动的SQL生成：无需实时连接的LLM实践指南的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1378352.html
微信扫一扫 
支付宝扫一扫 
